Distilling Examples into Task Instructions: Enhanced In-Context Learning for Real-World B2B Conversations

Resumo Técnico: Destilando Exemplos em Instruções de Tarefa para Aprendizado em Contexto Aprimorado em Conversas B2B do Mundo Real

Definição do Problema
Embora o Aprendizado em Contexto (ICL - In-Context Learning) tenha se tornado o padrão para classificação de baixo recurso em Processamento de Linguagem Natural (NLP) geral, sua eficácia em domínios especializados e de alto risco, como vendas Business-to-Business (B2B), permanece pouco explorada. As conversas B2B são caracterizadas por complexidade semântica, dinâmica de múltiplas partes e ciclos de vendas longos. O artigo identifica uma limitação crítica na aplicação do ICL de poucos disparos (few-shot) padrão nesses domínios: à medida que o número de exemplos de poucos disparos aumenta para melhorar o desempenho, a concatenação de trechos verbosos de conversas leva a uma severa degradação de desempenho. Este fenômeno contradiz a suposição convencional de que mais exemplos sempre geram melhores resultados. Além disso, o ICL padrão carece de transparência; a lógica de classificação é implícita dentro dos exemplos, tornando difícil para auditores humanos entender ou refinar o processo de tomada de decisão, o que é um pré-requisito para a confiança em aplicações empresariais.

Metodologia
Os autores propõem um novo framework que muda da concatenação de exemplos para a extração automatizada de conhecimento. Em vez de alimentar prompts diretamente com exemplos brutos de poucos disparos, o sistema utiliza um Modelo de Linguagem de Grande Escala (LLM) para destilar um pequeno conjunto de exemplos rotulados em representações compactas e interpretáveis. Este processo ocorre em duas etapas principais:

1. Extração de Conhecimento: Dado um objetivo de tarefa definido pelo usuário e um pequeno conjunto de exemplos rotulados, o LLM gera um de dois outputs estruturados:

   • Critérios: Listas explícitas de condições positivas e negativas que indicam a presença ou ausência de um conceito.
   • Descrições: Narrativas abrangentes em linguagem natural que definem a tarefa de classificação, capturando a essência do conceito e seus limites.
   • Variantes Iterativas: O framework também explora a geração de critérios a partir de descrições (Criteria-De) e descrições a partir de critérios (Description-Cr) para refinar a representação do conhecimento.

2. Classificação: O conhecimento gerado (critérios ou descrição) substitui os exemplos brutos de poucos disparos no prompt de classificação. O LLM alvo então classifica novos trechos de conversas com base nessas instruções explícitas, em vez de correspondência de padrões implícitos de exemplos.

Esta abordagem é distinta de estratégias existentes, como seleção de exemplos baseada em recuperação, otimização de prompt ou compressão ao nível de token (ex: LLMLingua-2), que frequentemente resultam em outputs incoerentes ou fragmentados. O método proposto mantém a coerência enquanto reduz drasticamente o uso de tokens.

O Conjunto de Dados Call Playbook
Para avaliar esta abordagem, os autores introduzem o Call Playbook, um novo conjunto de dados anotado derivado de 50 chamadas de vendas B2B reais em inglês (de 30 a 90 minutos cada). O conjunto de dados foca em cinco conceitos centrais de vendas:

• Objetivos de Negócio (Business Goals)
• Critérios de Decisão (Decision Criteria)
• Tomadores de Decisão (Decision Makers)
• Processo de Tomada de Decisão (Decision Making Process)
• Pontos de Dor (Pain Points)

Os dados são anotados ao nível de trecho (sequências sobrepostas de cinco monólogos) com rótulos binários para cada conceito. O conjunto de dados é balanceado, anonimizado e projetado para refletir a natureza fluida e de múltiplos stakeholders das negociações de vendas reais.

Resultados Principais
Experimentos conduzidos em cinco LLMs (GPT-4o, Claude Sonnet 3.7, Claude Haiku 3, Mistral Large, Mistral Small) e variando a contagem de poucos disparos (0 a 100 exemplos) produzem as seguintes descobertas:

• Robustez de Desempenho: Ao contrário dos métodos de poucos disparos padrão, que degradam significativamente à medida que a contagem de exemplos aumenta (caindo de ~71,5% para ~60,7% de F1 com 100 shots), os métodos de extração de conhecimento propostos permanecem robustos. Especificamente, o Description-Ex mostra uma melhoria constante, e o Criteria-De alcança os maiores ganhos gerais (até 72,2% de F1).
• Eficiência de Tokens: Os métodos propostos alcançam uma redução de 99% no uso de tokens em comparação com o aprendizado tradicional de poucos disparos. Enquanto os métodos padrão escalam linearmente com a contagem de exemplos (atingindo ~25.000 tokens em 100 shots), os métodos baseados em conhecimento permanecem estáveis (menos de 600 tokens para critérios, menos de 200 para descrições).
• Superioridade sobre Compressão: O método supera os baselines de compressão ao nível de token (Selective Context e LLMLingua-2). Enquanto os métodos de compressão degradam em mais de 9 pontos de F1 conforme o contexto cresce, a abordagem de destilação mantém ou melhora o desempenho.
• Destilação Cross-Model: O conhecimento gerado por modelos maiores e mais capazes (ex: Claude Sonnet 3.7) pode ser efetivamente transferido para modelos menores (ex: Mistral Small), melhorando seu desempenho sem retreinamento.
• Humano no Ciclo (Human-in-the-Loop): O framework permite o refinamento direto por humanos. Anotadores humanos foram capazes de modificar os critérios e descrições gerados para melhorar o desempenho da classificação (até +2,65% de F1), demonstrando a interpretabilidade e utilidade dos artefatos extraídos.

Significância e Alegações
O artigo afirma que seu framework aborda as necessidades críticas de transparência, eficiência e interação do usuário em aplicações de NLP do mundo real. Ao converter o aprendizado baseado em exemplos opacos em instruções de tarefa explícitas e estruturadas, o método permite:

1. Auditabilidade: A lógica de classificação é transparente e pode ser revisada por humanos.
2. Escalabilidade: Economias computacionais significativas permitem inferência mais rápida e custos menores, particularmente conforme o volume de dados cresce.
3. Flexibilidade: O sistema suporta o refinamento dinâmico da lógica de classificação sem a necessidade de retreinar modelos ou redesenhar prompts do zero.

Os autores posicionam este trabalho como uma evolução necessária para a análise B2B, onde a complexidade do domínio e a necessidade de IA interpretável tornam o ICL de poucos disparos tradicional insuficiente. A abordagem oferece um caminho para uma classificação escalável, transparente e eficiente em contextos de negócios especializados.