Resumo Técnico: EvasionBench

Definição do Problema

O artigo aborda a lacuna crítica no Processamento de Linguagem Natural (PLN) em relação à detecção de evasão gerencial em sessões de perguntas e respostas (Q&A) de teleconferências de resultados corporativos. Embora fenômenos como análise de sentimento e QA factual tenham estabelecido benchmarks, a detecção de evasão permanece subexplorada devido à natureza subjetiva da "evasividade" e ao custo proibitivo da anotação especializada em escala.

A tarefa central é classificar uma resposta da gestão ($a$) a uma pergunta de um analista ($q$) em um de três níveis ordinais:

1. Direta: A resposta aborda de forma explícita e completa o núcleo da pergunta (ex: figuras específicas, posicionamentos claros).
2. Intermediária: A resposta fornece contexto relacionado, mas evita o ponto específico solicitado (ex: uso de termos de cautela/hedging, enquadramento condicional, resposta a tópicos adjacentes).
3. Totalmente Evasiva: A pergunta é ignorada, recusada explicitamente ou a resposta é inteiramente fora do tópico.

Esta classificação fundamenta-se na pragmática de Grice, especificamente medindo o grau de violação da Máxima da Relação.

Metodologia

1. Coleta e Filtragem de Dados

Os autores construíram um conjunto de dados a partir de 22,7 milhões de pares de Q&A extraídos de transcrições do S&P Capital IQ abrangendo o período de 2002 a 2022. Um rigoroso pipeline de filtragem em três estágios reduziu este volume para 11,27 milhões de pares de alta qualidade:

• Estágio 1: Extração de perguntas sequenciais de analistas (Tipo 3) e respostas de gestão (Tipo 4), removendo instruções de operadores.
• Estágio 2: Verificações de qualidade exigindo que as perguntas contivessem "?" e que as respostas excedessem 30 caracteres, além da exclusão de marcadores de transcrição.
• Estágio 3: Seleção de conteúdo substancial onde o comprimento combinado de Q&A é $\ge$ 500 caracteres.

2. Estrutura de Anotação por Consenso de Múltiplos Modelos (MMC)

Para superar o custo da anotação humana e mitigar o viés de um único modelo, o artigo introduz uma estrutura de Consenso de Múltiplos Modelos (MMC):

• Estágio I (Anotação por Dual LLM): Dois modelos de linguagem de fronteira (LLMs) — Claude Opus 4.5 e Gemini 3 Flash — rotulam os exemplos de forma independente.
• Estágio II (Detecção de Consenso): Amostras onde ambos os modelos concordam formam o "conjunto de consenso".
• Estágio III (Arbitragem de Três Juízes): Para os ~16% das amostras onde os modelos discordam, um terceiro juiz (GPT-5.2) junta-se aos dois originais. Um mecanismo de votação majoritária de três juízes determina o rótulo final.
• Mecanismo Anti-Viés: Para evitar o viés de posição (efeito de primazia), a ordem das previsões dos modelos apresentadas aos juízes é randomizada.

3. Desenvolvimento do Modelo: Eva-4B

Os autores realizaram o ajuste fino (fine-tuning) do Qwen3-4B-Instruct (um modelo de 4 bilhões de parâmetros) utilizando um pipeline de treinamento de dois estágios:

• Estágio 1: Ajuste fino completo em 60.000 amostras de consenso (onde os dois LLMs iniciais concordaram).
• **Estágio

2:** Ajuste fino contínuo em 24.000 amostras, incorporando os casos de discordância arbitrados pela maioria de três juízes.

• Variantes de Ablação: O estudo compara o modelo completo contra variantes treinadas apenas em dados de consenso ou usando rótulos de um único modelo (Opus) para o segundo estágio.

Principais Contribuições

1. Dataset EvasionBench: O primeiro benchmark de larga escala para detecção de evasão, composto por:
   • 84.000 amostras de treinamento balanceadas (33,3% por classe) derivadas de 8.081 empresas únicas.
   • 1.000 amostras de avaliação de padrão ouro (gold-standard) com validação humana especializada.
2. Estrutura de Anotação MMC: Um pipeline de anotação escalável que combina a rotulagem por dual LLM de fronteira com arbitragem de três juízes, alcançando um Kappa de Cohen de 0,835 em relação aos anotadores humanos.
3. Modelo Eva-4B: Um classificador especializado de 4 bilhões de parâmetros que atinge 84,9% de Macro-F1, superando modelos proprietários de fronteira (Claude Opus 4.5, GPT-5.2, Gemini 3 Flash) nesta tarefa específica.
4. Validação Empírica do Consenso: Estudos de ablação demonstrando que a rotulagem por consenso de múltiplos modelos supera significativamente a anotação de modelo único, com uma melhoria de +4,3 pontos percentuais (pp) em Macro-F1 e uma redução de 80x na perda de treinamento (training loss) em comparação com as baselines de modelo único.

Resultados

• Desempenho: O Eva-4B (Full) alcançou o maior Macro-F1 (84,9%) no conjunto Gold 1K, superando o melhor modelo proprietário (Gemini 3 Flash com 84,6%).
• Dificuldade de Classe: Todos os modelos tiveram maior dificuldade com a classe Intermediária (F1: 75,0–80,1%), que representa a evasão sutil. A classe Totalmente Evasiva foi a mais fácil de detectar (F1: 91,0–92,4%).
• Análise de Erro: 95,4% dos erros ocorreram entre classes adjacentes (ex: Direta $\to$ Intermediária). O principal modo de erro foi a superprevisão de evasão em respostas que contêm linguagem de cautela (ex: "esperamos que... em breve") que eram, na verdade, diretas.
• Dinâmica de Treinamento: O modelo treinado com rótulos de consenso de três juízes convergiu para uma perda final de 0,007, enquanto o modelo treinado com rótulos de modelo único estagnou em 0,56, indicando que os rótulos de consenso fornecem sinais de treinamento significativamente mais limpos.

Significância e Alegações

O artigo afirma preencher uma lacuna crítica no PLN financeiro ao fornecer o primeiro benchmark de larga escala, sistematicamente anotado, focado especificamente na evasão de comunicação gerencial.

• Escalabilidade: A estrutura MMC oferece uma solução viável para o "custo proibitivo" da anotação especializada, demonstrando que rótulos de alta qualidade podem ser gerados através do consenso entre LLMs de fronteira, em vez de depender exclusivamente de anotadores humanos caros.
• Mitigação de Viés: O estudo fornece evidência empírica de que a anotação por modelo único introduz vieses sistemáticos (ex: Opus favorecendo rótulos "Diretos", Gemini favorecendo "Totalmente Evasivos"), validando a necessidade de consenso de múltiplos modelos e de ordens de apresentação randomizadas.
• Utilidade Prática: O dataset e o modelo resultantes permitem a triagem automatizada para relações com investidores, monitoramento regulatório da qualidade das divulgações e pesquisa acadêmica sobre comunicação estratégica.

Os autores mantêm a modéstia quanto à generalização, observando que o dataset é específico para o domínio de teleconferências de resultados e que a validação em outros domínios (ex: entrevistas políticas ou depoimentos legais) permanece como trabalho futuro. Eles também reconhecem limitações na cobertura temporal (2002–2022) e na dependência de transcrições em língua inglesa.