Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit

Resumo Técnico: Long Live Fine-Tuning: Modelos Transformer Específicos para Tarefas Superam LLMs Zero-Shot para Classificação de Respostas à Desinformação no Reddit

Definição do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) são incorporados em mecanismos de busca e interfaces conversacionais, uma suposição implícita surgiu: que a escala do modelo e a capacidade geral são suficientes para a classificação matizada e detalhada do discurso de desinformação. Especificamente, questiona-se se LLMs zero-shot podem classificar de forma confiável as respostas de usuários a alegações de desinformação como "crença" (propagando a alegação), "verificação de fatos" (corrigindo-a) ou "outro" (neutro/não relacionado). Esta tarefa não é trivial devido à assimetria linguística; as verificações de fatos frequentemente contêm marcadores corretivos explícitos, enquanto a crença é frequentemente implícita, afetiva ou sarcástica. O artigo testa a suposição de que a inferência zero-shot de modelos de fronteira pode igualar ou exceder o desempenho de transformers pequenos e ajustados (fine-tuned) para tarefas específicas neste contexto de verificação.

Metodologia
O estudo avalia nove modelos através de três paradigmas em um conjunto de dados curado de 900 comentários do Reddit abrangendo três alegações de desinformação verificadas pelo PolitiFact (Meio Ambiente, Saúde, Imigração).

• Conjunto de Dados: O conjunto de dados consiste em 300 comentários por tópico (100 por classe: crença, verificação de fatos, outro), equilibrados para evitar distorção no macro-F1. As anotações foram realizadas por anotadores humanos com concordância inter-anotador substancial ($\kappa = 0,752$). Uma etapa de pré-filtragem usando GPT-4o foi empregada para identificar comentários candidatos, e os autores verificaram que isso introduziu um viés desprezível.
• Modelos:
  • LLMs Generativos Zero-Shot: Três variantes open-source da Llama (3B, 8B, 70B) e três modelos de fronteira comerciais (Claude Haiku 4.5, Gemini Flash Lite 2.5, Claude Sonnet 4.6).
  • Baseline NLI Zero-Shot: BART-MNLI, que reformula a classificação como um entendimento de implicação textual (textual entailment).
  • Ajuste Fino Supervisionado (Supervised Fine-Tuning): DistilBERT e RoBERTa, ajustados no conjunto de dados de 900 comentários.
• Design Experimental:
  • Esquemas de Rótulos: Os modelos foram testados sob duas condições: um Esquema de Rótulo Universal (UL) (rótulos genéricos aplicados a todos os tópicos) e esquemas Específicos por Tópico (rótulos detalhados adaptados ao discurso de cada alegação).
  • Avaliação: Validação cruzada de 5 dobras estratificada foi utilizada. O desempenho foi medido via macro-F1 e pontuações F1 por classe. A significância estatística foi avaliada via testes de postos sinalizados de Wilcoxon pareados e testes de permutação com correção de Holm–Bonferroni.
  • Restrições: A inferência zero-shot foi determinística (temperatura=0). Modelos comerciais foram consultados via APIs, enquanto modelos open-source foram executados localmente.

Resultos Principais
A descoberta central é que a suposição de suficiência de escala não se sustenta; o ajuste fino específico para a tarefa supera significativamente as configurações zero-shot, particularmente na classe crítica de "crença".

1. Superioridade do Ajuste Fino: O RoBERTa ajustado alcançou um macro-F1 de 0,62, superando significativamente o melhor modelo zero-shot, Claude Haiku 4.5 (0,50). Essa vantagem foi consistente entre tópicos e esquemas de rótulos.
2. O Hiato da "Crença": A vantagem supervisionada concentra-se na classe "crença", que os modelos zero-shot consistentemente subdetectam.
   • Sob rótulos universais, os modelos zero-shot detectaram crença com pontuações F1 variando de 0,17 (Claude Sonnet 4.6) a 0,47 (Llama-3.2-3B, que colapsou na classe "outro").
   • O RoBERTa ajustado alcançou um F1 de crença de 0,52, um ganho de $\Delta = +0,18$ sobre o melhor zero-shot equilibrado.
   • A classe "crença" permanece a mais difícil de detectar mesmo sob supervisão, sugerindo uma assimetria linguística onde pistas implícitas/afetivas são mais difíceis de capturar do que marcadores corretivos explícitos.
3. A Escala Não Ajuda Consistentemente:
   • Dentro da família Llama, o escalonamento de 8B para 70B não gerou melhorias consistentes; o modelo 70B teve um desempenho pior na classe "crença" (0,24) do que o modelo 8B.
   • Entre os modelos comerciais, o Claude Sonnet 4.6, maior/mais capaz, teve desempenho inferior ao Claude Haiku 4.5 (0,42 vs. 0,50 macro-F1). O desempenho do Sonnet colapsou na classe "crença" (0,17) e disparou recusas de segurança em comentários sensíveis, indicando que o alinhamento de segurança, e não os limites de capacidade, prejudicou o desempenho.
4. Interação entre Esquema de Rótulo e Tópico: O desempenho zero-shot é altamente sensível à redação dos rótulos e ao tópico. Rótulos específicos por tópico melhoraram o desempenho para alguns modelos (ex: BART-MNLI em Meio Ambiente), mas não para outros, e o mesmo modelo pode variar em mais de 0,13 macro-F1 entre tópicos.
5. BART-MNLI como Baseline: Apesar de ser um modelo NLI zero-shot, o BART-MNLI forneceu um baseline surpreendentemente forte, equilibrado e de baixo custo, superando vários LLMs generativos em configurações específicas sem incorrer em custos de API.

Significância e Alegações
O artigo argumenta que, no contexto de verificação de desinformação, onde perder uma resposta de "crença" é o erro mais custoso, o ajuste fino específico para a tarefa continua sendo a escolha mais confiável, apesar da proliferação de grandes modelos generativos.

• Desafiando a Suposição de Escala: O estudo fornece evidência empírica de que escala e capacidade geral são insuficientes para tarefas de verificação detalhadas. A classe "crença", que é implícita e afetiva, é sistematicamente subdetectada por modelos zero-shot, incluindo modelos de fronteira proprietários.
• Artefatos de Alinhamento de Segurança: O desempenho inferior de modelos como o Claude Sonnet 4.6 é atribuído a mecanismos de alinhamento de segurança que tornam os modelos relutantes em afirmar que um comentário "espalha desinformação" sem evidências contextuais fortes, em vez de uma falta de capacidade de raciocínio.
• Custo-Efetividade: O RoBERTa ajustado alcança um desempenho superior por uma fração do custo por consulta dos LLMs comerciais. Embora modelos zero-shot (particularmente o BART-MNLI) ofereçam um baseline prático quando não há dados rotulados disponíveis, eles não são um substituto para modelos supervisionados quando a detecção de alta relevância da propagação de desinformação é necessária.
• Assimetria Linguística: A dificuldade em detectar "crença" é identificada como uma limitação estrutural da tarefa (pistas implícitas vs. explícitas) e não um problema solucionável apenas através do escalonamento de modelos.

Os autores concluem que, embora os grandes modelos generativos sejam poderosos, eles ainda não substituem a necessidade de ajuste fino supervisionado e específico para a tarefa para uma classificação confiável de respostas à desinformação, particularmente quando o objetivo é identificar a propagação de alegações falsas em vez de apenas sua correção.