Entailed Opinion Matters: Improving the Fact-Checking Performance of Language Models by Relying on their Entailment Ability

Título: Entailed Opinion Matters: Melhorando o Desempenho de Verificação de Fatos de Modelos de Linguagem Baseando-se na Sua Capacidade de Entailment

1. O Problema

A verificação automatizada de fatos (fact-checking) é uma tarefa desafiadora devido à complexidade de processar múltiplas evidências que frequentemente se contradizem.

• Limitações Atuais: Abordagens anteriores, como treinamento end-to-end, geração aumentada por recuperação (RAG) e engenharia de prompts, não atingiram precisão suficiente para implantação em cenários do mundo real.
• Desafios Específicos:
  • Modelos de linguagem (LMs) tendem a ficar confusos quando confrontados com evidências contraditórias.
  • Métodos baseados em prompting (instrução) em modelos generativos grandes (GLMs) de ponta (ex: modelos com trilhões de parâmetros) alcançam desempenho humano, mas são custosos e inacessíveis (paywall).
  • O uso de GLMs menores via prompting sofre de viés, alucinações e desempenho inferior ao de métodos baseados em treinamento.
  • Abordagens existentes muitas vezes falham em discriminar explicitamente quais evidências apoiam ou refutam uma afirmação, tratando o conjunto de evidências de forma indistinta.

2. Metodologia Proposta

Os autores propõem um novo paradigma de aprendizado que utiliza a capacidade de entailment (implicação lógica) de Modelos de Linguagem Generativos (GLMs) para treinar Modelos de Linguagem Baseados em Codificadores (ELMs, como RoBERTa e XLNet). O processo é dividido em três etapas principais (ilustrado na Figura 1 do artigo):

1. Entailment (Classificação de Evidência):
   • Um GLM recebe uma afirmação (claim) e suas evidências associadas.
   • O GLM classifica cada evidência como "Apoio" (Supporting) ou "Refutação" (Refuting) com base na relação de implicação lógica com a afirmação.
2. Consolidação de Evidência (Geração de Justificativa):
   • O mesmo GLM consolida as evidências classificadas em duas justificativas concisas: uma Justificativa de Apoio e uma Justificativa de Refutação.
   • Se não houver evidência de um dos lados, o GLM gera a justificativa baseada em seu conhecimento interno.
3. Predição de Veracidade (Treinamento do ELM):
   • Um modelo ELM (encoder-only) é fine-tuned (ajustado) utilizando a afirmação original concatenada com as duas justificativas geradas (apoio e refutação).
   • O objetivo do ELM é prever a veracidade final (Verdadeiro, Falso, Meio-verdade, etc.).

Configuração Experimental:

• Datasets: Utilizaram conjuntos de dados monolingues (LIAR-RAW, RAW-FC), multilíngues (X-Fact, RU22Fact) e multimodais (Factify-2, MOCHEG, VERITE).
• Abordagens Comparadas:
  • TBE (Training-Based Experiments): Fine-tuning de ELMs e GLMs (com LoRA/LoRA+) usando: (1) Evidências brutas, (2) Compreensão geral da evidência, e (3) Justificativas de entailment (proposta principal).
  • IBE (Inference-Based Experiments): Prompting direto (Zero-shot, Few-shot, Chain-of-Thought) sem fine-tuning.

3. Contribuições Principais

• Novo Paradigma de Aprendizado: Introdução de um fluxo onde GLMs atuam como "professores" para extrair e sintetizar justificativas de entailment, que são então usadas para treinar modelos ELMs mais leves e eficientes.
• Desempenho Superior: Demonstração de que o uso de justificativas de entailment (TBE-3) supera significativamente os baselines e outras estratégias de prompting.
• Análise de Explicabilidade: Avaliação da qualidade das justificativas geradas, mostrando que explicações do modelo Llama tiveram as maiores pontuações subjetivas e correlacionaram-se com o melhor desempenho de predição.
• Generalização de Domínio: Validação da abordagem em cenários multilíngues e multimodais, demonstrando robustez além do inglês e texto puro.
• Estudo de Ablação: Prova de que tanto as justificativas de apoio quanto as de refutação são críticas; a remoção de qualquer uma delas degrada o desempenho.

4. Resultados Chave

Os experimentos foram conduzidos em dois datasets principais (LIAR-RAW e RAW-FC) e estendidos para outros domínios.

• Comparação TBE-3 vs. Baselines:
  • A abordagem baseada em entailment (TBE-3) obteve melhorias massivas no Macro-F1 (MF1) em comparação com os baselines de ponta.
  • LIAR-RAW: Melhoria de até 28,57% (ex: XLNet fine-tuned com justificativas do Llama).
  • RAW-FC: Melhoria de até 44,26% (ex: RoBERTa fine-tuned com justificativas do Llama).
• Desempenho de Inference (IBE):
  • Métodos baseados apenas em prompting (IBE) tiveram desempenho consistentemente inferior, muitas vezes não superando os baselines, destacando a necessidade de treinamento (fine-tuning) com as justificativas sintetizadas.
• Estudo de Ablação:
  • Remover apenas as justificativas de refutação causou uma queda de ~9% no MF1.
  • Remover apenas as justificativas de apoio causou uma queda drástica de ~31% (LIAR-RAW) e ~12% (RAW-FC).
  • Remover ambas as justificativas degradou o desempenho em mais de 50%, confirmando que a estrutura de "apoio vs. refutação" é o sinal de supervisão mais eficaz.
• Generalização:
  • Multimodal: Melhorias de até 54,10% no MF1 em datasets como MOCHEG.
  • Multilíngue: Melhorias de até 19,70% no MF1 em datasets como X-Fact e RU22Fact.
• Análise de Atenção:
  • Modelos ELMs treinados com justificativas de entailment focaram com mais precisão em palavras-chave factuais em casos extremos (Verdadeiro/Falso).
  • Em casos de "meia-verdade" (borderline), a atenção do modelo tendeu a se dispersar, indicando que a ambiguidade permanece um desafio.

5. Significância e Conclusão

O artigo estabelece que a capacidade de entailment dos modelos generativos pode ser explorada de forma eficiente para melhorar sistemas de verificação de fatos, superando as limitações de custo e desempenho de métodos puramente baseados em prompting.

• Eficiência: A abordagem permite usar modelos ELMs menores (mais rápidos e baratos para inferência) que foram treinados com o "conhecimento" sintetizado de modelos GLMs maiores.
• Robustez: O método demonstra ser escalável e eficaz em diferentes idiomas e modalidades (texto + imagem), sugerindo que a separação explícita de evidências em "apoio" e "refutação" é um sinal de aprendizado fundamental para a verificação de fatos.
• Impacto Prático: Oferece um caminho viável para a implantação de sistemas de fact-checking de alta precisão em ambientes com restrições computacionais, sem depender de modelos proprietários massivos em tempo real.

Em resumo, o trabalho demonstra que como o modelo entende e estrutura a evidência (através de justificativas de entailment) é tão importante quanto a própria evidência bruta para a precisão da predição de veracidade.