Context Shapes LLMs Retrieval-Augmented Fact-Checking Effectiveness

1. Problema e Motivação

A proliferação de desinformação representa um desafio societal crítico, superando a capacidade de verificação manual. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam novas oportunidades para a verificação automatizada de fatos, eles enfrentam limitações significativas ao processar contextos extensos.

• O Desafio: Pesquisas anteriores indicam uma degradação de desempenho no "meio do contexto" (lost in the middle effect), onde os modelos têm dificuldade em acessar informações que não estão no início ou no final do prompt.
• A Lacuna: A maioria dos estudos foca em perguntas e respostas (QA), mas a verificação de fatos exige sintetizar e reconciliar informações conflitantes de múltiplas fontes. Não está claro como o comprimento do contexto e a posição da evidência afetam especificamente a precisão na verificação de alegações (claim verification).

2. Metodologia

Os autores realizaram um conjunto controlado de experimentos para isolar os efeitos do conhecimento paramétrico, da disponibilidade de evidências, do comprimento do contexto e da posição da evidência.

• Conjuntos de Dados: Foram utilizados três datasets de verificação de alegações: HOVER, FEVEROUS e ClimateFEVER. As taxonomias foram unificadas em um formato binário (SUPPORTS vs. REFUTES).
• Modelos Avaliados: Cinco modelos open-source de diferentes famílias e tamanhos:
  • Llama-3.1 (8B e 70B)
  • Qwen2.5 (7B)
  • Qwen3 (8B e 32B)
• Configuração Experimental:
  1. Linha de Base Paramétrica: Avaliação sem evidências externas (apenas a alegação) para medir o conhecimento interno do modelo.
  2. Evidência de Ouro: Inserção de evidências relevantes sem contexto adicional.
  3. Manipulação de Contexto:
     • Comprimento: Contextos de 2k, 4k, 8k e 16k tokens.
     • Posicionamento: O bloco de evidências foi inserido em 11 posições equidistantes (de 0% a 100% do prompt), cercado por texto de preenchimento (filler text) irrelevante para controlar o tamanho total da entrada.

3. Contribuições Principais

• Análise Sistemática de Viés Posicional: Demonstração empírica de que a eficácia da verificação de fatos depende criticamente de onde a evidência é colocada no prompt, não apenas de sua presença.
• Impacto do Comprimento do Contexto: Evidência de que aumentar o contexto além de certo ponto introduz interferência que degrada a precisão, mesmo com evidências de alta qualidade presentes.
• Comparação de Arquiteturas: Avaliação comparativa entre diferentes famílias de modelos (Llama vs. Qwen) e tamanhos, revelando que a robustez à posição e ao comprimento varia significativamente entre arquiteturas, não sendo apenas uma função do número de parâmetros.

4. Resultados Chave

A. Conhecimento Paramétrico (RQ1)

• Os modelos possuem conhecimento factual não trivial e conseguem resolver uma parcela significativa das alegações sem evidências externas.
• O desempenho varia mais entre os datasets do que entre os modelos. O ClimateFEVER apresentou os melhores scores paramétricos, enquanto o HOVER foi o mais desafiador.
• A introdução de evidências de ouro trouxe melhorias sistemáticas, especialmente no FEVEROUS (ganho de até +0.20 em acurácia).

B. Efeito do Comprimento do Contexto (RQ2)

• Tendência Geral: A precisão de verificação tende a diminuir à medida que o comprimento do contexto aumenta (de 2k para 16k tokens).
• Exceção Não Monotônica: Os modelos Qwen3 (8B e 32B) apresentaram um mínimo local em 4k tokens antes de uma recuperação parcial em 8k, sugerindo que a degradação não é linear e pode interagir com mecanismos de atenção internos.
• O Qwen3-32B mostrou-se o mais estável entre todos os comprimentos de contexto avaliados.

C. Efeitos da Posição da Evidência (RQ3)

• Viés de Posição: A acurácia é consistentemente maior quando a evidência está no início (0%) ou no final (100%) do prompt. A precisão cai significativamente quando a evidência está no meio do contexto.
• Sensibilidade do Modelo:
  • O Llama-3.1-8B mostrou flutuações acentuadas ao mover a evidência das bordas.
  • O Llama-3.1-70B foi mais estável que sua versão menor, mas ainda sensível.
  • Os modelos Qwen3 (especialmente o 32B) exibiram curvas de acurácia mais suaves, indicando menor sensibilidade posicional. O Qwen3-32B manteve-se acima da linha de base "apenas alegação" em todas as profundidades, sugerindo que ele consegue utilizar a evidência independentemente da posição, embora com eficiência variável.
• Sensibilidade do Dataset: O ClimateFEVER foi o dataset mais sensível a variações posicionais e de contexto, apresentando as maiores diferenças entre as melhores e piores configurações.

5. Significado e Implicações

• Para Sistemas de Verificação de Fatos: A simples adição de mais contexto ou evidências não garante melhor desempenho. A organização do prompt é um fator crítico. Sistemas de Retrieval-Augmented Generation (RAG) devem priorizar a colocação de evidências relevantes nas extremidades do contexto (início ou fim) para maximizar a precisão.
• Para o Desenvolvimento de Modelos: A robustez posicional não é garantida apenas pelo aumento de escala (número de parâmetros); estratégias de treinamento e arquitetura (como as do Qwen3) desempenham um papel fundamental na mitigação do viés posicional.
• Futuro: O trabalho aponta para a necessidade de investigar os mecanismos de atenção subjacentes e realizar testes com evidências ruidosas ou parcialmente relevantes para simular cenários de verificação de fatos do mundo real.

Em resumo, o estudo conclui que a eficácia da verificação de fatos baseada em LLMs é moldada não apenas pela qualidade da evidência recuperada, mas fundamentalmente por como essa evidência é estruturada e posicionada dentro da janela de contexto do modelo.