Resumo Técnico: CAAFC – Verificador Automático de Fatos Acionável e Cronológico

Declaração do Problema

A proliferação rápida de conteúdo online, incluindo texto gerado por IA propenso a alucinações, tornou a verificação de fatos manual inviável. Os sistemas existentes de Verificação Automática de Fatos (AFC) sofrem de desalinhamentos críticos com as práticas profissionais de verificação de fatos. Especificamente, os sistemas atuais frequentemente:

1. Confiam em Fontes Secundárias: Eles recuperam frequentemente evidências de veículos de mídia em vez de fontes primárias (por exemplo, declarações oficiais, dados brutos), introduzindo viés interpretativo.
2. Carecem de Fundamentação Temporal: Eles falham em considerar a natureza cronológica dos fatos, frequentemente usando evidências desatualizadas ou omitindo contexto temporal, levando a "descompassos cronológicos de evidência".
3. Unificam Mal as Tarefas: Eles tratam a detecção de alucinações não factuais e a verificação automática de fatos como problemas separados, em vez de uma tarefa unificada.
4. Geram Justificativas de Baixa Qualidade: Suas explicações frequentemente carecem de estrutura explícita, rastreabilidade às fontes e correções acionáveis (identificando erros, fornecendo correções e citando fontes).
5. Dependem Excessivamente de Modelos Grandes: Há uma suposição de que apenas Grandes Modelos de Linguagem (LLMs) massivos podem realizar essas tarefas efetivamente, ignorando o potencial de decompor tarefas para modelos menores e eficientes.

Metodologia: O Framework CAAFC

Os autores introduzem o CAAFC (Verificador Automático de Fatos Acionável e Cronológico), um framework modular projetado para fechar a lacuna entre metodologias profissionais e sistemas automatizados. O CAAFC processa alegações, conversas e diálogos usando LLMs quantizados (principalmente Gemma3-27B) e é estruturado em torno de seis módulos-chave:

1. Extrator-Segmentador: Diferente de pipelines clássicos que filtram por alegações "passíveis de verificação", este módulo extrai todas as alegações possíveis do texto de entrada e decompõe alegações complexas ou conversas em sub-alegações atômicas. Essa granularidade permite verificação precisa e transparência.
2. Recuperador de Evidências Primárias Cronológicas: Este módulo direciona a recuperação para fontes primárias (por exemplo, registros governamentais oficiais, declarações originais) em vez de mídia secundária. Crucialmente, incorpora cronologia, recuperando evidências relevantes para o momento em que a alegação foi feita, bem como conhecimento atualizado até o presente. Utiliza o Google AI Mode (Gemini-Pro-3) para resumir resultados de busca dessas fontes primárias.
3. Verificador de Fatos: Este módulo avalia cada alegação atômica contra as evidências recuperadas, atribuindo um rótulo de veracidade (Verdadeiro, Falso ou Não Verificável) e gerando uma justificativa preliminar. Um veredito final para a alegação geral é agregado usando uma lógica onde uma única alegação atômica falsa torna toda a alegação falsa.
4. Justificador Acionável: Um módulo inovador que sintetiza a alegação, a evidência e os rótulos de veracidade atômica em uma explicação acionável estruturada. Esta explicação identifica explicitamente erros factuais, fornece correções e cita fontes de apoio.
5. Avaliador de Acionabilidade: Este módulo avalia a qualidade da justificativa gerada usando o framework FinGrAct. Ele pontua a justificativa com base em três critérios: detecção de erros, correção de erros e relevância/funcionalidade dos links citados. Uma pontuação de 4/7 ou superior é necessária para aceitabilidade.
6. Revisor de Justificativa: Se o Avaliador de Acionabilidade encontrar a justificativa deficiente, este módulo refina a saída incorporando feedback para adicionar correções ausentes ou destacar erros negligenciados, garantindo que a saída final atinja o limiar de acionabilidade.

Contribuições Principais

O artigo delineia cinco contribuições primárias que abordam questões de pesquisa específicas:

• C1 (Cronologia e Atualizações de Conhecimento): O CAAFC introduz um método para detectar conhecimento desatualizado ou ausente em bancos de dados recuperando evidências ordenadas e com carimbo de data/hora. Corrige bancos de conhecimento com base nessas novas evidências cronológicas, garantindo que as explicações reflitam a sequência correta de eventos.
• C2 (Alinhamento com Fontes Primárias): O framework imita explicitamente verificadores de fatos profissionais ao priorizar fontes originais/primárias sobre mídia secundária, reduzindo assim o viés interpretativo.
• C3 (Unificação de Tarefas): Reformula a detecção de alucinações não factuais e a verificação automática de fatos em uma única tarefa unificada para detecção e correção de desinformação.
• C4 (Eficiência via Decomposição): Os autores demonstram que decompor a tarefa complexa de verificação de fatos em subtarefas menores permite que LLMs menores e quantizados (especificamente Gemma3-27B) superem modelos de fronteira significativamente maiores (por exemplo, GPT-5.2, LLAMA3.3-70B, GPT-OSS-120B) em termos de precisão e pontuação F1 macro, exigindo substancialmente menos recursos computacionais (17 GB de memória de GPU versus significativamente mais para modelos maiores).
• C5 (Acionabilidade Estruturada): O framework introduz novos componentes arquitetônicos (Justificador Acionável, Avaliador, Revisor) para gerar justificativas estruturadas de alta qualidade que aumentam a transparência e a confiança do usuário, indo além de simples rótulos verdadeiro/falso.

Resultados Experimentais

O framework foi avaliado em quatro conjuntos de dados de referência: AVeriTeC, CoverBench, FACTors e DiaHalu (detecção de alucinações baseada em diálogos).

• Qualidade da Evidência: Os autores identificaram um "descompassos cronológico de evidência" significativo nos conjuntos de dados existentes, onde a evidência do conjunto de dados estava desatualizada ou carecia de contexto em comparação com fontes primárias recuperadas pelo Google. Anotadores humanos confirmaram que a evidência recuperada pelo Google era superior nesses casos.
• Desempenho na Verificação de Fatos:
  • No AVeriTeC, o CAAFC (Gemma3-27B) alcançou 0,894 de precisão (após limpeza de dados), superando o InFact (0,720) e o LLaMA 3.1-70B ajustado (0,752).
  • No CoverBench, alcançou 0,829 de precisão, superando o SOTA Claude 3.5 Sonnet (0,689).
  • No FACTors, atingiu 0,919 de precisão, excedendo a linha de base RoBERTa ajustada (0,849).
  • Notavelmente, o modelo menor Gemma3-27B igualou ou superou o desempenho de modelos com 2,6x a 4x mais parâmetros.
• Desempenho na Detecção de Alucinações: No conjunto de dados DiaHalu, o CAAFC alcançou uma pontuação F1 macro de 0,684, superando o GPT-5.2 (0,682) e superando significativamente o GPT-4 (0,473) e Redes de Grafos Temporais (0,495).
• Acionabilidade: As justificativas geradas receberam altas pontuações de acionabilidade (majoritariamente 6-7 de 7) de acordo com o framework FinGrAct, indicando que identificaram com sucesso erros, forneceram correções e citaram fontes funcionais.

Significado e Alegações

O artigo afirma que o CAAFC representa uma mudança na forma como a verificação automática de fatos deve ser abordada. Seu significado reside em:

1. Provar que modelos menores podem superar modelos maiores quando a tarefa é adequadamente decomposta e apoiada por evidências de alta qualidade e cronológicas.
2. Fechar a lacuna entre a verificação de fatos profissional e automatizada ao aderir a metodologias profissionais (fontes primárias, fundamentação temporal e justificativas rastreáveis).
3. Aumentar a confiabilidade e a transparência por meio de explicações estruturadas e acionáveis que permitem aos usuários verificar alegações independentemente.
4. Demonstrar a importância crítica da cronologia da evidência, mostrando que muitos "erros" em benchmarks existentes são na realidade artefatos de evidências de conjuntos de dados desatualizados.

Os autores reconhecem limitações, incluindo a restrição atual a conteúdo em língua inglesa e o potencial de viés do mecanismo de busca na evidência recuperada. Eles também observam que, embora o framework reduza os requisitos de memória de GPU, o processo de inferência multi-etapa introduz latência, o que eles planejam abordar em trabalhos futuros.