Multilingual, Multimodal Pipeline for Creating Authentic and Structured Fact-Checked Claim Dataset

Resumo Técnico: Pipeline Multilíngue e Multimodal para Criação de Conjuntos de Dados de Verificação de Fatos Estruturados e Autênticos

1. Problema Identificado

A proliferação rápida de desinformação em plataformas online exige recursos robustos, atualizados e explicáveis para a verificação de fatos. No entanto, o estado da arte enfrenta limitações significativas:

• Dominância do Inglês e Texto: A maioria dos conjuntos de dados existentes é centrada no texto e dominada pelo inglês, negligenciando idiomas como francês e alemão.
• Falta de Multimodalidade: Poucos recursos capturam a dimensão visual (imagens e vídeos) que impulsiona a propagação de falsidades.
• Anotações Superficiais: Os dados atuais carecem de anotações estruturadas detalhadas, links explícitos entre alegações, evidências e veredictos, e não refletem a complexidade do trabalho jornalístico real.
• Abordagem Automatizada Limitada: Sistemas automáticos atuais tratam documentos como texto intercambiável, falhando em replicar a priorização de fontes primárias (como registros oficiais ou testemunhos de especialistas) feita por verificadores humanos.

2. Metodologia

Os autores propõem um pipeline escalável e reprodutível para a construção de conjuntos de dados de verificação de fatos multilíngues (francês e alemão) e multimodais. O processo segue cinco etapas principais:

1. Coleta de Dados (ClaimReview): Agregação de declarações verificadas via API do Google ClaimReview e scraping de artigos completos de desmistificação de sites de organizações de fact-checking.
2. Extração de Conteúdo: Coleta sistemática de texto, imagens, legendas e vídeos embutidos nos artigos de desmistificação.
3. Enriquecimento de Metadados: Uso de modelos de linguagem (LLMs) para categorizar fontes de alegações com base no conteúdo multimodal.
4. Normalização de Veredictos: Mapeamento determinístico de esquemas de classificação heterogêneos (de diferentes organizações) para um conjunto unificado de rótulos (Verdadeiro, Falso, Parcialmente Verdadeiro, Outro), baseado no ClaimsKG.
5. Esquema de Evidência Jornalística: O diferencial metodológico é a categorização de evidências em seis categorias epistêmicas finas, inspiradas na prática jornalística:
   • Testemunho de Especialistas (Expert Testimony)
   • Dados Quantitativos e Estatísticas (Quantitative Data & Statistics)
   • Registros Oficiais e Documentos Legais/Políticos (Official Records)
   • Registros de Mídia (Massa ou Social) (Media Record)
   • Evidência Multimídia (Multimedia Evidence - fotos, vídeos, gráficos como prova)
   • Testemunhas Oculares e Relatos de Primeira Mão (Eyewitness Accounts)

Processamento com LLMs:
O pipeline utiliza LLMs de última geração (como Gemini-2.5-Pro, Llama3.3, Qwen2.5) para duas tarefas principais:

• Extração de Evidência: Identificar e extrair itens de evidência dos artigos sob as categorias definidas.
• Geração de Justificativa: Criar explicações que liguem logicamente as evidências extraídas ao veredito final, garantindo rastreabilidade e ausência de alucinações.

3. Principais Contribuições

• Pipeline Reprodutível: Um conjunto completo de scripts para a criação de dados de fact-checking enriquecidos com metadados estruturados e anotações de evidência.
• Novos Conjuntos de Dados: Dois grandes conjuntos de dados atualizados (Francês: 5.170 alegações; Alemão: 3.555 alegações) que incluem alegações, artigos completos, mídia visual e evidências categorizadas.
• Análise Comparativa: Uma análise detalhada do uso de categorias de evidência entre diferentes organizações e mercados de mídia na Europa, revelando diferenças institucionais nas práticas de verificação.
• Benchmarking Abrangente: Avaliação de sistemas baseados em LLMs (texto e multimodal) para extração de evidência e geração de justificativa, utilizando uma abordagem de "LLM como juiz" (G-Eval) e validação humana.

4. Resultados e Avaliação

• Desempenho dos Modelos: O modelo Gemini-2.5-Pro superou consistentemente os outros modelos (Qwen2.5 e Llama3.3) em todas as métricas de avaliação (Corretude, Coerência, Completude) tanto para extração de evidência quanto para geração de justificativa.
• Integração Multimodal: A inclusão de evidências visuais (imagens, vídeos com timestamps) melhorou a qualidade das justificativas geradas, especialmente no modelo Gemini, demonstrando maior coerência e completude ao raciocinar sobre dados multimodais.
• Validação Humana: A avaliação por anotadores humanos confirmou a hierarquia de desempenho dos modelos e mostrou alta correlação com as avaliações automáticas (G-Eval), validando a confiabilidade do pipeline.
• Padrões de Evidência: A análise revelou que alegações "Parcialmente Verdadeiras" dependem fortemente de evidência documental (especialistas, registros oficiais), enquanto alegações "Falsas" tendem a ter maior uso de registros de mídia e evidência multimídia.

5. Significância e Impacto

Este trabalho preenche uma lacuna crítica entre a verificação automatizada e a prática jornalística real. Ao estruturar dados com base em categorias de evidência epistêmica e não apenas em correspondência de texto, o estudo permite:

• O desenvolvimento de modelos de fact-checking mais interpretáveis e fundamentados em evidências.
• A comparação rigorosa de práticas de verificação entre diferentes culturas e sistemas de mídia.
• A criação de benchmarks realistas para avaliar a capacidade de modelos multimodais de raciocinar sobre desinformação complexa.
• A disponibilização pública dos dados e scripts, fomentando a pesquisa reprodutível em verificação de fatos multilíngue e multimodal.

Em suma, o artigo estabelece um novo padrão para a criação de recursos de fact-checking, movendo-se de corpora estáticos e textuais para conjuntos de dados dinâmicos, estruturados e alinhados com os métodos de investigação jornalística profissional.