Resumo Técnico: COMMUNITYFACT

Declaração do Problema

A verificação de desinformação ocorre cada vez mais em ambientes online públicos, dinâmicos e multilíngues, onde benchmarks estáticos falham em capturar a natureza dinâmica de alegações, evidências e narrativas. Benchmarks de factualidade existentes frequentemente dependem de instantâneos fixos, fontes centralizadas e dados centrados no inglês, resultando em três lacunas críticas:

1. Cobertura: Sub-representação de narrativas localizadas e específicas de redes sociais em favor de verificadores de fatos profissionais e enciclopédias.
2. Granularidade: Rótulos no nível de postagem frequentemente colapsam múltiplas alegações de veracidade mista em um único veredito, obscurecendo modos de falha específicos.
3. Redistribuição: Postagens em redes sociais são efêmeras devido a exclusões, restrições de acesso e direitos autorais, tornando difícil compartilhar e reproduzir dados brutos.

Além disso, avaliar Modelos de Linguagem de Grande Porte (LLMs) em dados estáticos corre o risco de medir memorização ou contaminação em vez de capacidades genuínas de verificação, especialmente à medida que os LLMs são cada vez mais implantados como sistemas de verificação públicos e sob demanda com acesso à web.

Metodologia

Os autores introduzem o COMMUNITYFACT, um benchmark dinâmico, multilíngue e multidomínio construído a partir das Community Notes do X (antigo Twitter). O sistema aproveita o fluxo contínuo de alegações do mundo real e o contexto corretivo validado pela comunidade fornecido pelas Community Notes para construir um benchmark atualizável.

Pipeline de Construção de Dados

O processo de construção envolve um pipeline parametrizado projetado para garantir compartilhabilidade e verificabilidade de texto sem exigir postagens brutas de redes sociais:

1. Seleção de Fonte: O pipeline filtra o arquivo público de Community Notes (instantâneo até 27 de março de 2026) por notas marcadas como CURRENTLY_RATED_HELPFUL criadas em 2025.
2. Filtragem por Idioma e Domínio: Seleciona os cinco idiomas de notas não midiáticas mais frequentes (inglês, espanhol, francês, japonês, português) e classifica as notas nos domínios Política e Finanças usando o GPT-5.5.
3. Extração de Alegações: Usando o GPT-5.5 com um esforço de raciocínio "médio", o sistema extrai alegações factuais independentes e passíveis de verificação de pares Tweet–Nota. O prompt de extração impõe uma "Fórmula de Zero-Contexto", garantindo que as alegações contenham todas as entidades, datas e qualificadores necessários para serem verificadas sem acesso à postagem ou nota original. Alegações dependentes de mídia ou metadados da plataforma são excluídas.
4. Rotulagem: Os rótulos são derivados diretamente da Community Note útil. Uma alegação é rotulada como FALSA se a nota refutar ou corrigir uma afirmação factual na postagem, e VERDADEIRA se a nota apoiar ou esclarecê-la.
5. Auto-refinamento: Uma etapa secundária de auditoria verifica a completude independente, a correção do rótulo e a não duplicação.
6. Divisão Temporal: Para evitar vazamento de dados, os exemplos são divididos temporalmente dentro de cada grupo de idioma–domínio, reservando os exemplos mais recentes para teste.

Estatísticas do Benchmark

A versão de 2025 contém 15.992 exemplos independentes no nível de alegação:

• Idiomas: Inglês, Espanhol, Francês, Japonês, Português.
• Domínios: Política, Finanças.
• Distribuição: 9.970 alegações VERDADEIRAS e 6.022 alegações FALSAS.
• Formato: Cada exemplo inclui a alegação, timestamp, idioma, domínio, rótulo e URLs de evidência citadas na nota.

Configuração Experimental

Os autores avaliaram 10 LLMs em quatro configurações de inferência:

1. Seguimento de Instruções (Entrada Fechada): Os modelos recebem apenas a alegação e o timestamp (ex.: Aya-Expanse, Ministral, EuroLLM).
2. Habilitado para Raciocínio: Os modelos são executados com modos explícitos de "pensamento" (ex.: variantes do Qwen3).
3. Pesquisa na Web (Não Guiada): Os modelos recuperam independentemente evidências relevantes ao timestamp.
4. Pesquisa na Web Guiada por Evidências: Os modelos recebem as URLs citadas pela Community Note útil como leads prioritários, mantendo ao mesmo tempo acesso à pesquisa geral na web.

As métricas de avaliação focam em pontuações macro-F1, relatadas tanto no geral quanto por fatia de idioma–domínio para evitar mascarar variações sistemáticas.

Contribuições Principais

1. Um Benchmark Atualizável: O COMMUNITYFACT é o primeiro benchmark projetado para ser regenerado automaticamente a partir de novos instantâneos de Community Notes, abordando a obsolescência de conjuntos de dados existentes.
2. Alegações Granulares e Compartilháveis: Ao converter pares Tweet–Nota em alegações independentes com rótulos fundamentados em notas e URLs de evidência, o benchmark permite análise de granularidade fina sem redistribuir conteúdo bruto de redes sociais.
3. Análise Multilíngue e Multidomínio: O conjunto de dados cobre cinco idiomas e dois domínios de alto impacto, permitindo a avaliação de generalização cruzada entre idiomas e domínios.
4. Análise de Seleção de Fonte: O benchmark facilita o estudo de como LLMs habilitados para web selecionam fontes de evidência em comparação com avaliadores humanos.

Resultados

Capacidades no Momento da Inferência

• Limitações de Entrada Fechada: A verificação com entrada fechada permanece difícil. Mesmo o melhor modelo de seguimento de instruções (Aya-Expanse-32B) alcançou um macro-F1 de 69,93, significativamente menor do que os modelos habilitados para web.
• Raciocínio sem Evidências: Modos explícitos de "pensamento" não melhoraram universalmente o desempenho; em alguns casos (ex.: variantes do Qwen3, Gemini-2.5-Flash), o raciocínio sem evidências externas degradou o desempenho.
• Acesso à Web: Modelos habilitados para web mostraram os maiores ganhos. O Grok-4.3 alcançou a pontuação geral mais alta (83,80 macro-F1) com acesso à web, superando todos os modelos de entrada fechada em todas as fatias.

Pesquisa Guiada por Evidências e Alinhamento de Fontes

• Impacto da Orientação: Fornecer URLs de evidência das Community Notes melhorou significativamente o desempenho para GPT-5-nano (+1,48 pp) e Grok-4.3 (+1,97 pp), mas não ajudou significativamente o Gemini-2.5-Flash (que na verdade caiu ligeiramente).
• Desalinhamento de Fontes: LLMs habilitados para web exibem um desalinhamento sistemático com as fontes que avaliadores humanos consideram úteis.
  • Grok-4.3 e GPT-5-nano realinharam com sucesso sua recuperação em direção a fontes validadas por humanos (ex.: domínios governamentais, notícias autoritativas) quando orientados, levando a ganhos de desempenho.
  • Gemini-2.5-Flash falhou em deslocar seu ecossistema de fontes em direção a domínios preferidos por humanos, confiando em vez disso em pontos de extremidade de pesquisa genéricos (ex.: google.com, youtube.com), o que resultou em nenhum ganho de desempenho.
• Eficiência de Recuperação: Os ganhos foram impulsionados por quais fontes foram consultadas, e não meramente pela quantidade. O GPT-5-nano expandiu sua recuperação esparsa para corresponder à densidade de citação humana, enquanto o Grok-4.3 podou sua recuperação excessivamente ampla para focar em fontes de alta qualidade.

Significado e Alegações

O artigo posiciona o COMMUNITYFACT não apenas como uma ferramenta de avaliação, mas como um sinal de treinamento para sistemas futuros. Os autores argumentam que:

• Benchmarks estáticos são insuficientes para medir a confiabilidade de sistemas de verificação implantados e habilitados para web.
• O acesso à web é crítico para a verificação factual, mas a qualidade da seleção de fontes é o diferencial.
• Community Notes fornecem um fluxo contínuo e multilíngue de pares <alegação, fontes validadas por humanos>. Isso sugere uma direção futura para o treinamento de sugeridores de fontes condicionados a alegações — priores de recuperação leves que propõem fontes alinhadas a humanos para alegações novas, fechando a lacuna entre políticas de recuperação de LLM e padrões de verificação humana.

Os autores concluem que, embora pontuações agregadas mascarem variações significativas entre fatias de idioma e domínio, o benchmark revela que alinhar políticas de recuperação com fontes validadas por humanos é um mecanismo chave para melhorar a detecção de desinformação no mundo real.