AI Fact-Checking in the Wild: A Field Evaluation of LLM-Written Community Notes on X

Visão Geral do Problema

As plataformas de mídia social, como o X (antigo Twitter), dependem cada vez mais de mecanismos baseados na comunidade (como o Community Notes) para adicionar contexto a conteúdo potencialmente enganoso. Embora modelos de linguagem grandes (LLMs) tenham demonstrado capacidades promissoras em verificação de fatos em ambientes controlados (usando benchmarks ou julgamentos de trabalhadores de crowd), existe uma lacuna crítica: não há evidências sobre como esses sistemas performam em ambientes de plataforma reais ("in the wild").

As avaliações anteriores falham em capturar dinâmicas reais, como o tempo de submissão, a apresentação da interface, a atenção limitada dos usuários e critérios de julgamento subjetivos que moldam o impacto real. O problema central é determinar se os LLMs podem gerar notas de verificação de fatos de alta qualidade que alcancem o consenso entre diferentes perspectivas ideológicas, que é o objetivo principal do Community Notes.

Metodologia

Os autores realizaram a primeira avaliação de campo de um sistema de verificação de fatos baseado em LLM implantado diretamente na plataforma X, através da API "AI writer" do Community Notes.

• Implantação: Um pipeline de LLM personalizado foi desenvolvido e executado por três meses (1º de novembro de 2025 a 31 de janeiro de 2026).
• Pipeline do Agente: O sistema utiliza um fluxo de trabalho multimodal (texto, imagens e vídeos) que inclui:
  1. Pesquisa na web e pesquisa nativa na plataforma (usando o modelo Grok-4-fast para acesso ao conteúdo do X e vídeos).
  2. Avaliação de se há evidências suficientes para justificar uma nota.
  3. Geração da nota contextual (usando GPT-5-mini).
  4. Filtros de controle de qualidade (validação de URL, verificação de comprimento e modelo ClaimOpinion).
• Dados: O sistema escreveu 1.614 notas em 1.597 tweets únicos. Essas foram comparadas com 1.332 notas escritas por humanos nos mesmos tweets. O conjunto de dados totalizou 108.169 avaliações de 42.521 avaliadores distintos.
• Desafio de Viés de Exposição: Notas submetidas mais tarde recebem menos avaliações e são penalizadas pelo algoritmo da plataforma. Como as notas de IA só podem ser geradas após usuários humanos sinalizarem o post como potencialmente enganoso, elas sofrem uma desvantagem temporal sistemática (66% das notas humanas foram criadas antes das de IA).
• Estratégias Analíticas: Para mitigar esse viés, os autores utilizaram duas abordagens:
  1. Análise no Nível de Avaliação (Rating-Level): Modelagem de cada avaliação individual (útil, parcialmente útil, não útil) usando modelos de efeitos mistos lineares, controlando pela ideologia do avaliador.
  2. Análise no Nível de Nota (Note-Level) com Exposição Igualada: Recálculo das pontuações de utilidade apenas com base nas avaliações de usuários que viram e avaliaram todas as notas em um mesmo tweet, eliminando o viés de exposição temporal.

Principais Contribuições

1. Validade Ecológica: Primeira avaliação de campo em grande escala de verificação de fatos por IA em uma plataforma social real, superando estudos de laboratório e métricas proxy.
2. Código Aberto: O pipeline de escrita, prompts e código de análise foram open-sourced, permitindo reprodutibilidade e documentação transparente das decisões de design.
3. Evidência Empírica de Escala: Demonstração de que os LLMs podem fornecer anotações de verificação de fatos de alta qualidade em escala, superando ou igualando o desempenho humano no padrão rigoroso de "ampla utilidade" (broad helpfulness).

Resultados Chave

1. Consenso Transpartidário (Análise de Nível de Avaliação)

• As notas geradas por LLM receberam avaliações mais positivas do que as notas humanas em todo o espectro político (esquerda, centro e direita).
• O modelo de efeitos mistos mostrou que o benefício da IA é mais pronunciado entre avaliadores moderados (centro) e diminui nas extremidades ideológicas, mas permanece positivo em todas as faixas.
• Isso sugere que as notas de IA têm maior potencial para alcançar o consenso entre diferentes perspectivas, um critério fundamental para o Community Notes.

2. Desempenho no Nível de Nota (Análise com Exposição Igualada)

• Quando o viés de exposição (tempo de submissão) foi controlado, as notas de LLM obtiveram pontuações de utilidade significativamente mais altas do que as notas humanas (média de 0,21 vs. 0,18).
• A taxa de notas que atingiram o status "Currently Rated Helpful" (CRH) foi maior para LLMs (2,40% vs. 1,89%), embora a diferença não tenha sido estatisticamente significativa devido ao tamanho reduzido da amostra igualada.

3. Heterogeneidade por Tópico

• A vantagem da IA variou conforme o tema:
  • Maior vantagem: Saúde e medicina, teorias da conspiração e pseudociência (onde fontes autoritativas são abundantes e os fatos são claros).
  • Menor vantagem: Conteúdo gerado por IA (onde a detecção requer capacidades especializadas que o pipeline atual não possui, como busca reversa de imagens ou SynthID).

4. Diferenças de Estilo e Fontes

• Comprimento: Notas de IA foram mais longas (média de 35,8 palavras vs. 26,9).
• Fontes: As notas de IA citaram mais frequentemente fontes de notícias tradicionais e enciclopédias (ex: Reuters, BBC, Wikipedia). As notas humanas citaram muito mais o próprio X (x.com) e conteúdo nativo da plataforma. Isso indica que a IA tende a depender mais de fontes externas autoritativas, enquanto humanos usam mais o contexto da rede social.

Significado e Implicações

• Viabilidade da Escala: O estudo prova que a verificação de fatos assistida por IA é viável não apenas em ambientes controlados, mas sob as condições caóticas de plataformas reais. Isso é crucial dado o descompasso entre a produção massiva de desinformação e a capacidade limitada de verificação humana.
• Complementaridade, não Substituição: Os resultados sugerem que LLMs e humanos possuem pontos fortes complementares. Os LLMs são superiores na síntese rápida de informações amplamente disponíveis e na geração de notas em escala. Os humanos são melhores em lidar com situações novas, tópicos de nicho e eventos em rápida evolução.
• Design de Sistemas: Plataformas devem projetar sistemas que harness (aproveitem) essa complementaridade, permitindo que as notas mais úteis, independentemente da origem (humana ou IA), subam no ranking, em vez de tratar a IA como uma substituição total da comunidade.
• Desafios de Métricas: O estudo destaca que métricas agregadas de plataforma podem mascarar a qualidade intrínseca devido a fatores de exposição (como o tempo de submissão), enfatizando a necessidade de metodologias analíticas sofisticadas para avaliar sistemas de IA "na natureza".

Em resumo, o artigo demonstra que, quando devidamente implementados e avaliados com controle de viés de exposição, os LLMs podem gerar notas de verificação de fatos que são não apenas precisas, mas também mais amplamente aceitas e úteis para uma audiência diversificada do que as notas escritas por humanos.