SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation

O Dilema do Detetive: Por Que Precisamos de Melhores Robôs de Verificação de Fatos

Imagine a internet como uma biblioteca enorme e caótica onde qualquer um pode gritar um "fato" das estantes. Às vezes esses gritos são verdadeiros, mas muitas vezes são palpites vazios, meias-verdades ou mentiras descaradas. Por muito tempo, os computadores foram bons em jogar um jogo simples de "Verdadeiro ou Falso" com esses gritos. Eles agem como um árbitro, levantando uma bandeira verde para a verdade ou uma bandeira vermelha para as mentiras. Mas, no mundo real, um simples "Falso" não é suficiente. Se alguém espalha um boato, não queremos apenas o apito de um árbitro; queremos uma história de detetive completa. Precisamos saber por que é falso, o que a evidência realmente diz e exatamente em qual página do jornal provou que o mentiroso estava errado. Este é o desafio da "geração de artigos de verificação de fatos". Não se trata apenas de encontrar a resposta; trata-se de escrever uma história clara e confiável que conecte os pontos entre uma afirmação e a prova, citando cada uma das fontes para que ninguém possa dizer: "Onde você conseguiu isso?".

É aqui que entra o artigo "SourceMinds at CheckThat! 2026". Os autores, uma equipe da Universidade do Norte do Texas, perceberam que pedir a um computador superinteligente para escrever um artigo de verificação de fatos inteiro em um único salto gigante frequentemente leva a resultados bagunçados. O computador pode inventar coisas ou esquecer de citar suas fontes. Por isso, eles construíram uma equipe de especialistas digitais — um "pipeline multiagente" — para enfrentar o trabalho passo a passo. Em vez de um robô tentando fazer tudo de uma vez, eles criaram um fluxo de trabalho onde um robô encontra as pistas, outro organiza o plano, um terceiro escreve o rascunho e um "auditor" final verifica cada citação para garantir que a história se sustente. O objetivo deles não era apenas escrever mais rápido, mas escrever melhor, garantindo que cada frase no artigo final seja respaldada por uma fonte real e verificável.

A Equipe de Detetives Digitais

O artigo descreve um sistema chamado SourceMinds, projetado para resolver um problema muito específico: como transformar uma afirmação confusa, um veredito (como "Falso") e um monte de documentos de evidência em um artigo de verificação de fatos limpo e profissional. Os autores sugerem que a melhor maneira de fazer isso é decompor o processo em uma corrida de revezamento, onde diferentes "agentes" (programas de computador especializados) passam o bastão uns para os outros.

Passo 1: O Caçador de Evidências
Primeiro, o sistema precisa encontrar as pistas certas. Imagine que você está procurando uma citação específica em uma biblioteca com milhares de livros. Se você apenas pegar os primeiros livros que parecem semelhantes, pode perder o melhor. A equipe do SourceMinds usa um agente de "recuperação densa" (dense retrieval), que é como um bibliotecário que entende o significado das palavras, não apenas a ortografia. Ele varre os documentos de evidência e encontra as frases mais relevantes. Mas ele não para por aí. Ele usa um "reclassificador" (reranker) para conferir as melhores correspondências e um "seletor balanceado por fonte" para garantir que não escolha apenas dez citações do mesmo site. Ele quer uma equipe diversificada de fontes, garantindo que a evidência não seja tendenciosa para apenas uma voz.

Passo 2: O Arquiteto (Planejador de Fatos)
Uma vez reunidas as pistas, o sistema não começa a escrever imediatamente. Isso seria como tentar construir uma casa sem uma planta. O agente "Planejador de Fatos" pega a evidência selecionada e cria um plano JSON estruturado. Pense nisso como o arquiteto desenhando a planta baixa. Ele decide qual é o argumento principal, lista os pontos de apoio e anota quaisquer "ressalvas" (avisos) caso a evidência não corresponda perfeitamente ao veredito. Crucialmente, se a evidência for fraca, o planejador é programado para admitir isso em vez de inventar uma razão falsa para fazer a história se ajustar.

Passo 3: O Jornalista (Escritor de Artigos)
Com a planta em mãos, o agente "Escritor de Artigos" entra em cena. Este agente atua como um jornalista profissional. Seu trabalho é escrever um artigo de 250 a 450 palavras que explique a afirmação, apresente o veredito e conduza o leitor através das evidências. A regra aqui é rigorosa: cada frase factual deve ter uma "citação", que se parece com (fonte: URL). É como um estudante escrevendo um trabalho de pesquisa onde cada afirmação deve ter uma nota de rodapé. O escritor é instruído a usar apenas as URLs fornecidas no índice de evidências, evitando que ele invente fontes falsas.

Passo 4: O Editor (Autocrítica)
Antes de o artigo ir para a impressão, ele passa por uma "autocrítica com portão" (gated self-critique). Este é um editor inteligente que só acorda se o rascunho parecer suspeito. O sistema verifica o rascunho: ele tem pelo menos três citações? Ele usa pelo menos duas fontes diferentes? Se o rascunho parecer "fracamente fundamentado" (ou seja, se estiver faltando prova), o editor entra em ação. Ele lê o artigo frase por frase. Se uma frase faz uma afirmação, mas a citação não a apoia de fato, o editor reescreve a frase ou troca a citação por uma melhor. Se o rascunho já estiver bom, o editor pula o trabalho para economizar tempo. Este passo garante que o artigo não apenas pareça ter fontes, mas que as fontes realmente sustentem as palavras.

Passo 5: O Auditor (Auditor de Citação NLI)
Finalmente, o "Auditor de Citação NLI" realiza uma verificação de antecedentes rigorosa e automatizada. Este agente utiliza uma técnica chamada "Inferência de Linguagem Natural" (NLI). Imagine um teste de lógica onde o computador pergunta: "Se esta evidência for verdadeira, isso significa necessariamente que esta frase é verdadeira?". O auditor realiza três passagens:

1. A Limpeza: Ele descarta quaisquer citações que apontem para URLs que não estão na lista de evidências original.
2. O Reparo: Se uma frase não possui citação, o auditor busca a melhor evidência correspondente e anexa uma citação apenas se a evidência provar logicamente a frase.
3. A Poda: Se uma frase tem citações demais, o auditor remove as redundantes, mantendo apenas as fontes essenciais.

O Que Eles Descobriram

A equipe testou seu sistema no conjunto de testes oficial do CLEF 2026 CheckThat! Lab, que continha 1.158 afirmações e uma média de 7,8 artigos de evidência por afirmação. Eles compararam seu pipeline multiagente contra um sistema de linha de base padrão.

Os resultados foram uma mistura de sucesso e uma lição clara para o futuro. O sistema SourceMinds alcançou uma pontuação média de 0,329, superando a pontuação da linha de base de 0,272. Os autores sugerem que dividir a tarefa em estágios especializados realmente ajudou. Especificamente:

• Cobertura de Evidência: O sistema obteve uma pontuação de 0,394, a mais alta de todas as métricas. Isso significa que o sistema foi muito bom em encontrar evidências relevantes e espalhar citações por diferentes fontes, em vez de depender de apenas um documento.
• Qualidade da Citação: O sistema melhorou significamente em Precisão de Citação (0,337) e Revocação de Citação (0,339) em comparação com a linha de base (0,223 e 0,240). Isso sugere que os agentes "escritor" e "auditor" trabalharam bem juntos para garantir que as citações estivessem presentes e fossem de fato necessárias.

No entanto, o artigo também destaca um gargalo significativo. A Pontuação de Entailment (Implicação Lógica) — que mede se o artigo gerado realmente corresponde à lógica e ao raciocínio da referência de verdade fundamental — foi a pontuação mais baixa, com 0,245. Na verdade, este foi o único métrico onde o sistema deles pontuou abaixo da linha de base (0,298).

Os autores explicam essa lacuna observando que ter uma citação não garante que a história esteja correta. Uma frase pode ter uma citação perfeita como (fonte: exemplo.com), mas ainda assim representar incorretamente o que aquele site realmente disse. O sistema foi bom em anexar etiquetas às frases, mas teve dificuldade em construir o argumento lógico profundo que conecta a evidência ao veredito final da mesma forma que um especialista humano faria. O artigo sugere que, embora a validação "frase por frase" seja útil, o próximo grande desafio é melhorar o "alinhamento evidência-afirmação" — garantir que toda a história faça sentido, não apenas as partes individuais.

A Conclusão

A equipe SourceMinds conclui que seu pipeline multiagente é uma forma promissora e modular de gerar artigos de verificação de fatos. Prova que você não precisa treinar um robô massivo e especializado do zero; em vez disso, pode usar uma equipe leve de agentes especializados para obter melhores resultados. O sistema é eficaz na seleção da evidência correta e na produção de artigos bem citados e rastreáveis. No entanto, a menor pontuação de entailment sugere que a "magia" da verificação de fatos não é apenas encontrar fontes; é tecê-las em uma narrativa coerente e lógica. Os autores sugerem que trabalhos futuros devem focar em melhores estágios de raciocínio para preencher a lacuna entre "ter uma citação" e "contar toda a verdade".