UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles

No ecossistema de informação moderno, verificar uma afirmação é apenas metade da batalha; explicar por que ela é verdadeira ou falsa para um leitor humano é a outra. Este é o domínio da verificação de fatos automatizada, um campo onde computadores tentam imitar o trabalho rigoroso dos jornalistas. O desafio não é apenas encontrar a evidência correta, mas tecer essa evidência em um artigo coerente que um humano possa confiar e que um computador possa verificar. Uma competição recente, o CheckThat! 2026, encarregou equipes de construir sistemas para gerar esses artigos de verificação de fatos automaticamente. Os sistemas tinham que receber uma afirmação específica, encontrar evidências de apoio a partir de uma lista de links da web e escrever um relatório curto citando esses links. A pontuação era implacável: um programa de computador avaliava os artigos com base em quão bem eles correspondiam a exemplos escritos por humanos e, crucialmente, se cada frase que citava uma fonte era de fato sustentada pelo texto naquela fonte. Se um sistema inventasse um detalhe ou citasse incorretamente uma fonte, mesmo que levemente, o computador o penalizaria pesadamente.

Uma equipe da Universidade de Tecnologia de Sydney entrou nesta competição com um sistema que seguiu um caminho diferente da maioria. Enquanto outras equipes tentaram usar inteligência artificial poderosa para escrever o artigo inteiro do zero, a equipe de Sydney construiu um sistema que dependia de um modelo rígido e previsível para o texto principal, usando a inteligência artificial apenas como um porteiro estrito para verificar as fontes. A abordagem deles os colocou em segundo lugar entre onze equipes. A chave para o sucesso não foi gerar uma prosa mais criativa, mas entender exatamente como o juiz de computador funcionava. Eles descobriram que o juiz era incrivelmente conservador, recompensando artigos que aderiam estritamente aos fatos fornecidos e rejeitando qualquer frase que adicionasse detalhes extras ou ornamentos. Ao projetar seu sistema para respeitar essas regras estritas, eles criaram uma máquina que podia produzir de forma confiável artigos de verificação de fatos que eram precisos, mesmo que não fossem particularmente elegantes.

Os pesquisadores começaram testando a ideia mais óbvia: deixar um grande modelo de linguagem, um tipo de inteligência artificial capaz de escrever textos fluentes, redigir o artigo inteiro. Eles tentaram isso com modelos de diferentes tamanhos, esperando que a máquina aprendesse a soar como um verificador de fatos profissional. Não funcionou. Os artigos gerados por esses modelos falharam consistentemente no sistema de graduação do computador. O problema era estrutural. O juiz de computador procurava padrões específicos no texto, particularmente como as fontes eram citadas. Quando a inteligência artificial tentava escrever naturalmente, ela frequentemente mudava a maneira como uma fonte era mencionada ou adicionava palavras extras que o computador não conseguia verificar contra a evidência original. Mesmo uma pequena mudança, como adicionar o nome de um revisor ou uma data que não estava no texto da fonte, fazia com que o computador rejeitasse a frase. Quanto mais capaz a inteligência artificial era de escrever, mais ela se afastava dos padrões estritos que o juiz exigia. A equipe percebeu que tentar fazer a máquina "escrever melhor" estava, na verdade, fazendo-a performar pior.

Em vez de tentar melhorar a escrita, a equipe decidiu melhorar a estrutura. Eles construíram um sistema que começava com um modelo simples e imutável. Este modelo criava um artigo básico com um título, uma única frase para cada peça de evidência e uma conclusão. Este rascunho "stub" (rascunho de estrutura) era entediante, mas era seguro. Ele seguia as regras perfeitamente. A equipe então adicionou duas ferramentas específicas a este sistema, atuando como um inspetor de controle de qualidade. A primeira ferramenta, que chamaram de moldura de atribuição de domínio, simplesmente envolvia cada citação em uma frase padrão como "De acordo com o site, [fato]". Essa pequena mudança fazia as frases soarem mais como os exemplos escritos por humanos contra os quais o computador os comparava, sem alterar os fatos. A segunda ferramenta era um validador sombra. Antes de o sistema finalizar uma frase, ele perguntava a um pequeno modelo de inteligência artificial se aquela frase específica era realmente sustentada pelo link da fonte. Se o modelo dissesse que não, o sistema tentaria a próxima frase no texto da fonte. Se isso falhasse, o sistema manteria a frase segura original. Isso garantia que cada citação que o sistema produzia fosse algo que o juiz de computador aceitaria.

Os resultados desta abordagem foram claros e mensuráveis. Na validação de dados usada para testar o sistema antes da competição, o método deles melhorou a pontuação geral por uma margem pequena, mas significativa, em comparação ao modelo básico. Quando combinaram a ferramenta de moldura e o validador sombra, a melhoria foi ainda maior. O sistema não tentou ser inteligente; ele simplesmente garantiu que cada frase fosse verificável e seguisse o formato correto. Na competição final, seu sistema alcançou uma pontuação de 0,484, ficando em segundo lugar entre onze equipes. A equipe vencedora obteve uma pontuação mais alta, mas a diferença deveu-se inteiramente a uma métrica específica: a precisão da citação. A equipe vencedora conseguiu citar fontes com uma precisão muito maior, provavelmente por optar por omitir citações das quais não tinha certeza, enquanto a equipe de Sydney citou todas as fontes que lhe foram dadas. O sistema da equipe de Sydney era tão confiável que citou quase toda a evidência disponível, mas como não descartou as incertas, sua pontuação de precisão foi menor.

O trabalho da equipe revelou duas lições importantes para o futuro da verificação de fatos automatizada. Primeiro, quando um juiz de computador é projetado para ser estrito quanto à verificação, adicionar palavras extras ou tentar fazer o texto parecer mais humano muitas vezes prejudica a pontuação. A estratégia mais eficaz foi manter o texto simples e estritamente vinculado à evidência. Segundo, as ferramentas usadas para selecionar qual frase citar eram frequentemente enganosas. A equipe descobriu que os métodos padrão para escolher a "melhor" frase de uma fonte, como procurar a frase mais longa ou a mais relevante para a afirmação, frequentemente escolhiam frases que o juiz de computador rejeitaria. A única maneira confiável de escolher uma frase era perguntar ao próprio juiz. Esse insight sugere que, em tarefas onde a precisidade é medida por verificação estrita, a melhor abordagem não é gerar novo conteúdo, mas sim curar e verificar cuidadosamente o conteúdo existente.

Os pesquisadores também notaram que seu sistema tinha uma limitação. Como eram obrigados a citar cada evidência fornecida, não puderam adotar a estratégia da equipe vencedora, que provavelmente escolheu pular fontes incertas para manter uma pontuação de precisão alta. A equipe de Sydney hipotetizou que, se tivessem adicionado uma regra para descartar qualquer citação sobre a qual o juiz não tivesse confiança, sua pontuação poderia ter sido maior. No entanto, eles não testaram isso durante a competição. O trabalho deles serve como uma demonstração de que, em tarefas de verificação de alto risco, um sistema simples e determinístico que prioriza a precisão sobre a criatividade pode superar modelos complexos de inteligência artificial que tentam escrever como humanos. O artigo conclui que, para a próxima geração desses sistemas, o foco deve mudar de gerar uma prosa melhor para desenvolver formas mais inteligentes de decidir o que incluir e o que deixar de fora, garantindo que cada palavra que a máquina escreve possa ser provada verdadeira.