DS@GT ARC at Touché: Large Language Models for Retrieval-Augmented Debate

Imagine um mundo onde os computadores não apenas conversam, mas realmente argumentam. Este é o campo de diversão da IA Conversacional, um ramo da ciência onde as máquinas aprendem a manter uma conversa, debater um ponto ou até mesmo desempenhar o papel de um advogado. Mas aqui está a parte complicada: como sabemos se um computador está argumentando bem? No mundo humano, temos regras para uma boa conversa, como ser claro, dizer a verdade e não falar demais nem de menos. No artigo que você está prestes a ler, os pesquisadores utilizam um conjunto famoso dessas regras chamado Máximas de Grice (pense nelas como as "regras para uma conversa educada e eficaz"). Eles também utilizam a Geração Aumentada de Recuperação (Retrieval-Augmented Generation), que é uma forma sofisticada de dizer "o computador consulta fatos em uma biblioteca antes de falar", para que ele não invente coisas. A grande questão que todos estão fazendo é: se pedirmos a vários computadores de IA superinteligentes para avaliarem os argumentos uns dos outros, eles concordarão? E se todos concordarem, isso significa que o argumento é realmente bom?

Este artigo, escrito por uma equipe da Georgia Tech chamada DS@GT, mergulha em uma competição recente chamada Touché 2025, onde o objetivo era construir um robô debatedor. A equipe construiu um sistema que utiliza seis "supercérebros" diferentes (Modelos de Linguagem de Grande Escala - LLMs) tanto para gerar respostas de debate quanto para avaliá-las. Eles descobriram que esses supercérebros são, de fato, excelentes em gerar argumentos, especialmente quando podem consultar fatos primeiro. No entanto, a verdadeira surpresa veio quando tentaram usar esses cérebros de IA como juízes. Os pesquisadores descobriram que, embora os juízes de IA frequentemente concordem entre si, esse acordo é uma armadilha. É como pedir a seis gêmeos para corrigirem uma prova; eles podem dar a mesma nota porque foram criados na mesma casa e pensam da mesma forma, não porque são objetivamente corretos.

A equipe realizou simulações onde seus debatedores de IA argumentavam sobre tópicos como se a Terra fosse plana. Eles descobriram que os juízes de IA eram muito rigorosos com algumas regras (como ser relevante), mas surpreendentemente lenientes com outras (como ser educado). A descoberta mais chocante foi sobre a Qualidade. Os juízes de IA frequentemente concordavam que um argumento era de "alta qualidade" e davam uma nota alta, mas quando os organizadores humanos verificavam as respostas oficiais, a IA estava frequentemente errada. Os juízes de IA eram enganados por argumentos que pareciam convincentes, mas que eram, na verdade, factualmente frágeis. O artigo sugere que, só porque um grupo de modelos de IA concorda com uma pontuação, não significa que essa pontuação seja confiável, especialmente quando se trata de verificar se os fatos são verdadeiros. Em suma, os juízes de IA são ótimos em detectar se uma frase está bem escrita, mas não são bons em detectar se a frase é realmente verdadeira, e tendem a concordar entre si pelos motivos errados.

A História dos Debatedores Robôs

Os pesquisadores montaram uma arena digital para um debate. De um lado, havia um usuário humano simulado fazendo uma afirmação. Do outro lado, o sistema de IA da equipe DS@GT tinha que responder. Mas isso não era apenas um chat; era um Debate com Recuperação Aumentada. Antes da IA falar, ela era forçada a ir a uma biblioteca digital (um banco de dados de argumentos) e extrair as dez melhores evidências para apoiar seu ponto. Esta é a parte "RAG": a IA não podia apenas adivinhar; ela tinha que trazer os comprovantes.

A equipe utilizou seis modelos diferentes de "fronteira" (os mais avançados disponíveis na época) de três empresas diferentes: OpenAI, Google e Anthropic. Eles chamaram esses modelos de coisas como gpt-4.1, gemini-2.5-pro e claude-opus-4. Esses modelos receberam uma tarefa específica: gerar uma resposta ao argumento do usuário. A equipe então pegou essas respostas e pediu aos mesmos modelos (e outros) para atuarem como juízes. Os juízes tinham que pontuar as respostas com base em quatro regras:

1. Quantidade: Eles disseram o suficiente, mas não demais?
2. Qualidade: Era verdadeiro e apoiado por evidências?
3. Relação: Eles mantiveram o foco no tópico?
4. Maneira: Foi claro e educado?

O Problema dos "Gêmeos"

É aqui que a história fica interessante. Os pesquisadores queriam saber: "Se todos esses juízes de IA derem a mesma nota, podemos confiar nessa nota?" Eles realizaram uma simulação massiva envolvendo 100 tópicos de debate diferentes e milhares de turnos.

Primeiro, eles observaram como os modelos de IA se saíram como debatores. Os resultados foram impressionantes. Os modelos que utilizaram a estratégia de "consultar fatos primeiro" tiveram um desempenho muito bom. Por exemplo, o modelo gpt-4.1 conseguiu obter uma pontuação média de 0,70 no cumprimento das regras de conversação, sendo uma das mais altas da competição. Isso mostrou que dar acesso a uma biblioteca ajuda a IA a argumentar melhor.

Mas então, eles observaram os modelos de IA como juízes. Eles perguntaram: "Esses juízes concordam entre si?" A resposta foi um sim retumbante, mas com uma ressalva. Os juízes da mesma empresa (como os dois modelos do Google ou os dois da Anthropic) concordavam quase perfeitamente entre si. Por exemplo, os dois juízes da Anthropic tiveram uma correlação de 0,844 em todas as regras. Isso é como dois gêmeos terminando um quebra-cabeça e dizendo: "Nós dois achamos que o céu é azul", não porque olharam para o céu, mas porque compartilham a mesma fiação cerebral.

Os pesquisadores perceberam que esse alto nível de concordância era enganoso. Eles compararam as pontuações dos juízes de IA com as pontuações oficiais dadas pelos organizadores humanos. Os resultados foram um descompasso.

• Para Quantidade e Relação, a concordância dos juízes de IA era um tanto próxima das pontuações humanas.
• Mas para Qualidade, a lacuna era enorme. Os juízes de IA achavam que as respostas eram ótimas (dando notas altas), mas os organizadores humanos deram notas muito baixas. Nos resultados oficiais, a execução do gpt-4.1 obteve apenas 0,17 para Qualidade, o que significa que falhou em fornecer argumentos factualmente corretos na maioria das vezes. No entanto, os juízes de IA haviam dado notas altas a ele.

O Experimento de "Supervisão Fraca"

A equipe tentou corrigir este problema. Eles se perguntaram: "E se misturarmos alguns juízes 'mais fracos'?" Eles adicionaram alguns modelos menores de código aberto (como os modelos LLaMA-8B usados por outra equipe chamada SINAI) e algumas regras computacionais simples (como contar o comprimento das palavras) para ver se consegui-am quebrar a concordância dos "gêmeos".

Eles utilizaram um truque estatístico chamado supervisão fraca para combinar todas essas diferentes opiniões. Eles esperavam que, ao adicionar juízes que pensassem de forma diferente, pudessem obter uma pontuação mais precisa.

• Quando adicionaram os juízes mais fracos, os rankings mudaram um pouco.
• No entanto, a correlação entre o "consenso" dos juízes de IA e a pontuação humana "oficial" permaneceu baixa. Para a métrica de Qualidade, a correlação foi de apenas 0,224 (com o conjunto expandido) e 0,286 (com o modelo dependente de contexto).

Isso significa que, mesmo quando tentaram diversificar, os juízes de IA ainda não conseguiam prever de forma confiável o que os humanos considerariam um "bom" argumento. O artigo sugere que os juízes de IA são muito bons em detectar o estilo (a frase é fluida? é educada?), mas ruins em detectar a substância (o fato é verdadeiro?).

A Grande Conclusão

O artigo conclui com um alerta para qualquer pessoa que esteja construindo debatedores de IA. Só porque um grupo de modelos de IA superinteligentes concorda que um argumento é "bom", não significa que ele seja. Eles podem estar apenas concordando porque foram treinados em dados semelhantes e compartilham os mesmos vieses. Isso é especialmente verdadeiro para a Qualidade. Os modelos de IA podem ser enganados por uma resposta que soa confiante e bem estruturada, mas que é, na verdade, cheia de mentiras ou fatos inventados.

Os autores sugerem que, no futuro, não podemos apenas confiar na IA para avaliar a IA. Precisamos ser mais específicos. Em vez de perguntar a uma IA "Este é um bom argumento?", devemos perguntar separadamente: "Este fato é verdadeiro?" e "Esta evidência é real?". Até que possamos fazer isso, o "consenso" dos juízes de IA é um pouco como uma sala cheia de pessoas acenando em concordância — elas podem estar todas erradas, e podem estar todas erradas pelo mesmo motivo. O artigo não afirma ter resolvido isso, mas lança uma luz brilhante sobre o problema, mostrando-nos que o caminho para um debate de IA confiável é muito mais difícil do que apenas pedir que a IA avalie a si mesma.