No mundo em rápida evolução da inteligência artificial, os grandes modelos de linguagem transformaram-se de simples geradores de texto em sofisticados motores de raciocínio. Estes sistemas podem agora decompor problemas complexos, consultar ferramentas externas e coordenar múltiplos agentes digitais para resolver tarefas que outrora exigiam perícia humana. Para tornar estes sistemas mais fiáveis, os investigadores recorrem frequentemente a uma estratégia chamada redundância: fazer com que vários agentes resolvam o mesmo problema e depois compararem as suas respostas. Se os agentes concordarem, o sistema assume que a resposta está correta. Esta abordagem é frequentemente acompanhada por uma fase de verificação, onde um segundo conjunto de agentes ou ferramentas verifica os passos intermédios do raciocínio para detetar erros antes de uma decisão final ser tomada. A esperança subjacente é que, se um agente cometer um erro, outro o detetará, e se um verificador cometer um erro, um verificador diferente o corrigirá. No entanto, toda esta rede de segurança assenta numa premissa frágil: a de que estes diferentes agentes e verificadores cometem erros de forma independente uns dos outros.

Esta premissa é cada vez mais difícil de defender no mundo real. A maioria dos sistemas de IA modernos é construída utilizando um pequeno número de famílias de modelos, que partilham os mesmos dados de treino, a mesma arquitetura subjacente e as mesmas receitas de treino. Devido a esta herança partilhada, tendem a cometer os mesmos erros das mesmas formas. Quando um grupo de agentes da mesma família concorda todos sobre um facto errado, não é um sinal de consenso; é um sinal de uma alucinação partilhada. Se um sistema de verificação tratar estes erros idênticos e correlacionados como evidências independentes, pode tornar-se perigosamente confiante numa resposta errada. O sistema efetivamente conta o mesmo erro várias vezes, inflando a sua certeza até estar convencido de uma falsidade. Este fenómeno cria um ponto cego onde as próprias ferramentas concebidas para garantir a segurança acabam por reforçar erros.

Uma equipa de investigadores abordou esta vulnerabilidade crítica com um novo framework chamado CAVEAT, que significa Correlation-Aware Verification Allocation (Alocação de Verificação Consciente da Correlação). Em vez de assumir que cada agente e verificador é um observador independente, este sistema modela explicitamente o facto de serem frequentemente relacionados e propensos aos mesmos falhanços. Os investigadores trataram o processo de verificação como um problema de gestão de recursos. Reconheceram que, num mundo onde verificar cada passo individual de uma cadeia de raciocínio é demasiado dispendioso, deve-se decidir quais as afirmações específicas a verificar, qual o verificador a usar para cada verificação e quando parar de verificar. O objetivo é gastar um orçamento limitado de recursos computacionais da forma mais eficaz possível, garantindo que a resposta final seja tão fiável quanto o orçamento permitir.

O núcleo do sistema CAVEAT é um mapa do processo de raciocínio. Quando múltiplos agentes resolvem um problema, o sistema decompõe a sua saída em afirmações individuais e liga-as num grafo de dependência. Este mapa mostra quais os factos que sustentam quais as conclusões. Algumas afirmações são como as raízes de uma árvore; se estiverem erradas, toda a resposta colapsa. Outras são como folhas; se estiverem erradas, o impacto é mínimo. O sistema atribui um peso a cada afirmação com base no quanto a resposta final depende dela. Em seguida, utiliza um modelo estatístico para estimar a fiabilidade de cada verificador disponível, levando em conta que verificadores da mesma família são provavelmente a cometer o mesmo "lapso" ou erro. Isto permite ao sistema calcular o verdadeiro valor de pedir a um verificador específico para verificar uma afirmação específica. Se um verificador de uma família que já falou for solicitado para verificar uma afirmação, o sistema sabe que a nova resposta será provavelmente apenas uma repetição da antiga, oferecendo pouca informação nova. Em vez disso, direciona o orçamento para uma família diferente de verificadores ou para uma ferramenta especializada, como um programa que possa executar código ou um motor de busca que possa encontrar factos.

Numa série de testes através de seis benchmarks, que variam desde a verificação de factos e resposta a perguntas de múltiplos passos até ao raciocínio matemático complexo, os investigadores compararam esta nova abordagem com os métodos existentes. Descobriram que ignorar a correlação entre agentes e verificadores levou a uma sobrestimação significativa da confiança. Sistemas que assumiam independência eram frequentemente errados com confiança, reportando alta certeza para respostas incorretas. Em contraste, o sistema CAVEAT identificou com sucesso quando um consenso era, na verdade, apenas um erro partilhado. Ao rotear cuidadosamente o orçamento de verificação para as verificações mais informativas, alcançou o mesmo nível de precisão que um sistema que verificasse cada afirmação com todos os verificadores, mas fez-no utilizando apenas cerca de um quinto do custo computacional. Em média, melhorou a precisão em 3,1 pontos percentuais sobre os melhores métodos com orçamento equivalente.

Talvez mais importante, o sistema corrigiu o problema da falsa confiança. Nos testes, os métodos tradicionais produziram respostas erradas com alta confiança quase 20% das vezes. O sistema CAVEAT reduziu esta taxa para apenas 7,2%, o que significa que era muito menos provável que afirmasse uma falsidade com confiança. Também tornou as pontuações de confiança do sistema muito mais precisas, de modo que, quando o sistema dizia estar 90% seguro, estava de facto correto 90% das vezes. Os investigadores demonstraram que esta abordagem funciona mesmo quando os agentes são todos da mesma família ou quando a maioria dos agentes concorda numa resposta errada. Ao reconhecer a natureza partilhada dos erros, o sistema sabe que deve procurar uma perspetiva externa em vez de pedir ao mesmo grupo para votar novamente.

O estudo também revelou que a forma como a verificação é alocada importa tanto quanto a quantidade de dinheiro gasto nela. Simplesmente verificar as afirmações sobre as quais os agentes parecem menos seguros, ou verificar as afirmações numa ordem aleatória, foi muito menos eficaz do que a abordagem direcionada usada pelo CAVEAT. O sistema aprendeu a priorizar as afirmações que, se estivessem erradas, causariam o maior dano à resposta final, e a utilizar as ferramentas mais baratas e diversas para as verificar. Por exemplo, em problemas matemáticos, utilizaria um executor de código rápido e barato para verificar passos aritméticos, poupando os modelos de linguagem mais caros e lentos para os passos de raciocínio lógico. Esta alocação estratégica permitiu ao sistema parar de verificar precocemente assim que estivesse suficientemente seguro da resposta, poupando recursos sem sacrificar a precisão.

Os investigadores concluíram que o futuro do raciocínio fiável da IA depende de reconhecer que as nossas ferramentas não são independentes. Tal como um grupo de pessoas que cresceram na mesma cidade podem partilhar as mesmas conceções erradas, um grupo de modelos de IA treinados nos mesmos dados partilhará os mesmos pontos cegos. Ao construir sistemas que compreendam estas conexões e aloquem os seus recursos de acordo, podemos criar uma IA que não é apenas mais inteligente, mas também mais honesta sobre o que sabe e o que não sabe. O trabalho sugere que o caminho para uma inteligência artificial mais digna de confiança reside não em simplesmente adicionar mais agentes à mistura, mas em compreender as relações entre eles e usar essa compreensão para verificar a verdade de forma mais eficiente.