No mundo da inteligência artificial, um número crescente de sistemas é projetado para trabalhar em equipe. Em vez de depender de um único programa de computador para resolver um problema, esses sistemas geram múltiplos agentes digitais, cada um encarregado de ler documentos, analisar dados ou formar uma opinião. A lógica por trás dessa abordagem é intuitiva: se um especialista é bom, uma dúzia deve ser melhor. Ao reunir muitos relatórios diferentes e combiná-los, o sistema espera alcançar uma conclusão que seja mais precisa e mais confiante do que qualquer agente individual conseguiria alcançar sozinho. Este método baseia-se num pressuposto fundamental do raciocínio humano: que quando várias pessoas concordam, elas provavelmente estão recorrendo a fontes de informação diferentes. Se três analistas preveem independentemente que uma empresa irá falir, é geralmente porque cada um deles encontrou evidências distintas e convincentes. No entanto, um novo estudo questiona se essa lógica se mantém quando os "analistas" são inteligência artificial. A pesquisa investiga uma vulnerabilidade específica onde um sistema pode ser enganado para acreditar que reuniu uma vasta quantidade de evidências independentes, quando, na realidade, ouviu apenas a mesma história repetida em vozes diferentes.

O cerne deste problema reside na diferença entre o número de relatórios que um sistema recebe e o número de fatos originais nos quais esses relatórios se baseiam. Imagine uma sala cheia de pessoas tentando adivinhar o peso de um elefante. Se todos olharem para o mesmo elefante, seus palpites são observações independentes da mesma realidade. Mas se todos olharem para uma única fotografia desse elefante e, em seguida, descreverem o que veem, eles não estão olhando para o animal em si; estão olhando para uma cópia de uma cópia. No reino digital, um orquestrador de IA pode facilmente pegar uma peça de evidência, alimentá-la a um agente, pegar a saída desse agente, alimentá-la a um segundo, e assim por diante. Cada etapa cria um novo relatório, uma nova voz e um novo argumento. Para um sistema que simplesmente conta vozes, isso parece uma acumulação massiva de apoio. Mas para um sistema que compreende o fluxo de informação, é meramente uma única peça de evidência ecoando por um corredor. Os pesquisadores chamam este fenômeno de problema "Sybil epistêmico". Assim como um "ataque Sybil" na segurança de computadores envolve uma pessoa fingindo ser muitas para manipular um voto, um Sybil epistêmico envolve uma única peça de evidência fingindo ser muitos fatos independentes.

Para testar o quão perigosa essa confusão poderia ser, os pesquisadores construíram um experimento controlado usando um modelo de linguagem de grande escala, um tipo de IA que gera texto semelhante ao humano. Eles criaram um cenário fictício envolvendo os registros financeiros de uma empresa. O estado real da receita da empresa estava oculto, mas os agentes de IA receberam um documento contendo os números brutos. Os pesquisadores então pediram à IA para extrair figuras específicas desse documento e calcular a receita total. Eles realizaram essa tarefa milhares de vezes, manipulando duas variáveis principais: o número de relatórios que o sistema recebia e o número de documentos originais nos quais esses relatórios se baseavam. Em um conjunto de testes, eles mantiveram o documento original fixo, mas pediram à IA para gerar cada vez mais relatórios a partir dele. Eles criaram um relatório, depois dois, depois quatro e, eventualmente, até trinta e dois relatórios diferentes, todos derivados dessa única fonte. Eles então compararam como um sistema "padrão", que assumia que cada relatório era independente, se saiu em comparação com um sistema "consciente da proveniência", que sabia que todos os relatórios vinham da mesma raiz.

Os resultados foram drásticos. Quando o sistema padrão recebeu trinta e dois relatórios todos originados do mesmo documento único, ele tornou-se absurdamente excessivamente confiante. Ele acreditava ter trinta e dois pedaços de evidência independentes, de modo que estreitou seu intervalo de respostas possíveis para um intervalo minúsculo e preciso. Na realidade, como todos os trinta e dois relatórios eram apenas variações daquela mesma fonte única, o sistema não era mais certo do que se tivesse lido o documento apenas uma vez. O estudo mediu isso verificando com que frequência o intervalo previsto pelo sistema realmente continha a resposta verdadeira. Com apenas um relatório, o sistema estava correto cerca de 94 por cento das vezes. Mas conforme o número de relatórios daquela única fonte crescia para trinta e dois, a precisão do sistema despencava. Ele estava correto apenas 26 por cento das vezes. O sistema não tinha ficado mais inteligente; ele simplesmente se convenceu de que sabia mais do que sabia, porque contou a mesma voz trinta e duas vezes.

Os pesquisadores inverteram o experimento para ver o que aconteceria se eles realmente adicionassem novas evidências. Eles mantiveram o número de relatórios fixo em dezesseis, mas aumentaram o número de documentos originais que os agentes estavam lendo. Quando os dezesseis relatórios vinham de dezesseis fontes diferentes e independentes, a confiança do sistema padrão correspondia à sua precisão. A lacuna entre os dois sistemas desapareceu. Isso provou que o problema não era o número de relatórios em si, mas a relação oculta entre eles. O sistema falhou apenas quando confundiu repetição com independência. O estudo também descobriu uma segunda camada de complexidade. Mesmo quando os agentes liam o mesmo documento, eles não produziam erros idênticos. Como todos eram movidos pelo mesmo modelo de IA subjacente, eles tendiam a cometer erros semelhantes. Se um agente lesse mal um número, os outros provavelmente o leriam mal da mesma forma. Esse "erro correlacionado" significava que, mesmo com um sistema sofisticado que sabia que os relatórios vinham da mesma fonte, o sistema ainda superestimava sua precisão ligeiramente. O modelo compartilhado agia como um ponto cego compartilhado, limitando o quanto de informação poderia ser ganho ao ler o mesmo documento repetidamente.

Talvez a parte mais reveladora do estudo tenha envolvido um teste de como os sistemas tentam detectar esse problema por conta própria. Muitas defesas atuais de IA tentam detectar informações duplicadas observando o quão semelhante é o texto dos relatórios. Se dois relatórios parecem iguais, o sistema assume que eles vêm da mesma fonte e ignora um deles. Os pesquisadores testaram isso criando um cenário onde poderiam mudar a forma como a IA escrevia seus relatórios sem alterar os fatos que ela estava relatando. Eles pegaram relatórios que vinham da mesma fonte, mas forçaram o uso de um vocabulário e estruturas de frases completamente diferentes. Eles também pegaram relatórios de fontes diferentes e os forçaram a usar o mesmo vocabulário. Um sistema baseado na similaridade de texto foi facilmente enganado. Ele agrupou os relatórios de sons diferentes da mesma fonte como se fossem independentes, e agrupou os relatórios de sons semelhantes de fontes diferentes como se fossem duplicatas. O julgamento do sistema sobre a evidência era impulsionado inteiramente pelo estilo da escrita, não pela história de onde a informação veio. O estudo descobriu que mudar o estilo de escrita tinha um impacto massivo em como o sistema agrupava os relatórios, enquanto mudar o número real de fontes originais tinha quase nenhum efeito na percepção do sistema.

Essas descobertas sugerem que o caminho para um trabalho em equipe de IA confiável não é simplesmente reunir mais vozes ou construir filtros mais inteligentes para detectar duplicatas. Os pesquisadores argumentam que a solução exige um sistema que compreenda a linhagem de sua informação. Ele precisa saber não apenas o que um agente disse, mas de onde aquele agente obteve sua informação. Se um sistema puder rastrear a "ancestralidade" de um relatório — traçando-o de volta ao documento original ou ao sensor que iniciou a cadeia — ele poderá pesar a evidência corretamente. Ele pode entender que trinta e dois relatórios de uma única fonte valem muito menos do que um relatório de trinta e dois fontes. Sem essa capacidade de ver as conexões ocultas entre os agentes, um sistema de IA é vulnerável a uma forma de autodecepção, onde fabrica uma falsa sensação de certeza simplesmente ao falar consigo mesmo de muitas maneiras diferentes. O estudo conclui que, para que a inteligência coletiva funcione, o sistema deve priorizar a origem da evidência sobre o número de relatores, garantindo que a confiança seja construída sobre uma base de descoberta genuína e independente, e não sobre o eco de uma única ideia.