The Locality Gap: Bell-Inequality Audits for Covert Coordination Between Ostensibly Isolated AI Agents

No mundo da inteligência artificial, uma preocupação crescente mantém reguladores e especialistas em segurança acordados à noite: o medo de que programas de computador projetados para agir de forma independente possam secretamente aprender a trabalhar juntos. Imagine dois algoritmos de preços operados por empresas concorrentes. Eles deveriam definir preços baseando-se apenas em seus próprios dados, mas e se eles descobrirem uma maneira de sinalizar uns aos outros, talvez ajustando sutilmente seus preços para enviar uma mensagem oculta? Isso é conhecido como colusão algorítmica, e é notoriamente difícil de detectar. Métodos tradicionais de detecção buscam padrões estatísticos nos resultados dos agentes, mas esses métodos frequentemente falham. Se dois agentes foram treinados no mesmo conjunto massivo de dados ou começaram com os mesmos números aleatórios, eles produzirão naturalmente resultados semelhantes mesmo que nunca tenham conversado entre si. Isso cria um ponto cego para os auditores: eles não conseguem distinguir a diferença entre dois agentes que estão simplesmente pensando de forma semelhante devido a um histórico compartilhado, e dois agentes que estão conspirando ativamente em tempo real.

Para resolver isso, um pesquisador chamado Alfredo Merlet propôs um novo tipo de teste, emprestando um conceito dos mistérios mais profundos da física. A ideia vem de um famoso debate entre Albert Einstein e os físicos quânticos da década de 1930. Einstein detestava a ideia de que dois objetos distantes pudessem influenciar um ao outro instantaneamente sem qualquer conexão física, chamando isso de "ação fantasmagórica à distância". Mais tarde, um físico chamado John Bell provou matematicamente que, se dois sistemas forem verdadeiramente isolados e compartilharem apenas informações de seu passado, existe um limite estrito para o quão bem eles podem coordenar suas respostas a perguntas aleatórias. Se eles excederem esse limite, é impossível que o tenham feito sem se comunicarem durante o teste. Merlet percebeu que essa lei física poderia ser transformada em uma ferramenta para auditar a inteligência artificial. Ao fazer a dois agentes de IA uma série de perguntas aleatórias e privadas e verificar se suas respostas são perfeitamente coordenadas, um auditor pode detectar comunicação secreta sem precisar entender como a IA funciona internamente.

O estudo colocou essa ideia à prova através de uma série de experimentos computacionais. Primeiro, o pesquisador criou pares de redes neurais artificiais, que são os blocos de construção da IA moderna. Esses agentes receberam um histórico compartilhado: foram treinados nos mesmos dados, começaram com as mesmas sementes aleatórias e tiveram permissão para compartilhar uma variável oculta que atuava como uma memória comum. No entanto, eles foram estritamente proibidos de se comunicar durante o teste. O auditor então enviou a cada agente uma pergunta aleatória e pediu uma resposta simples. O objetivo era ver se os agentes conseguiam coordenar suas respostas melhor do que as leis da física permitem para sistemas isolados. Os resultados foram claros e tranquilizadores para a teoria: não importa quão complexos fossem os agentes ou o quanto tentassem maximizar sua coordenação, eles nunca quebraram o limite. Mesmo quando os agentes foram especificamente treinados para imitar o comportamento de partículas quânticas, que são famosas por suas conexões "fantasmagóricas", eles ainda não conseguiram exceder o limite. Isso confirmou que o teste funciona como um filtro confiável; se os agentes estiverem verdadeiramente isolados, eles permanecerão dentro do limite, independentemente de seu treinamento compartilhado.

Em seguida, o pesquisador introduziu uma falha controlada para ver como o teste reagiria a um canal secreto. Nesses experimentos, uma linha minúscula e oculta de comunicação foi aberta entre os agentes, permitindo que eles compartilhassem uma única peça de informação em uma pequena porcentagem das rodadas. À medida que a frequência desse vazamento secreto aumentava, a capacidade dos agentes de coordenar suas respostas melhorava de uma forma perfeitamente previsível. No entanto, o estudo encontrou uma nuance crucial: para vazamentos abaixo de um certo limiar (aproximadamente 41,4%), os escores de coordenação resultantes produzem valores indistinguíveis do emaranhamento quântico, o que significa que eles excedem o limite clássico, mas poderiam teoricamente ser explicados por recursos quânticos compartilhados, em vez de apenas um vazamento. Somente quando a taxa de vazamento excedia esse limiar é que os escores superavam claramente o limite quântico. O estudo também calculou quantas rodadas de questionamento seriam necessárias para detectar diferentes tamanhos de vazamentos. Para detectar um vazamento que ocorre apenas uma vez a cada cem rodadas com alta confiança, a auditoria precisaria rodar por cerca de 185.000 rodadas. Embora seja um número grande, é viável para sistemas automatizados que podem executar milhares de testes em segundos.

Contudo, o estudo também descobriu uma fraqueza crítica que não reside nos agentes, mas na pessoa que realiza o teste. Toda a lógica da auditoria depende de as perguntas serem verdadeiramente aleatórias e imprevisíveis. Se a pessoa que realiza o teste usar um método previsível para gerar as perguntas — como uma rotina de computador simples que repete um padrão ou um cronograma fixo — os agentes podem aprender a prever as perguntas com antecedência. Nos experimentos, quando o auditor usou um gerador previsível, os agentes foram capazes de coordenar suas respostas perfeitamente, quebrando o limite e disparando um alarme falso, embora nunca tivessem de fato se comunicado. Isso aconteceu porque os agentes puderam usar o padrão das perguntas para coordenar suas respostas, contornando efetivamente o teste sem quebrar nenhuma regra de isolamento. O estudo mostrou que o uso de um gerador de números aleatórios de alta qualidade, criptográfico, é essencial. Sem ele, o teste é inútil, pois não consegue distinguir entre uma conspiração secreta e um palpite inteligente baseado em um padrão previsível.

As descobertas sugerem um novo caminho para regular a inteligência artificial, particularmente em áreas como precificação ou mercados competitivos. O teste oferece uma maneira de separar o "paralelismo tácito", onde agentes agem de forma semelhante porque aprenderam com os mesmos dados, da colusão real, onde eles se comunicam para coordenar ações. É importante notar que esta pesquisa foi conduzida inteiramente em simulação com redes neurais simples, não com modelos de linguagem de grande escala reais ou sistemas comerciais implantados. Os resultados provam que o conceito funciona em um ambiente controlado, mas aplicar isso à realidade desordenada da internet exigiria uma adaptação cuidadosa. O estudo não afirma ter resolvido o problema da colusão algorítmica, mas fornece uma ferramenta matemática rigorosa que pode ser usada para auditar sistemas onde a comunicação é suspeita.

Em última análise, a pesquisa destaca que a confiabilidade de tal auditoria depende inteiramente da integridade do auditor. Os agentes no estudo não foram os que falharam; o teste falhou quando a aleatoriedade das perguntas foi comprometida. Isso reflete uma lição aprendida na física décadas atrás: para provar que duas coisas não estão conectadas, você deve garantir que a maneira como as testa seja completamente livre de padrões ocultos. Se as perguntas forem verdadeiramente aleatórias e privadas, o teste pode revelar um canal secreto que nenhum nível de treinamento compartilhado poderia esconder. Se as perguntas forem previsíveis, o teste torna-se um espelho que reflete a própria falta de aleatoriedade do auditor de volta para ele. O estudo conclui que, para que esta ferramenta seja eficaz no mundo real, a aleatoriedade usada para sondar os agentes deve ser tão segura quanto os segredos que ela tenta encontrar.