Why collective AI assurance cannot target agents or networks in isolation

No mundo em rápida evolução da inteligência artificial, um novo tipo de risco surgiu, que não pode ser visto ao observar uma única máquina isoladamente. Imagine um hospital onde dezenas de assistentes automatizados coordenam agendas de pacientes, triagem de emergências e gestão de encaminhamentos. Cada assistente é programado para ser útil, justo e cooperativo. Se testarmos um desses assistentes sozinho em uma sala silenciosa, ele parece perfeitamente alinhado com os valores humanos. No entanto, quando esses assistentes começam a interagir uns com os outros em uma rede complexa, o grupo como um todo pode produzir resultados profundamente injustos, mesmo que cada membro individual esteja tentando fazer a coisa certa. Esse fenômeno, conhecido como emergência coletiva, sugere que a segurança de um sistema depende menos do caráter individual de suas partes e mais das regras de sua interação. A questão que se impõe a pesquisadores e reguladores não é mais apenas se um único IA é seguro, mas como garantir a justiça quando muitos IAs estão trabalhando juntos.

Uma equipe de pesquisadores da Áustria partiu para resolver um enigma específico dentro deste problema: quando um grupo de agentes de IA produz um resultado desigual, a culpa reside nos próprios agentes ou está incorporada na estrutura de sua rede? Para encontrar a resposta, eles construíram um laboratório digital onde poderiam realizar milhares de interações simuladas. Eles criaram dois tipos diferentes de jogos sociais para seus agentes jogarem. No primeiro jogo, um cenário de bens públicos, os agentes podiam escolher compartilhar recursos com seus vizinhos ou guardá-los para si mesmos. No segundo, um jogo de confiança estruturado em torno de encaminhamentos médicos, os agentes tinham que decidir se enviavam um recurso para um colega específico ou se o guardavam para seu próprio paciente. Os pesquisadores então variaram as condições desses jogos como um cientista ajustando os seletores de uma máquina. Eles alteraram a personalidade dos agentes, tornando-os todos uniformemente justos, ou misturando alguns que eram egoístas. Eles alteraram a forma da rede, conectando todos a todos, ou criando centros onde alguns agentes tinham muito mais conexões do que outros. Eles até testaram se um sistema de punição por pares — onde os agentes podiam criticar uns aos outros — poderia corrigir qualquer injustiça que surgisse.

Os resultados revelaram uma verdade surpreendente sobre como esses sistemas funcionam. Quando os pesquisadores usaram uma rede onde poucos agentes tinham muitas conexões e a maioria tinha poucas, um padrão de desigualdade emergiu, sendo quase inteiramente determinado pela forma da rede, não pelo comportamento dos agentes. No jogo de bens públicos, mesmo quando cada agente era programado para ser perfeitamente justo e cooperativo, os agentes com mais conexões acabavam com significativamente mais recursos do que aqueles com menos conexões. A correlação entre ter muitas conexões e ter mais recursos era tão forte que era quase perfeita. Para provar que isso era uma questão estrutural e não uma falha no "cérebro" da IA, os pesquisadores realizaram exatamente o mesmo jogo com um programa de computador simples que não tinha capacidade de raciocinar ou aprender. Este bot básico, que simplesmente seguia uma regra fixa, reproduziu o mesmo alto nível de desigualdade que os modelos sofisticados de IA. Essa descoberta sugere que, em certos tipos de interações, a injustiça é uma certeza matemática do design da rede, não uma falha dos agentes individuais em serem bons.

No entanto, a história tornou-se mais complexa quando os pesquisadores mudaram para o jogo de confiança. Aqui, os agentes estavam fazendo escolhas direcionadas sobre quem ajudar, em vez de dividir recursos igualmente. Neste ambiente, o comportamento dos agentes importava muito mais. Mesmo quando a estrutura da rede era idêntica ao primeiro jogo, as personalidades e as escolhas dos agentes desempenhavam um papel maior na determinação do resultado final. Em uma configuração específica, os pesquisadores descobriram que o comportamento dos agentes era o principal motor da desigualdade, enquanto em outra, a estrutura da rede era o principal motor. Isso significa que não existe uma "solução" única para a segurança da IA que funcione em todas as situações. Você não pode simplesmente certificar que uma IA é justa e assumir que o grupo será justo, porque em alguns regimes de interação, a estrutura da rede se sobrepõe à justiça individual. Inversamente, você não pode simplesmente consertar a estrutura da rede e assumir que os agentes se comportarão, porque em outros regimes, as escolhas dos agentes são o fator dominante.

O estudo também testou se os agentes podiam "enxergar" o problema e resolvê-lo. Os pesquisadores pediram aos agentes que explicassem seu raciocínio após cada movimento. No jogo de confiança, os agentes frequentemente mencionavam que estavam cientes da estrutura da rede e estavam tentando ser justos. Eles conseguiam articular sua posição e entender o sistema. No entanto, essa consciência não mudou o resultado. Mesmo quando os agentes sabiam que estavam em uma posição desigual, eles não consegiam superar as vantagens estruturais de seus pares mais conectados. Os agentes que estavam cientes da desigualdade eram frequentemente aqueles que sofriam com ela, mas seu entendimento não se traduzia em um resultado melhor. Isso destaca uma lacuna crítica: saber que um sistema é injusto não é o mesmo que ter o poder de mudá-lo.

Finalmente, os pesquisadores testaram uma solução comum para a desigualdade: a sanção por pares. Eles deram aos agentes a capacidade de punir aqueles que agiam de forma injusta, diminuindo sua reputação. Nas simulações, os agentes usaram esse poder e identificaram corretamente os agentes com mais conexões como aqueles a serem punidos. No entanto, essa punição não teve efeito na distribuição final de recursos. A desigualdade permaneceu exatamente a mesma. Os pesquisadores descobriram que o mero anúncio de um sistema de punição mudou ligeiramente o comportamento dos agentes, mas o ato de punir em si nada fez para alterar o resultado. O mecanismo que gerava a vantagem — a maneira como os recursos fluíam através da rede — não foi tocado pelo sistema de reputação.

A conclusão definitiva deste trabalho é que não podemos assumir um nível fixo de segurança para sistemas de inteligência artificial. Não podemos simplesmente verificar se cada agente individual é justo, nem podemos simplesmente verificar se a rede está bem projetada. A segurança do coletivo depende da combinação específica dos agentes, da rede e das regras de interação. Em alguns casos, a estrutura da rede é a força dominante, tornando a justiça individual irrelevante. Em outros, o comportamento dos agentes é a chave. Isso significa que reguladores e designers não podem confiar em uma abordagem de tamanho único para a garantia da IA. Eles devem compreender a estrutura causal específica do sistema que estão construindo. Se desejam garantir um resultado justo, devem identificar qual fator — estrutura ou comportamento — está impulsionando o resultado naquele contexto específico e intervir ali. Sem esse entendimento, mesmo os agentes de IA mais bem-intencionados e perfeitamente alinhados podem produzir sociedades profundamente desiguais.