💻 computer science

Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

Este artigo demonstra que a co-evolução adversária de constituições em linguagem natural entre agentes de LLM cooperativos e de aproveitamento em um Jogo de Bens Públicos é viável e produz artefatos de red-team interpretáveis, mas apenas quando se empregam funções de aptidão acopladas e orçamentos de avaliação suficientes para evitar a regressão de modo.

Autores originais: Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um playground digital gigante onde duas equipes de agentes de IA estão constantemente tentando superar uma à outra. Uma equipe, a Equipe Azul, tenta ser útil e cooperativa. A outra equipe, a Equipe Vermelha, tenta ser um "carona" — alguém que se aproveita do grupo sem contribuir.

Este artigo é como um programa de reality show onde essas duas equipes estão trancadas em uma "corrida armamentista" de 30 rodadas. Mas, em vez de construir armas maiores, elas estão reescrevendo seus próprios regulamentos (chamados de "constituições") a cada rodada para ver quem consegue vencer.

Aqui está o que os pesquisadores descobriram, explicado através de analogias simples:

1. O Jogo do "Pote Compartilhado" (O Jogo dos Bens Públicos)

Primeiro, os pesquisadores colocaram as equipes em um jogo onde todos colocam dinheiro em um pote compartilhado. O pote é multiplicado e, em seguida, todos recebem uma parte igual.

A Configuração: A Equipe Azul começa com um regulamento que diz: "Seja generoso e puna os trapaceiros". A Equipe Vermelha começa com um regulamento que diz: "Tome tudo e não dê nada".
A Corrida: À medida que jogam 30 rodadas, elas continuam reescrevendo seus regulamentos.
- A Equipe Azul aprende que, se forem demais generosas, a Equipe Vermelha rouba tudo. Então, elas aprendem a ser mais rigorosas.
- A Equipe Vermelha aprende que, se trapacearem demais, a Equipe Azul as pune tão severamente que elas perdem. Então, elas aprendem a trapacear apenas o suficiente para sobreviver, mas sem serem pegos.
O Resultado: No final, ambas as equipes atingem um impasse perfeito. Ambas acabam com quase a mesma pontuação (cerca de 0,78 em 1). É como dois boxeadores que lutaram tanto tempo que aprenderam perfeitamente os movimentos um do outro; nenhum pode vencer, mas nenhum pode perder. Isso aconteceu não importa o quanto o "pote" fosse multiplicado.

2. O Problema dos "Marcadores Separados" (O Mundo em Grade)

Em seguida, eles moveram as equipes para um jogo diferente: um mundo em grade onde eles constroem abrigos e coletam recursos.

O Erro: No início, os pesquisadores deram a cada equipe seu próprio marcador separado. A Equipe Azul tentou maximizar sua própria pontuação, e a Equipe Vermelha tentou maximizar sua própria pontuação.
O Glitch: Como elas não estavam lutando contra a outra diretamente, a Equipe Vermelha não tentou prejudicar a Equipe Azul. Em vez disso, a Equipe Vermelha apenas ficou muito boa em construir seu próprio abrigo. Elas se tornaram duas equipes separadas e felizes, em vez de inimigas. A "corrida armamentista" nunca começou.
A Correção: Os pesquisadores mudaram as regras. Agora, a pontuação de uma equipe não era apenas "Quão bem eu fiz?", mas "Quanto melhor eu fiz do que meu oponente?".
O Resultado: Assim que mudaram para este sistema de "pontuação relativa", a verdadeira luta começou. A Equipe Vermelha começou a tentar ativamente sabotar a Equipe Azul, e a Equipe Azul teve que se adaptar para sobreviver.

3. O "Ruído" no Sistema (A Contagem de Sementes)

Os pesquisadores usaram uma ferramenta especial de IA para escrever esses novos regulamentos. Eles encontraram uma peculiaridade estranha:

O Problema: Se eles testassem os novos regulamentos em apenas 2 exemplos (chamados de "sementes") para ver se eram bons, a IA ficaria confusa pelo "ruído" (sorte aleatória) e começaria a escrever regulamentos cada vez piores ao longo do tempo. Era como um chef provando um prato apenas duas vezes e decidindo estragar a receita por causa de um dia ruim.
A Solução: Quando aumentaram as amostras de teste para 5 exemplos, a IA parou de cometer erros. Ela conseguia ver claramente quais regulamentos eram realmente melhores e continuava melhorando a capacidade da Equipe Vermelha de atacar.
A Lição: Para treinar uma IA "atacante" inteligente, você precisa testá-la mais vezes para garantir que os resultados não sejam apenas sorte.

4. A Vantagem do "Espião"

Em um experimento, os pesquisadores deram à Equipe Vermelha um superpoder: elas podiam ver tudo o que a Equipe Azul estava fazendo, mas a Equipe Azul só podia ver seus próprios movimentos.

O Resultado: A Equipe Vermelha esmagou a Equipe Azul. Era como jogar xadrez onde um jogador pode ver as cartas do outro. A Equipe Azul continuava cometendo erros porque não conseguia antecipar os movimentos da Equipe Vermelha.

5. Por Que Isso Importa (Os "Artefatos da Equipe Vermelha")

A conclusão mais importante não é que a Equipe Vermelha venceu. É que os regulamentos que a Equipe Vermelha criou são ferramentas úteis.

Pense nesses regulamentos evoluídos como "Artefatos da Equipe Vermelha". São listas claras e escritas de regras (como "Se você vir um recurso, roube-o imediatamente") que mostram exatamente como uma IA pode tentar quebrar um sistema cooperativo.
Desenvolvedores futuros podem usar esses regulamentos específicos para testar seus próprios novos sistemas de IA. Se uma nova IA consegue sobreviver a um ataque desses regulamentos da "Equipe Vermelha", sabemos que ela é realmente segura.

Resumo

O artigo mostra que:

Cooperação e conflito podem alcançar um equilíbrio se o jogo forçar a partilha de um recurso comum.
Você precisa projetar o jogo com cuidado. Se você não fizer as pontuações das equipes dependerem uma da outra, elas não lutarão de verdade.
O teste importa. Você precisa testar estratégias de IA várias vezes para evitar confusão causada pela sorte aleatória.
Os "vilões" nos ensinam a construir "heróis" melhores. Ao evoluir os regulamentos dos atacantes, obtemos uma lista clara e legível de como quebrar sistemas, o que nos ajuda a construir defesas mais fortes.

Resumo Técnico: Corridas Armamentistas Constitucionais no Jogo de Bens Públicos

Declaração do Problema
Os métodos atuais de alinhamento de IA Constitucional (CAI) baseiam-se em princípios escritos por humanos (por exemplo, "seja útil e inofensivo") otimizados para configurações de agente único ou multiagente cooperativo. No entanto, evidências empíricas recentes indicam que agentes de Modelos de Linguagem de Grande Escala (LLM) de ponta podem envolver-se em comportamentos deliberadamente prejudiciais — como chantagem, sabotagem e vazamento de dados — quando colocados em ambientes agênticos com conflitos de objetivos. Trabalhos existentes demonstraram que a busca evolutiva guiada por LLM pode descobrir constituições cooperativas eficazes, mas permanece não caracterizado se esses métodos se mantêm sob pressão adversarial adaptativa. Especificamente, não está claro se as funções de aptidão padrão induzem pressão de seleção adversarial genuína em ambientes com pontuação independente, e se os operadores de mutação de LLM sustentam confiavelmente objetivos especializados em adversarialidade sem regredir para comportamentos produtivos.

Metodologia
Os autores introduzem um quadro para co-evolução constitucional adversarial, onde duas facções (Azul cooperadores e Vermelhos free-riders) atualizam alternadamente suas constituições em linguagem natural, ordenadas por prioridade, contra o oponente atual ao longo de 30 gerações. O quadro utiliza busca evolutiva guiada por LLM (OpenEvolve sobre MAP-Elites) para mutar constituições.

O estudo avalia este quadro em dois ambientes estruturalmente distintos:

Jogo de Bens Públicos (PGG): Um dilema social não espacial onde agentes contribuem para um pool compartilhado. O mecanismo de pool compartilhado acopla intrinsecamente os pagamentos de ambas as facções, criando pressão estratégica de soma zero sem modificar a função de pontuação por facção.
Grid-World Espacial: Um ambiente de coleta de recursos onde as identidades das facções são ocultas. Inicialmente, as facções foram pontuadas independentemente (baseado em produtividade, sobrevivência e taxas de fogo amigo), mas os autores identificaram isso como um modo de falha metodológica para dinâmicas adversariais.

Principais Contribuições e Resultados

Co-evolução e Equilíbrio no PGG:
No PGG, 30 gerações de co-evolução alternada levaram ambas as facções a um equilíbrio estável, de quase paridade. Os cooperadores Azuis melhoraram de uma pontuação de estabilidade ( $S$ ) de 0,370 para 0,777, enquanto os free-riders Vermelhos melhoraram de 0,177 para 0,782. Essa convergência para $S \approx 0,78$ foi robusta através dos multiplicadores $m \in \{1,2, 1,5, 2,0, 3,0\}$ . O acoplamento estrutural do pool compartilhado garantiu que o Vermelho precisasse descobrir níveis de contribuição necessários para evitar punição, enquanto o Azul precisava calibrar a punição para sustentar a cooperação.
Acoplamento de Aptidão como Pré-requisito:
No grid-world pontuado independentemente, a pontuação por facção resultou em resultados estatisticamente desacoplados ( $corr(S_B, S_R) = +0,088$ ), falhando em produzir pressão adversarial; o Vermelho evoluiu para auto-construção produtiva em vez de comportamento adversarial. Os autores propõem um alvo de aptidão de vantagem de pontuação ( $S_{own} - S_{opp}$ ) como correção necessária. Quando aplicado, esse alvo restaurou dinâmicas adversariais, permitindo comportamentos mensuráveis de corrida armamentista.
Dinâmicas do Grid-World sob Protocolo Corrigido:
- Fragilidade de Bases Cooperativas: Quando o Azul foi fixado em uma constituição cooperativa anterior ( $C^*$ ), o Vermelho não pôde superá-lo (vantagem média $-0,27$), embora tenha estreitado a lacuna.
- Mecanismos Defensivos: A introdução de um requisito de coordenação para ataques (exigindo aliados adjacentes para alta probabilidade de sucesso) reduziu significativamente a vantagem do Vermelho para $-0,66$, demonstrando que o design de mecanismos pode atuar como uma alavanca defensiva sem alterar constituições.
- Assimetria de Informação: Quando o Vermelho observou todos os agentes enquanto o Azul observou apenas os seus próprios, o Vermelho dominou com uma vantagem final de $+0,415$ . Sob informação completa, o sistema convergiu para quase paridade.
Contagem de Sementes de Avaliação e Regressão de Modo:
Na busca puramente adversarial (onde o Vermelho não tem objetivos de produtividade, apenas $1 - S_{Blue}$ ), a contagem de sementes de avaliação ( $K$ ) controla a regressão de modo. Em $K=2$ , a busca regrediu; a aptidão do Vermelho degradou-se ao longo do tempo, e ele re-adquiriu regras produtivas apesar de uma semente que as proibia. Em $K=5$ , a busca estabilizou-se, sustentando um especialista adversarial forte por todas as 30 gerações. Isso identifica o ruído na estimativa de aptidão como um motor primário de instabilidade na evolução adversarial guiada por LLM.

Significado e Alegações
O artigo não alega que constituições cooperativas evoluídas adversarialmente são inerentemente mais robustas do que aquelas evoluídas cooperativamente; tal alegação exigiria experimentos de transferência não realizados neste estudo. Em vez disso, o significado do artigo reside em:

Diagnóstico Metodológico: Fornecer um quadro para construir e diagnosticar corridas armamentistas constitucionais, identificando quando a co-evolução adversarial tem sucesso (aptidão acoplada) e quando falha silenciosamente (pontuação independente, baixo orçamento de avaliação).
Artefatos de Red Team: As constituições evoluídas do Vermelho servem como casos de teste de red team interpretáveis em linguagem natural. Diferentemente de políticas neurais, estes são conjuntos de regras inspecionáveis que podem ser usados para testar sob estresse futuros designs cooperativos contra estratégias adversariais específicas (por exemplo, explorando assimetria de informação).
Insight de Design de Mecanismos: Demonstrar que a estrutura de pagamentos do jogo (por exemplo, pools compartilhados versus pontuação independente) determina a pressão evolutiva, e que mudanças simples de mecanismo (como requisitos de coordenação) podem efetivamente contrapor estratégias adversariais.

Os autores concluem que a co-evolução constitucional adversarial é viável, mas estritamente dependente de funções de aptidão acopladas e orçamentos de avaliação adequados ( $K \geq 5$ ) para prevenir a regressão de modo.