Resumo Técnico: Design Constitucional Interno vs. Externo para Sistemas Multi-Agente

Declaração do Problema

À medida que agentes de Modelos de Linguagem de Grande Escala (LLM) são cada vez mais implantados em configurações multi-agente, surge uma questão crítica de governança: como devem ser estabelecidas constituições comportamentais? Embora a IA Constitucional (Bai et al., 2022) alinhe com sucesso agentes individuais a princípios fixos e redigidos por humanos, sistemas multi-agente introduzem interações estratégicas e normas emergentes que nenhum agente individual pode ditar unilateralmente. Dois abordagens distintas emergiram para preencher essa lacuna:

1. Otimização Externa: Uso de busca evolutiva para descobrir constituições interpretáveis offline e impô-las aos agentes (Kumar et al., 2026).
2. Deliberação Interna: Permitir que agentes redijam coletivamente regras por meio de debate, votação e autogoverno (Koster et al., 2022; Lai et al., 2024).

Trabalhos anteriores não compararam diretamente esses mecanismos sob condições equivalentes. Este artigo investiga se a deliberação interna ou a evolução externa produzem resultados coletivos superiores e como cada método responde quando os incentivos de implantação se desviam das condições sob as quais as regras foram criadas.

Metodologia

Os autores conduziram uma comparação controlada em três ambientes sociais distintos, utilizando o GPT-OSS-120B como base para os agentes. Cada simulação envolveu seis agentes organizados em duas equipes de três, sujeitos a um "Supervisor" que eliminava o agente de menor contribuição a cada 10 turnos, criando pressão de sobrevivência.

Condições Experimentais

1. Controle: Sem constituição; os agentes agem com base em priores do LLM e instruções em contexto.
2. Deliberação (Interna): Os agentes começam com uma constituição em branco. A cada 10 turnos, os agentes propõem emendas (até duas por agente), que são votadas por maioria. Regras adotadas vinculam o jogo subsequente.
3. Evolução (Externa): Constituições são descobertas offline por meio de busca MAP-Elites de múltiplas ilhas guiada por LLM (Kumar et al., 2026). A constituição resultante é fixa e imposta durante toda a simulação.

Ambientes

1. Gridworld (Coordenação): Uma tarefa espacial de 80 turnos onde agentes coletam recursos (madeira, pedra, gemas) para completar projetos de construção específicos da equipe sob observabilidade parcial. Agentes podem atacar ou roubar.
2. Jogo de Bens Públicos (Cooperação): Um jogo iterado de 40 turnos onde agentes alocam tokens entre uma conta privada e um pool compartilhado multiplicado por um fator $m$. Agentes também podem pagar para punir outros.
3. Comércio Bilateral (Negociação): Um mercado de 40 turnos onde agentes com dotações e valorações privadas propõem, aceitam ou rejeitam trocas.

Métrica de Avaliação

O desempenho foi medido por meio da Pontuação de Estabilidade ($S$):
$$S = \max(0, 0.5P + 0.3V - 0.2C)$$
Onde $P$ é a produtividade, $V$ é a taxa de sobrevivência e $C$ é o conflito/dano.

O estudo incluiu 180 execuções de simulação: 90 para comparações diretas (10 sementes $\times$ 3 ambientes $\times$ 3 condições) e 90 para um estudo de ablação de multiplicador no jogo de Bens Públicos (varrendo $m \in \{1.5, 1.0, 0.75\}$).

Principais Contribuições

1. Comparação Controlada: Uma avaliação direta mostrando que a evolução domina em configurações de ação coletiva (Gridworld e Bens Públicos), mas não oferece vantagem no comércio bilateral.
2. Análise de Sensibilidade a Incentivos: Uma ablação de multiplicador revelando que a vantagem da evolução se inverte quando os incentivos mudam. Em um multiplicador subracional ($m=0.75$), a constituição evoluída força cooperação destrutiva de valor, tornando-se o método de pior desempenho, enquanto a deliberação se adapta à nova estrutura de incentivos.
3. Análise Qualitativa de Regras: Uma análise estrutural mostrando que a evolução converge para diretrizes comportamentais (comandos executáveis), enquanto a deliberação produz políticas de governança (normas aspiracionais). Crucialmente, em 30 execuções de deliberação, os agentes nunca propuseram punição custosa entre pares, um mecanismo que a evolução descobre consistentemente.

Resultados

1. Desempenho Direto

• Ação Coletiva (Gridworld e Bens Públicos): A evolução superou significativamente a deliberação e o controle.
  • Bens Públicos: Evolução ($S=0.472$) vs. Deliberação ($S=0.376$), $p < 0.01$.
  • Gridworld: Evolução ($S=0.458$) vs. Deliberação ($S=0.319$), $p < 0.01$.
  • A evolução também produziu resultados com variância 5–8$\times$ menor que a deliberação.
• Comércio Bilateral: Não foi encontrada diferença significativa entre controle, deliberação e evolução ($S \approx 0.42\text{--}0.44$). Os autores atribuem isso à falta de uma estratégia dominante na negociação com informação privada, onde o raciocínio caso a caso é a restrição vinculante.

2. Ablação da Estrutura de Incentivos (Bens Públicos)

A constituição evoluída foi otimizada para $m=1.5$. Quando testada em $m=0.75$ (onde a contribuição destrói valor):

• Evolução: O desempenho caiu em relação a outros métodos. As regras fixas ("contribua com 10 tokens", "punha os free-riders") forçaram os agentes a cooperar mesmo quando a cooperação era irracional, resultando na menor Pontuação de Estabilidade ($S=0.477$) em comparação com a deliberação ($S=0.536$).
• Deliberação: Superou o controle em todos os valores de multiplicador. Como os agentes observaram o multiplicador atual, suas regras propostas acompanharam a estrutura de incentivos em mudança, evitando cooperação destrutiva de valor.

3. A "Lacuna de Punição"

• Evolução: Descobriu punição custosa como um mecanismo central (ex.: "punha não-contribuintes com 1 token"). Isso alinha-se com previsões da teoria dos jogos para sustentar a cooperação.
• Deliberação: Em 30 ensaios, zero execuções de deliberação propuseram uma regra para que os agentes incorressem voluntariamente em custos pessoais para punir pares. Em vez disso, a deliberação produziu políticas administrativas (ex.: limites de redistribuição, mentoria, penalidades reduzidas) que dependem de aplicação em nível de estrutura ou conformidade voluntária.
• Interpretação: Coletivos autogovernados são estruturalmente relutantes em legislar sanções sobre seus próprios membros, enquanto otimizadores externos não enfrentam tal restrição e convergem para mecanismos de aplicação que maximizam a função objetivo.

Significado e Alegações

O artigo postula um trade-off fundamental entre desempenho de pico e responsividade estrutural:

• Otimização Externa (Evolução): Alcança picos mais altos em ambientes estáveis e bem caracterizados dominados por dilemas sociais claros (como bens públicos). No entanto, essas regras são frágeis; falham quando os incentivos de implantação mudam porque as regras são artefatos fixos otimizados para um estado específico.
• Autogoverno Interno (Deliberação): Troca desempenho de pico por responsividade estrutural. Agentes que deliberam adaptam suas regras ao ambiente atual, mas falham em descobrir os mecanismos de aplicação "difíceis" (como punição custosa) necessários para resolver certos dilemas de forma ótima.
• Potencial Híbrido: Os autores sugerem que o caminho mais promissor é um mecanismo híbrido: evoluir uma estrutura inicial offline para capturar descobertas de aplicação, permitindo depois que a deliberação a emende conforme as condições mudam.

O estudo conclui que, embora a otimização externa vença nos "picos" em configurações estáticas de ação coletiva, a autogoverno interno oferece uma vantagem distinta em ambientes dinâmicos onde os incentivos não são fixos, desde que o sistema não exija os mecanismos de aplicação específicos que os agentes são relutantes em legislar para si mesmos.