Evolutionary Dynamics of Cooperation in Next-Generation LLM Agent Systems: A Cross-Provider Empirical Extension

Resumo Técnico: Dinâmicas Evolutivas da Cooperação em Sistemas de Agentes LLM de Próxima Geração

Declaração do Problema
O artigo aborda uma lacuna crítica na compreensão do comportamento evolutivo de agentes de Modelos de Linguagem de Grande Escala (LLM) em sistemas multiagente competitivos. Embora Willis et al. [25] tenham estabelecido que modelos de fronteira anteriores (ChatGPT-4o, Claude 3.5 Sonnet) exibem um viés cooperativo persistente em configurações do Dilema do Prisioneiro Iterado (IPD), o cenário mudou com o lançamento de modelos de próxima geração (2025–2026). Ainda é desconhecido se esses novos modelos, que possuem contextos estendidos e treinamento de alinhamento revisado, mantêm, aprofundam ou erodem esse viés cooperativo. Além disso, não existe uma comparação sistemática entre provedores para determinar se as tendências cooperativas são propriedades universais de LLMs de fronteira ou artefatos de escolhas específicas de treinamento de provedores.

Metodologia
Os autores estendem o protocolo experimental de Willis et al. [25] para quatro novos modelos de fronteira de três provedores:

• Modelos: Claude Sonnet 4.6 (Anthropic), Gemini 2.5 Flash (Google), Gemini 3.1 Pro (Google) e GPT-5.4 Mini (OpenAI).
• Geração de Estratégias: Para cada modelo, 25 estratégias em linguagem natural são geradas por "atitude" (Agressiva, Cooperativa, Neutra) usando três estilos de prompt: Padrão (linguagem direta de teoria dos jogos), Prosa (cenário do mundo real ofuscado) e Refinar (framework Self-Refine onde o modelo critica e reescreve sua estratégia). Estas são convertidas em algoritmos Python pelo modelo do mesmo provedor.
• Simulação Evolutiva: O estudo simula processos evolutivos Moran com um tamanho de população de $n=12$ e 500 iterações por condição (um aumento significativo em relação ao $n=100$ no estudo predecessor para reduzir o erro de amostragem).
• Condições: Quatro composições populacionais são testadas: Equilibrada/Limpa (4:4:4), Viciada/Limpa (8:2:2), Equilibrada/Ruído (4:4:4 com 10% de inversão de ação) e Viciada/Ruído (8:2:2 com ruído).
• Métricas: O estudo introduz o Índice de Capacidades Diferenciais (ICD) para quantificar a lacuna de recompensa entre agentes agressivos e cooperativos. Também mede a sensibilidade ao ruído ($\Delta_{noise}$) como a queda na probabilidade de equilíbrio cooperativo sob ruído de ação.

Principais Contribuições

1. Extensão Longitudinal: Esta é a primeira comparação dentro da linhagem de LLMs de próxima geração contra seus predecessores imediatos sob o mesmo framework IPD Moran, abrangendo Anthropic, OpenAI e Google.
2. Benchmark entre Provedores: Fornece a primeira comparação sistemática de resultados de equilíbrio entre três grandes provedores, indo além de estudos de único provedor.
3. Nova Métrica (ICD): A introdução do Índice de Capacidades Diferenciais permite um resumo escalar da lacuna de recompensa agressiva-cooperativa, facilitando a análise da "paridade de capacidade agressiva".
4. Replicação de Alta Potência: Ao aumentar as iterações para $n=500$, o estudo resolve ambiguidades presentes no estudo original de $n=100$, particularmente regarding a estabilidade dos resultados de equilíbrio sob ruído.

Resultados

• Persistência do Viés Cooperativo (H1): O viés cooperativo documentado em gerações anteriores persiste. Em condições equilibradas e sem ruído, 9 de 12 combinações modelo-prompt favorecem equilíbrios cooperativos como o resultado da pluralidade. Equilíbrios agressivos permanecem bem abaixo da probabilidade a priori de 33% na maioria das configurações.
• Divergência entre Provedores (H3): A identidade do provedor é o correlato mais forte dos resultados de equilíbrio, superando a geração do modelo.
  • Gemini 2.5 Flash é o mais agressivo, atingindo até 77% de equilíbrios agressivos em condições viciadas e ruidosas.
  • GPT-5.4 Mini é o mais cooperativo, alcançando 70% de equilíbrios cooperativos sob o prompt Self-Refine.
  • Claude 4.6 espelha seu predecessor (Claude 3.5 Sonnet) quase exatamente em condições equilibradas, sugerindo disposições estratégicas estáveis dentro da linhagem Anthropic.
• Paridade de Capacidade Agressiva (H2): O prompt Self-Refine consistentemente estreita a lacuna de recompensa (aumentando o ICD) em todos os modelos. O Claude 4.6 Refine alcança o ICD mais alto (0,913), aproximando-se da paridade de recompensa entre agentes agressivos e cooperativos. No entanto, essa paridade de capacidade não se traduz uniformemente em taxas mais altas de equilíbrio agressivo em todos os prompts; é mais pronunciada sob condições específicas.
• Robustez ao Ruído (H4): Evidências de robustez aprimorada ao ruído são direcionalmente positivas, mas não estatisticamente robustas. O Claude 4.6 mostra uma sensibilidade média ao ruído menor ($\approx$6 pontos percentuais) em comparação com o Claude 3.5 Sonnet (13 pp). No entanto, ao propagar o erro de amostragem não reportado do estudo predecessor ($n=100$), a diferença não é estatisticamente significativa.

Significado e Alegações
O artigo afirma que o viés cooperativo é uma propriedade amplamente compartilhada dos atuais LLMs de fronteira, sobrevivendo à transição para uma nova geração de modelos. No entanto, as dinâmicas específicas de equilíbrio dependem fortemente do provedor. O estudo alerta que a "identidade do provedor" é uma variável confundida neste desenho, entrelaçando escolhas de alinhamento, corpora de treinamento e a fidelidade da conversão de código (já que o modelo de cada provedor converte suas próprias estratégias em código).

Crucialmente, os autores destacam uma implicação de segurança: o prompt Self-Refine, embora destinado a melhorar a qualidade da estratégia, estreita inadvertidamente a lacuna entre capacidades agressivas e cooperativas. Isso sugere que técnicas de engenharia de prompts projetadas para aprimorar o raciocínio podem aumentar a viabilidade de estratégias agressivas em sistemas multiagente implantados.

O artigo conclui que, embora a linha de base cooperativa pareça estável dentro da linhagem Anthropic, o ruído permanece um desafio universal que desloca os equilíbrios em direção à agressão. Os autores enfatizam que suas descobertas são específicas para as bibliotecas de estratégias geradas e o framework IPD, e eles liberam seu código e dados para permitir o acompanhamento longitudinal futuro dessas dinâmicas à medida que novos modelos surgem.