Evolutionary Dynamics of Cooperation in Next-Generation LLM Agent Systems: A Cross-Provider Empirical Extension

Resumen Técnico: Dinámicas Evolutivas de la Cooperación en Sistemas de Agentes LLM de Nueva Generación

Enunciado del Problema
El artículo aborda una brecha crítica en la comprensión del comportamiento evolutivo de los agentes de Modelos de Lenguaje Grande (LLM) en sistemas multiagente competitivos. Si bien Willis et al. [25] establecieron que los modelos de vanguardia anteriores (ChatGPT-4o, Claude 3.5 Sonnet) exhiben un sesgo cooperativo persistente en configuraciones del Dilema del Prisionero Iterado (IPD), el panorama ha cambiado con el lanzamiento de modelos de nueva generación (2025–2026). Se desconoce si estos modelos más recientes, que cuentan con contextos extendidos y entrenamiento de alineación revisado, mantienen, profundizan o erosionan este sesgo cooperativo. Además, no existe una comparación sistemática entre proveedores para determinar si las tendencias cooperativas son propiedades universales de los LLM de vanguardia o artefactos de elecciones específicas de entrenamiento de proveedores particulares.

Metodología
Los autores extienden el protocolo experimental de Willis et al. [25] a cuatro nuevos modelos de vanguardia de tres proveedores:

• Modelos: Claude Sonnet 4.6 (Anthropic), Gemini 2.5 Flash (Google), Gemini 3.1 Pro (Google) y GPT-5.4 Mini (OpenAI).
• Generación de Estrategias: Para cada modelo, se generan 25 estrategias en lenguaje natural por "actitud" (Agresiva, Cooperativa, Neutral) utilizando tres estilos de prompting: Predeterminado (lenguaje directo de teoría de juegos), Prosa (escenario del mundo real ofuscado) y Refinar (marco Self-Refine donde el modelo critica y reescribe su estrategia). Estas se convierten a algoritmos de Python mediante el modelo del mismo proveedor.
• Simulación Evolutiva: El estudio simula procesos evolutivos de Moran con un tamaño de población de $n=12$ y 500 iteraciones por condición (un aumento significativo respecto a los $n=100$ del estudio precedente para reducir el error de muestreo).
• Condiciones: Se prueban cuatro composiciones de población: Equilibrada/Limpia (4:4:4), Sesgada/Limpia (8:2:2), Equilibrada/Ruido (4:4:4 con 10% de inversión de acciones) y Sesgada/Ruido (8:2:2 con ruido).
• Métricas: El estudio introduce el Índice de Capacidades Diferenciales (ICD) para cuantificar la brecha de recompensa entre agentes agresivos y cooperativos. También mide la sensibilidad al ruido ($\Delta_{noise}$) como la caída en la probabilidad de equilibrio cooperativo bajo ruido de acción.

Contribuciones Clave

1. Extensión Longitudinal: Esta es la primera comparación dentro de la misma línea de modelos de LLM de nueva generación frente a sus predecesores inmediatos bajo el mismo marco IPD de Moran, abarcando Anthropic, OpenAI y Google.
2. Referencia entre Proveedores: Proporciona la primera comparación sistemática de resultados de equilibrio entre tres proveedores principales, yendo más allá de estudios de un solo proveedor.
3. Nueva Métrica (ICD): La introducción del Índice de Capacidades Diferenciales permite un resumen escalar de la brecha de recompensa entre agresión y cooperación, facilitando el análisis de la "paridad de capacidad agresiva".
4. Replicación de Alta Potencia: Al aumentar las iteraciones a $n=500$, el estudio resuelve ambigüedades presentes en el estudio original de $n=100$, particularmente en lo que respecta a la estabilidad de los resultados de equilibrio bajo ruido.

Resultados

• Persistencia del Sesgo Cooperativo (H1): El sesgo cooperativo documentado en generaciones anteriores persiste. En condiciones equilibradas y sin ruido, 9 de 12 combinaciones de modelo-prompt favorecen equilibrios cooperativos como resultado de pluralidad. Los equilibrios agresivos se mantienen muy por debajo de la probabilidad previa del 33% en la mayoría de las configuraciones.
• Divergencia entre Proveedores (H3): La identidad del proveedor es el correlato más fuerte de los resultados de equilibrio, superando a la generación del modelo.
  • Gemini 2.5 Flash es el más agresivo, alcanzando hasta un 77% de equilibrios agresivos en condiciones sesgadas y ruidosas.
  • GPT-5.4 Mini es el más cooperativo, logrando un 70% de equilibrios cooperativos bajo el prompting Self-Refine.
  • Claude 4.6 refleja a su predecesor (Claude 3.5 Sonnet) casi exactamente en condiciones equilibradas, sugiriendo disposiciones estratégicas estables dentro de la línea de Anthropic.
• Paridad de Capacidad Agresiva (H2): El prompt Self-Refine reduce consistentemente la brecha de recompensa (aumentando el ICD) en todos los modelos. Claude 4.6 Refine alcanza el ICD más alto (0.913), acercándose a la paridad de recompensa entre agentes agresivos y cooperativos. Sin embargo, esta paridad de capacidades no se traduce uniformemente en tasas más altas de equilibrio agresivo en todos los prompts; es más pronunciada bajo condiciones específicas.
• Robustez al Ruido (H4): La evidencia de una mayor robustez al ruido es direccionalmente positiva pero no estadísticamente robusta. Claude 4.6 muestra una menor sensibilidad promedio al ruido ($\approx$6 puntos porcentuales) en comparación con Claude 3.5 Sonnet (13 pp). Sin embargo, al propagar el error de muestreo no reportado del estudio del predecesor ($n=100$), la diferencia no es estadísticamente significativa.

Significado y Afirmaciones
El artículo afirma que el sesgo cooperativo es una propiedad ampliamente compartida de los LLM de vanguardia actuales, sobreviviendo a la transición a una nueva generación de modelos. Sin embargo, las dinámicas específicas de equilibrio dependen en gran medida del proveedor. El estudio advierte que la "identidad del proveedor" es una variable confusa en este diseño, enredando elecciones de alineación, corpus de entrenamiento y la fidelidad de la conversión de código (ya que el modelo de cada proveedor convierte sus propias estrategias a código).

Crucialmente, los autores destacan una implicación de seguridad: el prompting Self-Refine, aunque destinado a mejorar la calidad de la estrategia, estrecha inadvertidamente la brecha entre las capacidades agresivas y cooperativas. Esto sugiere que las técnicas de ingeniería de prompts diseñadas para mejorar el razonamiento pueden aumentar la viabilidad de estrategias agresivas en sistemas multiagente desplegados.

El artículo concluye que, si bien la línea base cooperativa parece estable dentro de la línea de Anthropic, el ruido sigue siendo un desafío universal que desplaza los equilibrios hacia la agresión. Los autores enfatizan que sus hallazgos son específicos de las bibliotecas de estrategias generadas y del marco IPD, y ponen a disposición su código y datos para permitir el seguimiento longitudinal futuro de estas dinámicas a medida que surgen nuevos modelos.