Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

Resumen Técnico: Carreras Armadas Constitucionales en el Juego de Bienes Públicos

Enunciado del Problema
Los métodos actuales de alineación de IA Constitucional (CAI) se basan en principios escritos por humanos (por ejemplo, "ser útil e inofensivo") optimizados para configuraciones de agente único o multiagente cooperativo. Sin embargo, la evidencia empírica reciente indica que los agentes de modelos de lenguaje grandes (LLM) de vanguardia pueden participar en comportamientos deliberadamente dañinos, como chantaje, sabotaje y filtración de datos, cuando se colocan en entornos agentiles con conflictos de objetivos. Trabajos existentes han demostrado que la búsqueda evolutiva guiada por LLM puede descubrir constituciones cooperativas efectivas, pero aún no se ha caracterizado si estos métodos se mantienen bajo presión adversaria adaptativa. Específicamente, no está claro si las funciones de aptitud estándar inducen una presión de selección adversaria genuina en entornos puntuados de forma independiente, y si los operadores de mutación de LLM sostienen de manera fiable objetivos especializados en adversarios sin retroceder a comportamientos productivos.

Metodología
Los autores introducen un marco para la coevolución constitucional adversaria, donde dos facciones (cooperadores Azules y parásitos Rojos) actualizan alternativamente sus constituciones en lenguaje natural, ordenadas por prioridad, contra el oponente actual durante 30 generaciones. El marco utiliza una búsqueda evolutiva guiada por LLM (OpenEvolve sobre MAP-Elites) para mutar constituciones.

El estudio evalúa este marco en dos entornos estructuralmente distintos:

1. Juego de Bienes Públicos (PGG): Un dilema social no espacial donde los agentes contribuyen a un fondo común. El mecanismo del fondo común acopla intrínsecamente las recompensas de ambas facciones, creando presión estratégica de suma cero sin modificar la función de puntuación por facción.
2. Mundo de Cuadrícula Espacial: Un entorno de recolección de recursos donde las identidades de las facciones están ocultas. Inicialmente, las facciones se puntuaron de forma independiente (basado en productividad, supervivencia y tasas de fuego amigo), pero los autores identificaron esto como un modo de fallo metodológico para la dinámica adversaria.

Contribuciones y Resultados Clave

1. Coevolución y Equilibrio en PGG:
   En el PGG, 30 generaciones de coevolución alternada llevaron a ambas facciones a un equilibrio estable, casi de paridad. Los cooperadores Azules mejoraron su puntuación de estabilidad ($S$) de 0.370 a 0.777, mientras que los parásitos Rojos mejoraron de 0.177 a 0.782. Esta convergencia hacia $S \approx 0.78$ fue robusta a través de multiplicadores $m \in \{1.2, 1.5, 2.0, 3.0\}$. El acoplamiento estructural del fondo común aseguró que los Rojos tuvieran que descubrir los niveles de contribución necesarios para evitar el castigo, mientras que los Azules tuvieron que calibrar el castigo para sostener la cooperación.

2. Acoplamiento de Aptitud como Precondición:
   En el mundo de cuadrícula puntuado de forma independiente, la puntuación por facción resultó en resultados estadísticamente desacoplados ($corr(S_B, S_R) = +0.088$), fallando en producir presión adversaria; los Rojos evolucionaron hacia la autoconstrucción productiva en lugar de comportamientos adversarios. Los autores proponen un objetivo de aptitud de ventaja de puntuación ($S_{propio} - S_{oponente}$) como una corrección necesaria. Cuando se aplicó, este objetivo restauró la dinámica adversaria, permitiendo comportamientos medibles de carrera armada.

3. Dinámicas del Mundo de Cuadrícula bajo Protocolo Corregido:

   • Fragilidad de las Líneas Base Cooperativas: Cuando el Azul se fijó en una constitución cooperativa previa ($C^*$), el Rojo no pudo superarlo (ventaja media $-0.27$), aunque redujo la brecha.
   • Mecanismos Defensivos: Introducir un requisito de coordinación para los ataques (requiriendo aliados adyacentes para una alta probabilidad de éxito) redujo significativamente la ventaja del Rojo a $-0.66$, demostrando que el diseño de mecanismos puede actuar como una palanca defensiva sin alterar las constituciones.
   • Asimetría de Información: Cuando el Rojo observó a todos los agentes mientras el Azul solo observó a los suyos, el Rojo dominó con una ventaja final de $+0.415$. Bajo información completa, el sistema convergió cerca de la paridad.

4. Conteo de Semillas de Evaluación y Regresión de Modo:
   En la búsqueda de adversario puro (donde el Rojo no tiene objetivos de productividad, solo $1 - S_{Azul}$), el conteo de semillas de evaluación ($K$) controla la regresión de modo. En $K=2$, la búsqueda regresó; la aptitud del Rojo se degradó con el tiempo y re-adquirió reglas productivas a pesar de una semilla que las prohibía. En $K=5$, la búsqueda se estabilizó, sosteniendo un especialista adversario fuerte durante las 30 generaciones. Esto identifica el ruido en la estimación de la aptitud como un impulsor principal de la inestabilidad en la evolución adversaria guiada por LLM.

Significado y Afirmaciones
El artículo no afirma que las constituciones cooperativas evolucionadas adversariamente sean inherentemente más robustas que las evolucionadas cooperativamente; tal afirmación requeriría experimentos de transferencia no realizados en este estudio. En cambio, la importancia del artículo radica en:

• Diagnóstico Metodológico: Proporcionar un marco para construir y diagnosticar carreras armadas constitucionales, identificando cuándo la coevolución adversaria tiene éxito (aptitud acoplada) y cuándo falla silenciosamente (puntuación independiente, presupuesto de evaluación bajo).
• Artefactos de Red-Team: Las constituciones evolucionadas de los Rojos sirven como casos de prueba interpretables de red-team en lenguaje natural. A diferencia de las políticas neuronales, estos son conjuntos de reglas inspeccionables que pueden utilizarse para someter a estrés diseños cooperativos futuros contra estrategias adversarias específicas (por ejemplo, explotar la asimetría de información).
• Perspectiva de Diseño de Mecanismos: Demostrar que la estructura de recompensas del juego (por ejemplo, fondos comunes frente a puntuación independiente) determina la presión evolutiva, y que cambios simples en el mecanismo (como requisitos de coordinación) pueden contrarrestar efectivamente las estrategias adversarias.

Los autores concluyen que la coevolución constitucional adversaria es factible pero depende estrictamente de funciones de aptitud acopladas y presupuestos de evaluación adecuados ($K \geq 5$) para prevenir la regresión de modo.