Resumen Técnico: Diseño Constitucional Interno vs. Externo para Sistemas Multiagente

Enunciado del Problema

A medida que los agentes de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en entornos multiagente, surge una pregunta crítica de gobernanza: ¿cómo deben establecerse las constituciones de comportamiento? Aunque la IA Constitucional (Bai et al., 2022) alinea con éxito a agentes individuales con principios fijos redactados por humanos, los sistemas multiagente introducen interacciones estratégicas y normas emergentes que ningún agente individual puede dictar unilateralmente. Han surgido dos enfoques distintos para abordar esta brecha:

1. Optimización Externa: Utilizar la búsqueda evolutiva para descubrir constituciones interpretables fuera de línea e imponerlas a los agentes (Kumar et al., 2026).
2. Deliberación Interna: Permitir que los agentes redacten colectivamente reglas mediante debate, votación y autogobierno (Koster et al., 2022; Lai et al., 2024).

Trabajos anteriores no han comparado directamente estos mecanismos bajo condiciones equiparadas. Este artículo investiga si la deliberación interna o la evolución externa producen resultados colectivos superiores y cómo responde cada método cuando los incentivos de despliegue se desvían de las condiciones bajo las cuales se crearon las reglas.

Metodología

Los autores realizaron una comparación controlada en tres entornos sociales distintos utilizando GPT-OSS-120B como columna vertebral del agente. Cada simulación involucró a seis agentes organizados en dos equipos de tres, sujetos a un "Supervisor" que eliminaba al agente de menor contribución cada 10 turnos, creando presión de supervivencia.

Condiciones Experimentales

1. Control: Sin constitución; los agentes actúan según los priores del LLM y las instrucciones en contexto.
2. Deliberación (Interna): Los agentes comienzan con una constitución en blanco. Cada 10 turnos, los agentes proponen enmiendas (hasta dos por agente), que son votadas por mayoría. Las reglas adoptadas vinculan el juego posterior.
3. Evolución (Externa): Las constituciones se descubren fuera de línea mediante una búsqueda MAP-Elites de múltiples islas guiada por LLM (Kumar et al., 2026). La constitución resultante es fija e impuesta durante toda la simulación.

Entornos

1. Gridworld (Coordinación): Una tarea espacial de 80 turnos donde los agentes recogen recursos (madera, piedra, gemas) para completar proyectos de construcción específicos del equipo bajo observabilidad parcial. Los agentes pueden atacar o robar.
2. Juego de Bienes Públicos (Cooperación): Un juego iterado de 40 turnos donde los agentes asignan tokens entre una cuenta privada y un fondo común multiplicado por un factor $m$. Los agentes también pueden pagar para castigar a otros.
3. Comercio Bilateral (Negociación): Un mercado de 40 turnos donde los agentes con dotaciones y valoraciones privadas proponen, aceptan o rechazan intercambios.

Métrica de Evaluación

El rendimiento se midió mediante la Puntuación de Estabilidad ($S$):
$$S = \max(0, 0.5P + 0.3V - 0.2C)$$
Donde $P$ es la productividad, $V$ es la tasa de supervivencia y $C$ es el conflicto/daño.

El estudio incluyó 180 ejecuciones de simulación: 90 para comparaciones cara a cara (10 semillas $\times$ 3 entornos $\times$ 3 condiciones) y 90 para un estudio de ablación de multiplicadores en el juego de Bienes Públicos (variando $m \in \{1.5, 1.0, 0.75\}$).

Contribuciones Clave

1. Comparación Controlada: Una evaluación cara a cara que muestra que la evolución domina en entornos de acción colectiva (Gridworld y Bienes Públicos) pero no ofrece ventaja en el comercio bilateral.
2. Análisis de Sensibilidad a Incentivos: Una ablación de multiplicadores que revela que la ventaja de la evolución se invierte cuando los incentivos cambian. Con un multiplicador subracional ($m=0.75$), la constitución evolucionada fuerza una cooperación que destruye valor, convirtiéndose en el método de peor rendimiento, mientras que la deliberación se adapta a la nueva estructura de incentivos.
3. Análisis Cualitativo de Reglas: Un análisis estructural que muestra que la evolución converge en directivas de comportamiento (comandos ejecutables), mientras que la deliberación produce políticas de gobernanza (normas aspiracionales). Crucialmente, en 30 ejecuciones de deliberación, los agentes nunca propusieron castigo costoso entre pares, un mecanismo que la evolución descubre de manera fiable.

Resultados

1. Rendimiento Cara a Cara

• Acción Colectiva (Gridworld y Bienes Públicos): La evolución superó significativamente a la deliberación y al control.
  • Bienes Públicos: Evolución ($S=0.472$) vs. Deliberación ($S=0.376$), $p < 0.01$.
  • Gridworld: Evolución ($S=0.458$) vs. Deliberación ($S=0.319$), $p < 0.01$.
  • La evolución también produjo resultados con una varianza 5–8 veces menor que la deliberación.
• Comercio Bilateral: No se encontró diferencia significativa entre control, deliberación y evolución ($S \approx 0.42\text{--}0.44$). Los autores atribuyen esto a la falta de una estrategia dominante en la negociación con información privada, donde el razonamiento caso por caso es la restricción vinculante.

2. Ablación de Estructura de Incentivos (Bienes Públicos)

La constitución evolucionada se optimizó para $m=1.5$. Cuando se probó en $m=0.75$ (donde la contribución destruye valor):

• Evolución: El rendimiento disminuyó en relación con otros métodos. Las reglas fijas ("contribuir 10 tokens", "castigar a los free-riders") forzaron a los agentes a cooperar incluso cuando la cooperación era irracional, resultando en la Puntuación de Estabilidad más baja ($S=0.477$) en comparación con la deliberación ($S=0.536$).
• Deliberación: Superó al control en todos los valores del multiplicador. Dado que los agentes observaban el multiplicador actual, sus reglas propuestas seguían la estructura de incentivos cambiante, evitando la cooperación que destruye valor.

3. La "Brecha de Castigo"

• Evolución: Descubrió el castigo costoso como un mecanismo central (por ejemplo, "castigar a los no contribuyentes con 1 token"). Esto se alinea con las predicciones de la teoría de juegos para sostener la cooperación.
• Deliberación: En 30 ensayos, cero ejecuciones de deliberación propusieron una regla para que los agentes incurran voluntariamente en costos personales para castigar a sus pares. En cambio, la deliberación produjo políticas administrativas (por ejemplo, umbrales de redistribución, mentoría, penalizaciones reducidas) que dependen de la aplicación a nivel de marco o del cumplimiento voluntario.
• Interpretación: Los colectivos autogobernados son estructuralmente reacios a legislar sanciones sobre sus propios miembros, mientras que los optimizadores externos no enfrentan tal restricción y convergen en los mecanismos de aplicación que maximizan la función objetivo.

Significado y Afirmaciones

El artículo postula un compromiso fundamental entre el rendimiento máximo y la capacidad de respuesta estructural:

• Optimización Externa (Evolución): Alcanza picos más altos en entornos estables y bien caracterizados dominados por dilemas sociales claros (como los bienes públicos). Sin embargo, estas reglas son frágiles; fallan cuando los incentivos de despliegue cambian porque las reglas son artefactos fijos optimizados para un estado específico.
• Autogobierno Interno (Deliberación): Intercambia el rendimiento máximo por capacidad de respuesta estructural. Los agentes que deliberan adaptan sus reglas al entorno actual, pero fallan en descubrir los mecanismos de aplicación "duras" (como el castigo costoso) necesarios para resolver óptimamente ciertos dilemas.
• Potencial Híbrido: Los autores sugieren que el camino más prometedor hacia adelante es un mecanismo híbrido: evolucionar un andamio inicial fuera de línea para capturar descubrimientos de aplicación, y luego permitir que la deliberación lo enmiende a medida que cambian las condiciones.

El estudio concluye que, aunque la optimización externa gana en "picos" en entornos estáticos de acción colectiva, el autogobierno interno ofrece una ventaja distintiva en entornos dinámicos donde los incentivos no son fijos, siempre que el sistema no requiera los mecanismos de aplicación específicos que los agentes son reacios a legislar para sí mismos.