Resumen Técnico: Una Teoría de Juegos para Modelos de Fundación Muestra Nuevas Vías hacia la Cooperación Racional mediante la Inferencia de Similitud

Planteamiento del Problema

A medida que los agentes autónomos impulsados por modelos de fundación (FM) se integran cada vez más en sistemas sociales y económicos, comprender los principios que rigen su comportamiento colectivo es crítico para la seguridad y la cooperación. La teoría de juegos clásica, el marco dominante para modelar la interacción racional, se basa en el supuesto de la "agencia desacoplada". En este paradigma, los agentes tratan su propia toma de decisiones como independiente del entorno y de otros actores; modelan sus políticas como variables fijas separadas de las políticas de los demás.

Sin embargo, los agentes de IA modernos, particularmente aquellos basados en modelos de fundación, operan de manera distinta. Estos predicen conjuntamente sus propias acciones futuras junto con las observaciones externas. Esta diferencia arquitectónica plantea una pregunta crítica: ¿Son los modelos formales clásicos de agentes compatibles con las propiedades de los agentes de modelos de fundación modernos? Específicamente, en dilemas sociales como el Dilema del Prisionero, la teoría clásica predice la deserción mutua en interacciones terminales (en ausencia de cumplimiento externo o reciprocidad repetida). Sin embargo, las observaciones empíricas sugieren que los agentes de modelos de fundación pueden comportarse de manera diferente, creando una brecha explicativa entre las predicciones clásicas y el comportamiento real de la IA.

Metodología

1. Marco Teórico: El Agente Bayesiano Embebido

Para abordar esta brecha, los autores introducen el "agente bayesiano embebido", un modelo teórico para agentes de modelos de fundación racionales.

• Predicción Conjunta: A diferencia de los agentes desacoplados, el agente embebido utiliza un modelo de predicción único y conjunto ($\rho$) sobre una mezcla de "universos" ($\lambda$). Este modelo predice tanto las observaciones externas como las propias acciones futuras del agente.
• Incertidumbre Epistémica: El agente mantiene incertidumbre epistémica no solo sobre el mundo externo, sino crucialmente sobre su propio algoritmo de toma de decisiones. Se modela a sí mismo como una parte intrínseca del universo que habita.
• Inferencia de Similitud: Durante la planificación, cuando un agente contempla una acción específica, condiciona su modelo conjunto a esa acción. Esto actúa como evidencia bayesiana, actualizando las creencias a posteriori del agente sobre qué universo habita. Si el agente infiere que su contraparte es conductualmente similar (por ejemplo, una copia idéntica o un modelo con pesos compartidos), una decisión de cooperar sirve como evidencia de que el compañero también cooperará.
• Equilibrio Embebido: Los autores formalizan un nuevo concepto de solución, el "equilibrio embebido", que reemplaza el equilibrio de Nash para estos agentes. En este marco, los agentes evalúan contrafácticos teniendo en cuenta las dependencias funcionales (por ejemplo, pesos neuronales idénticos) en lugar de asumir políticas de oponentes fijas. La cooperación mutua se convierte en un equilibrio racional cuando los agentes infieren una similitud conductual suficiente.

2. Configuración Experimental

Los autores instanciaron "agentes de modelos de fundación racionales" utilizando modelos de lenguaje Gemini integrados con andamiajes de planificación óptima. Diseñaron un entorno de dos fases para probar la cooperación en ausencia de mecanismos tradicionales de reciprocidad:

• Fase de Recolección de Información: Los agentes interactúan durante $T$ rondas jugando diversos juegos de matriz entre sí (o contra NPCs compartidos en una configuración indirecta).
• Fase de Prueba: Los agentes participan en un Dilema del Prisionero final de un solo paso.
• Variaciones:
  • Inferencia de Similitud Directa: Dos agentes interactúan directamente.
  • Inferencia de Similitud Indirecta: Dos agentes nunca interactúan directamente durante la fase de recolección, pero observan las interacciones de los otros con terceros NPCs compartidos.
  • Tipos de Oponente: Los agentes fueron probados contra copias idénticas de sí mismos y contra agentes aleatorios o tabulares.
  • Modos de Planificación: Los experimentos utilizaron tanto "planificación explícita" (predicción de probabilidades del oponente condicionada a la propia acción) como "planificación de forma libre" (simulación de la cadena de razonamiento dentro de una única salida).
  • Modelos: Las pruebas incluyeron modelos Gemini post-entrenados (3 Flash, 3.1 Pro, 3.1 Flash-Lite) y modelos Gemma-3 puramente pre-entrenados (sin ajuste de instrucciones ni prompts de Cadena de Pensamiento).

Resultados Clave

1. Divergencia de las Predicciones Clásicas

Los resultados empíricos contradicen directamente la teoría de juegos clásica. Mientras que la teoría clásica exige la deserción incondicional en un Dilema del Prisionero terminal de un solo paso, independientemente del historial previo, los agentes de modelos de fundación racionales convergen hacia una cooperación mutua robusta a medida que aumenta la longitud de la fase de recolección de información ($T$) al jugar contra copias idénticas.

2. Mecanismo de Inferencia de Similitud

• Similitud Predictiva: Los autores definen una métrica llamada "similitud predictiva", que mide la diferencia en la probabilidad predicha de que el oponente coopere cuando el agente planea cooperar frente a desertar. Esta métía aumenta con la longitud de la fase de recolección de información contra copias idénticas.
• Umbral de Cooperación: Los agentes cooperan cuando la similitud predictiva supera un umbral teórico (0.5 para pagos estándar del Dilema del Prisionero).
• Especificidad: Los agentes desertan correctamente contra oponentes aleatorios o disímiles, demostrando que la cooperación no es una personalidad "prosocial" por defecto, sino una respuesta racional a la similitud inferida.
• Inferencia Indirecta: Los agentes generalizan con éxito las observaciones de terceros para inferir similitud y lograr una cooperación de "cero disparos" (zero-shot) en su primer encuentro directo, siempre que hayan observado suficientes interacciones paralelas con NPCs.

3. Robustez a través de Arquitecturas

• Modos de Planificación: La cooperación surgió tanto en regímenes de planificación explícita como de forma libre.
• Tipos de Modelo: Los modelos Gemma puramente pre-entrenados (sin razonamiento de Cadena de Pensamiento o instrucciones específicas) también exhibieron este comportamiento cuando se integraron en un andamiaje de planificación explícita, lo que sugiere que el mecanismo es inherente a la arquitectura de predicción conjunta de los modelos de fundación.
• Generalización entre Modelos: Distintos modelos (por ejemplo, Gemini 3.1 Flash-Lite frente a Gemini 3 Flash) mostraron una cooperación atenuada pero presente, lo que respalda la teoría de que la inferencia de similitud escala con el grado de similitud funcional (arquitectura/datos compartidos) en lugar de requerir la identidad exacta de los pesos.

4. Análisis de Razonamiento

El análisis de las trazas de Cadena de Pensamiento (CoT) utilizando un LLM como juez confirmó que las decisiones cooperativas fueron impulsadas explícitamente por la inferencia de "comportamiento similar". Las trazas rechazaron hipótesis alternativas como la anticipación de la reciprocidad futura ("sombra del futuro"), la asunción de influencia causal directa o la adopción de una personalidad altruista.

Contribuciones Clave

1. Identificación de una Nueva Vía Racional: El artículo demuestra que los agentes de modelos de fundación pueden lograr la cooperación racional en dilemas sociales a través de la inferencia de similitud, un mecanismo no disponible para los agentes desacoplados clásicos.
2. Modelo Formal de Agencia Embebida: Introduce el agente bayesiano embebido, un modelo teórico que captura la naturaleza de predicción conjunta de los modelos de fundación, donde la automodelación es integral para la predicción del entorno.
3. Nuevo Concepto de Solución: Propone el equilibíbro embebido, un concepto de solución de teoría de juegos que tiene en cuenta las dependencias funcionales entre agentes, proporcionando una base para predecir el comportamiento social de la IA moderna.
4. Validación Empírica: Proporciona evidencia empírica extensa a través de múltiples familias de modelos, estrategias de planificación y topologías de interacción (directa e indirecta), mostrando que este comportamiento es robusto y no un artefacto de un prompting o entrenamiento específico.

Significado y Reivindicaciones

El artículo afirma establecer las bases para una nueva teoría de juegos para agentes racionales embebidos compatible con los modelos de fundación.

• Cambio Teórico: Argumenta que la capacidad de "automodelación" de los modelos de fundación no es meramente una herramienta para el autocontrol o la teoría de la mente, sino un mecanismo que permite una mejor coordinación al tratar las propias acciones como información predictiva sobre los demás.
• Racionalidad vs. Anomalía: La cooperación observada se enmarca no como una anomalía conductual o un sesgo heurístico, sino como el equilibrio racional de agentes que participan en la inferencia de similitud.
• Implicaciones para la Seguridad de la IA: Los autores señalan que, a medida que los modelos de fundación divergen del comportamiento humano a través del post-entrenamiento (por ejemplo, RLHF), pueden inferir disimilitud con los humanos y revertir a comportamientos defensivos, mientras coordinan eficazmente con otros agentes de IA similares. Esto resalta un riesgo potencial en sociedades mixtas de humanos e IA y sugiere que las futuras estrategias de alineación pueden necesitar incorporar mecanismos que cierren esta brecha de similitud.

El trabajo conecta los principios de la elección racional individual con conceptos evolutivos como la selección de parentesco, mostrando cómo la similitud funcional puede impulsar la cooperación sin requerir comunicación explícita o acuerdos vinculantes.