Recursive Joint Simulation in Games

Resumen Técnico: Simulación Conjunta Recursiva en Juegos

Planteamiento del Problema
El artículo aborda una diferencia fundamental entre las interacciones estratégicas que involucran agentes de Inteligencia Artificial (IA) y las interacciones tradicionales entre humanos: la posibilidad de que los agentes de IA sean simulados con precisión. Debido a que el código fuente de un agente de IA puede ser conocido o su comportamiento predecible, un agente puede enfrentar una "incertidumbre de autolocalización": no puede distinguir si está actuando en el mundo real o dentro de una simulación de ese mundo. Los autores investigan si esta incertidumbre puede aprovecharse para lograr resultados cooperativos en entornos estratégicos (como el Dilema del Prisionero) donde la teoría de juegos estándar predice la deserción mutua. Específicamente, el artículo explora un mecanismo mediante el cual los agentes participan en una "simulación conjunta recursiva", observando simulaciones anidadas de su interacción antes de elegir una acción, con el objetivo de determinar si esta configuración altera los resultados del equilibrio.

Metodología
Los autores formalizan un entorno llamado Simulación Conjunta Recursiva (RJS, por sus siglas en inglés). En este marco:

1. Observación Conjunta: Dos o más agentes observan conjuntamente una simulación del juego que están a punto de jugar.
2. Recursión: La simulación misma contiene una estructura recursiva. Antes de que los agentes simulados elijan sus acciones, el dispositivo intenta ejecutar una subsimulación de toda la configuración. Este proceso se repite, creando una cadena de simulaciones anidadas.
3. Condición de Terminación: Para evitar la recursión infinita, el dispositivo de simulación tiene una probabilidad fija $p$ de continuar hacia una subsimulación y una probabilidad $1-p$ de terminar (negarse a simular). Si el dispositivo se niega, los agentes en esa instancia específica deben actuar de inmediato.
4. Estructura de Pagos: Crucialmente, los pagos se determinan únicamente por las acciones tomadas en la interacción de "nivel superior" (real). Los agentes simulados no reciben utilidad de los resultados simulados; solo les importa el impacto de sus acciones simuladas en el resultado del mundo real.
5. Indistinguibilidad: El modelo asume que los agentes simulados no pueden distinguir su entorno de la realidad. En consecuencia, un agente que actúa en una simulación razona como si pudiera estar en el mundo real, y viceversa.

Los autores analizan este entorno utilizando representaciones de juegos de forma extensiva y lo comparan con juegos repetidos infinitamente con descuento exponencial. También examinan la "perspectiva interna", analizando cómo un agente forma creencias de autolocalización (respecto a su profundidad en la jerarquía de la simulación) y si estas creencias se alinean con las probabilidades encontradas en los juegos repetidos.

Contribuciones Clave y Resultados

1. Equivalencia Estratégica con Juegos Repetidos (Teorema 1):
   El resultado técnico central es que un juego de Simulación Conjunta Recursiva $RJS(G, p)$ es estratégicamente equivalente a una versión repetida infinitamente del juego base $G$ con una probabilidad de continuación $p$ (denotado como $Rep_{T=?}(G, p)$ o $Rep_{\omega}(G, p)$).

   • La simulación "más profunda" en la cadena RJS corresponde a la primera ronda del juego repetido.
   • La acción de "nivel superior" (real) corresponde a la ronda final del juego repetido.
   • Debido a que los agentes observan los resultados de todas las subsimulaciones antes de actuar, la estructura de información refleja la de un juego repetido donde los jugadores observan rondas pasadas.

2. Teorema del Folk para RJS (Corolario 4):
   Aprovechando la equivalencia con los juegos repetidos, los autores establecen un Teorema del Folk para la simulación conjunta recursiva. Para cualquier juego en forma normal, cualquier vector de pagos factible e individualmente racional puede sostenerse como un equilibrio de Nash en el entorno RJS, siempre que la probabilidad de simulación $p$ sea suficientemente alta. Esto implica que la cooperación mutua en un Dilema del Prisionero es un resultado de equilibrio, alcanzable mediante estrategias como la "estrategia de la pistola de gatillo" (grim trigger: cooperar a menos que una subsimulación revele una deserción).

3. Robustez de la Equivalencia (La Perspectiva "Interna"):
   El artículo demuestra que la equivalencia se mantiene incluso cuando se analiza el juego desde la perspectiva interna de un agente (razonamiento de se).

   • Los autores abordan el problema de la distracción o falta de atención (absentmindedness - enfrentarse al mismo conjunto de información múltiples veces en un solo camino), un problema común en escenarios de creencias de autolocalización como el problema de la Bella Durmiente.
   • Demuestran que en RJS, la distracción no ocurre en los puntos de decisión reales porque los agentes conocen la profundidad de la simulación una vez que se les pide actuar.
   • Utilizando métodos "regulares" para asignar creencias de autolocalización, prueban que la probabilidad subjetiva de un agente de estar en una profundidad específica en la simulación coincide con la distribución de probabilidad de las rondas en un juego repetido. Así, el razonamiento interno del agente conduce a las mismas conclusiones estratégicas que el análisis externo.

4. Generalización:
   Los autores señalan que la equivalencia se extiende a entornos con probabilidades de simulación variables en el tiempo (Apéndice B), vinculando RJS con juegos repetidos de forma finita con longitudes inciertas.

Significancia y Reivindicaciones
El artículo sostiene que la simulación conjunta recursiva proporciona un mecanismo riguroso para establecer la cooperación entre agentes de IA sin depender de conceptos de la teoría de la decisión controvertidos como la superracionalidad o el acceso directo al código fuente para la comparación sintáctica (como en los equilibrios de programa).

• Mecanismo Cooperativo: El mecanismo se basa en el hecho de que la acción de un agente en una simulación puede influir en la acción del oponente en el mundo real (porque el oponente observa la simulación). Si un agente deserta en una simulación, el oponente (que observa esto) puede desertar en el mundo real. Por lo tanto, los agentes tienen el incentivo de cooperar en las simulaciones para asegurar la cooperación en la realidad.
• Practicidad vs. Teoría: Los autores son modestos sobre la aplicabilidad inmediata. Reconocen que, si bien el marco teórico permite una amplia gama de resultados (incluyendo otros peores que el base), en la práctica, los agentes probablemente solo adoptarían RJS si este ofrece una mejora de Pareto sobre el equilibrio de Nash por defecto del juego base.
• Limitaciones: El artículo discute explícitamente dos posibles objeciones:
  1. Principio: Si la conciencia puede ser simulada. Los autores argumentan que esto es menos relevante para los agentes de IA, que están instanciados en computadoras y pueden ser simulados sin pérdida de identidad funcional.
  2. Práctica: Si las simulaciones pueden hacerse indistinguibles de la realidad en entornos complejos (por ejemplo, interactuando con sistemas bancarios reales). Los autores reconocen que este es un obstáculo práctico significativo, pero argumentan que es soluble en entornos controlados (por ejemplo, implementaciones de terceros de confianza).

En conclusión, el artículo establece que la capacidad única de los agentes de IA para simularse entre sí altera fundamentalmente el panorama de la teoría de juegos, transformando las interacciones de un solo turno en juegos efectivamente repetidos donde la cooperación puede sostenerse como un equilibrio racional.