Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

Resumen Técnico: Soñando con Otros – Modelado de Compañeros Latentes en Modelos de Mundo para el Aprendizaje por Refuerzo Multiagente

Planteamiento del Problema
En el aprendizaje por refuerzo multiagente (MARL) cooperativo, los agentes deben coordinarse con compañeros cuyas políticas e intenciones internas no son directamente observables. Aunque los modelos de mundo, particularmente la familia Dreamer, han demostrado una fuerte generalización y eficiencia de muestreo en entornos de un solo agente al aprender dinámicas latentes compactas, su aplicación al MARL es actualmente limitada. El desafío central es que el comportamiento de los compañeros introduce una estructura de observabilidad parcial y no estacionaria que suele comprimirse en el modelo como ruido indiferenciado. Esto impide que los agentes anticipen eficazmente la variabilidad de sus compañeros o se adapten a colaboradores no vistos sin tener acceso a sus observaciones internas o políticas. Además, los enfoques estándar de MARL cooperativo suelen depender de simplificaciones como el entrenamiento centralizado con información privilegiada o canales de comunicación explícitos, los cuales no están disponibles en escenarios realistas de colaboración humano-IA.

Metodología
El artículo propone un "Modelo de Mundo Condicionado por el Compañero" que redefine a los compañeros no como ruido exógeno, sino como componentes estructurados y aprendibles dentro del modelo de mundo del agente. La metodología se basa en un Modelo de Espacio de Estados Recurrente (RSSM) de estilo Dreamer con las siguientes innovaciones arquitectónicas y de objetivos:

• Estado Latente Factorizado: El estado latente estocástico $z_t$ se factoriza en dos componentes distintos: $z_t = [z^{env}_t, z^{team}_t]$.
  • $z^{env}_t$ captura las dinámicas deterministas y estocásticas del entorno físico.
  • $z^{team}_t$ codifica el comportamiento inferido, el carácter y la intención del compañero.
• Arquitectura:
  • Codificador (Encoder): Consume la observación del agente controlado $x_t$ y la acción $a^0_t$ para producir un estado oculto determinista $h_t$.
  • Decodificadores (Decoders): Dos decodificadores operan sobre los latentes factorizados. Un decodificador de observación reconstruye el estado del entorno $\hat{x}_t$ a partir de $z^{env}_t$. Un "decodificador de política de compañero" dedicado mapea $z^{team}_t$ a una distribución predictiva $\hat{\pi}^j_t(\cdot)$ sobre la siguiente acción del compañero.
  • Condicionamiento Actor-Crítico: Durante la fase de imaginación, el estado oculto y los latentes del compañero muestreados condicionan las cabezales de actor y crítico, permitiendo al agente planificar políticas que tengan en cuenta diversas conductas de los compañeros.
• Objetivo de Teoría de la Mente (ToM): Se introduce una función de pérdida dedicada, $\mathcal{L}_{ToM}$, que supervisa la inferencia del comportamiento del compañero. Este objetivo minimiza una entropía cruzada calibrada entre la distribución de acciones empíricas del compañero y la predicción del modelo, aumentada por un término de regularización de Kullback-Leibler para asegurar la consistencia temporal del latente del compañero inferido:
  $$\mathcal{L}_{ToM} = \mathbb{E}_t \left[ -\sum_a \pi^j_t(a) \log \hat{\pi}^j_t(a) \right] + \alpha \text{KL}\left( q(z^{team}_t | h_t) \parallel p(z^{team}_t | h_{t-1}, a_{t-1}) \right)$$
  Esta se añade a los objetivos estándar de entrenamiento de Dreamer con un hiperparámetro de ponderación $\lambda_{ToM}$.

Contribuciones Clave

1. Marco Conceptual: El artículo propone una nueva perspectiva para el MARL donde los modelos de mundo sirven como simuladores de comportamiento social, no solo de la dinámica ambiental. Aboga por modelar a los compañeros como procesos latentes estructurados para reducir la no estacionariedad aparente.
2. Arquitectura Novedosa: Introduce una arquitectura RSSM específica que separa explícitamente los latentes ambientales y de los compañeros, junto con una cabezal de ToM para inferir la intención del compañero a partir de trayectorias parciales.
3. Protocolo de Entrenamiento: El trabajo describe un procedimiento de entrenamiento que permite la coordinación zero-shot y few-shot sin requerir imaginación compartida, políticas centralizadas o canales de comunicación explícitos entre agentes.
4. Propuesta de Evaluación: Los autores proponen un protocolo de evaluación riguroso utilizando entornos de partículas multiagente, Overcooked-AI y Melting Pot para evaluar la generalización, la eficiencia de muestreo y la robustez a través de diversas poblaciones de compañeros y contextos sociales.

Resultados
El artículo establece explícitamente que es una propuesta destinada a catalizar la discusión y no reporta resultados empíricos. Por consiguiente, no se presentan hallazgos experimentales, métricas de rendimiento ni comparativas de referencia en este trabajo. La contribución es puramente arquitectónica y teórica, delineando cómo funcionaría tal sistema y cómo debería ser evaluado.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un paso hacia una "IA compatible con humanos" donde los compañeros son parcialmente observables y heterogéneos. Los autores afirman que, al tratar a los compañeros como procesos latentes estructurados en lugar de ruido, el enfoque ofrece un camino para:

• Reducción de la No Estacionariedad: Separar las dinámicas sociales de las físicas puede estabilizar el aprendizaje en entornos cooperativos.
• Mejora de la Coordinación: Permitir que los agentes imaginen y se adapten a colaboradores no vistos (zero-shot) y mejoren rápidamente con interacciones limitadas (few-shot).
• Interpretabilidad: Proporcionar representaciones latentes que codifican explícitamente el carácter y la intención del compañero.

La significancia última, según el marco de los autores, es el potencial de los modelos de mundo para evolucionar de herramientas que "sueñan con los mundos que habitan" a herramientas que "sueñan con las mentes que los comparten", facilitando una colaboración humano-IA más robusta y adaptable.