R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Multiagente (MARL) ha logrado éxitos en dominios complejos como el control del tráfico y la robótica, a menudo utilizando paradigmas de Entrenamiento Centralizado Ejecución Descentralizada (CTDE) (por ejemplo, QMIX, MAPPO). Sin embargo, los métodos CTDE estándar dependen de parámetros de política compartidos, lo que a menudo obstaculiza el aprendizaje de comportamientos diversos necesarios para una coordinación efectiva.

Los enfoques de MARL basado en roles existentes intentan resolver esto aprendiendo roles emergentes a partir de las observaciones pasadas de los agentes para fomentar comportamientos complementarios. El artículo identifica un defecto crítico en estos métodos:

• La Limitación: Derivar roles únicamente de la experiencia pasada no tiene en cuenta cómo un rol influye en la trayectoria futura de un agente.
• La Consecuencia: Los agentes con observaciones iniciales similares pueden adoptar roles idénticos desde el principio, lo que lleva a comportamientos redundantes (por ejemplo, dos drones volando ambos hacia el mismo incendio) en lugar de una distribución y coordinación efectivas.
• La Idea Clave: El rol de un agente debe dar forma activamente a su comportamiento futuro. Si un agente adopta un rol específico, sus observaciones y acciones futuras deberían divergir naturalmente de las de los agentes en otros roles para garantizar una coordinación efectiva.

2. Metodología: R3DM

Los autores proponen Descubrimiento de Roles y Diversidad a través de Modelos de Dinámica (R3DM), un marco que vincula el rol actual de un agente con su comportamiento futuro esperado utilizando teoría de la información y modelos del mundo.

Objetivo Central

R3DM maximiza la Información Mutua (MI) entre tres variables:

1. El rol del agente en el tiempo $t$ ($m^t_i$).
2. La trayectoria observada hasta el tiempo $t$ ($\tau^t_i$).
3. La trayectoria futura esperada ($\tau^{t+1:t+k}_i$).

La función objetivo se formula como:
$$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$$
Dado que maximizar esto directamente es intratable, los autores derivan una cota inferior tratable descompuesta en dos componentes:

1. Aprendizaje de Incrustaciones de Rol: Aprendizaje de incrustaciones de rol intermedias ($z^t_i$) a partir del historial de observación-acción.
2. Diversidad de Comportamiento Futuro: Maximización de la MI entre estas incrustaciones de rol y la trayectoria futura.

Componentes Clave

A. Aprendizaje de Incrustaciones de Rol Intermedias (Aprendizaje Contrastivo)

• Utiliza un marco de aprendizaje contrastivo (basado en ACORM) para agrupar a los agentes en roles distintos basándose en sus historiales pasados de observación-acción.
• Utiliza un codificador de trayectoria ($\theta_e$) y un codificador de rol ($\theta_r$) para generar incrustaciones.
• Optimiza una pérdida contrastiva para asegurar que los agentes con patrones de comportamiento similares se agrupen, mientras que los patrones distintos se separen.

B. Recompensas Intrínsecas mediante Modelos de Dinámica
Para asegurar que los roles den forma al comportamiento futuro, R3DM introduce dos recompensas intrínsecas derivadas de la cota inferior de MI:

1. Recompensa Intrínseca de Política ($r_{pol}$):

   • Fomenta la diversidad en la selección de acciones basada en el rol.
   • Se calcula como la divergencia Kullback-Leibler (KL) entre la política condicionada al rol y la política promedio (agnóstica al rol).
   • Fórmula: $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$.

2. Recompensa Intrínseca de Dinámica ($r_{dyn}$):

   • Esta es la contribución novedosa. Cuantifica cuánto influye la incrustación del rol en la predicción de observaciones futuras.
   • Emplea dos Modelos de Espacio de Estados Recurrentes (RSSM) (basados en DreamerV3):
     • Modelo Condicionado al Rol ($q_\psi$): Predice observaciones futuras dada la trayectoria y la incrustación del rol.
     • Modelo Agnóstico al Rol ($p_\phi$): Predice observaciones futuras dada solo la trayectoria (sin rol).
   • La recompensa es la diferencia en las verosimilitudes logarítmicas entre los dos modelos. Si el modelo condicionado al rol predice el futuro significativamente mejor que el modelo agnóstico, el agente recibe una recompensa alta, incentivando que el rol sea predictivo del comportamiento futuro.
   • Fórmula: $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$.

C. Objetivo Final de Aprendizaje
La recompensa total para el agente MARL es una combinación de la recompensa de la tarea ($r_t$) y las recompensas intrínsecas:
$$r_{total} = r_t + \alpha r_{int}$$
donde $r_{int} = \beta_3 r_{pol} + r_{dyn}$. Esta recompensa combinada se utiliza para actualizar las redes Q mediante aprendizaje TD estándar.

3. Contribuciones Clave

1. Objetivo Novel de Teoría de la Información: Propone un objetivo que maximiza la MI entre roles, trayectorias pasadas y trayectorias futuras esperadas, desplazando el enfoque de la inferencia de roles basada en el pasado a roles que dan forma al futuro.
2. Recompensas Intrínsecas Impulsadas por Dinámica: Introduce un mecanismo que utiliza modelos del mundo (RSSM) para generar recompensas intrínsecas que imponen comportamientos futuros específicos del rol, equilibrando la exploración con la especialización de roles.
3. Integración con CTDE: Integra exitosamente este marco en métodos MARL basados en roles existentes (específicamente ACORM/QMIX) sin sacrificar la eficiencia de la muestra.
4. Validación Empírica: Demuestra un rendimiento de vanguardia en benchmarks desafiantes.

4. Resultados Experimentales

Los autores evaluaron R3DM en los entornos SMAC (StarCraft Multi-Agent Challenge) y SMACv2.

• Rendimiento: R3DM supera a las líneas base de vanguardia (incluyendo QMIX, ACORM, CIA, GoMARL, CDS y EMC).
  • Logró hasta un 20% de mejora en las tasas de victoria en mapas difíciles (por ejemplo, 3s5z vs 3s6z, Corridor, 6h vs 8z).
  • Mostró una eficiencia de muestra superior y una convergencia más rápida.
• SMACv2: En entornos estocásticos (condiciones iniciales variables), R3DM mantuvo un rendimiento robusto, superando a las líneas base en escenarios asimétricos (por ejemplo, Protoss 10 vs 11).
• Análisis Cualitativo: Las visualizaciones en el mapa 3s5z vs 3s6z mostraron que, mientras que los agentes de ACORM convergían a comportamientos de ataque masivo, los agentes de R3DM aprendieron a dividirse en subequipos especializados (por ejemplo, un agente atrayendo enemigos mientras otros flanquean), demostrando una verdadera diferenciación de roles.
• Estudios de Ablación:
  • Horizonte de Imaginación: Los horizontes cortos ($k=1$ o $2$) funcionaron mejor; los horizontes más largos introdujeron errores de predicción acumulativos.
  • Cardinalidad del Rol: Un número moderado de roles (por ejemplo, 3) equilibró mejor la coordinación y la especialización que una cardinalidad alta.
  • Componentes: Tanto el aprendizaje contrastivo como las recompensas intrínsecas demostraron ser necesarios para un rendimiento óptimo.

5. Significado e Impacto

• Cambio de Paradigma: R3DM mueve el campo del MARL basado en roles de la asignación de roles retrospectiva (basada en lo que sucedió) a la asignación de roles prospectiva (basada en lo que sucederá).
• Mecanismo de Coordinación: Al vincular roles con dinámicas futuras, el método resuelve naturalmente el problema de la "redundancia" donde los agentes con historias similares fallan en coordinarse.
• RL Basado en Modelos en MARL: El artículo cierra exitosamente la brecha entre el MARL libre de modelos y los enfoques basados en modelos (utilizando modelos del mundo para motivación intrínseca), allanando el camino para estrategias de coordinación más sofisticadas en entornos complejos y estocásticos.
• Aplicación Práctica: El enfoque es altamente relevante para sistemas multiagente del mundo real como enjambres de drones, flotas de vehículos autónomos y equipos robóticos donde roles distintos deben asignarse dinámicamente para manejar múltiples objetivos simultáneamente.