Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning

Resumen Técnico: Aprendizaje de Políticas de Difusión Descentralizado para una Exploración Mejorada en el Aprendizaje por Refuerzo Multiagente Cooperativo

Enunciado del Problema
El Aprendizaje por Refuerzo Multiagente Cooperativo (MARL) requiere que los agentes exploren complejos espacios de acciones conjuntas para descubrir patrones de coordinación de alta recompensa. Una clase prominente de algoritmos para este escenario, el Gradiente de Política Softmax Descentralizado (DecSPG), utiliza actualizaciones de políticas basadas en energía que generan naturalmente distribuciones de acción multimodales, facilitando una exploración diversa. Sin embargo, en la práctica, las políticas basadas en energía exactas son intratables de mantener, particularmente en espacios de acción continuos. En consecuencia, los métodos existentes proyectan estas políticas sobre la clase de políticas gaussianas para lograr eficiencia computacional.

Los autores identifican una limitación crítica en este enfoque: las políticas gaussianas son unimodales y carecen de la expresividad necesaria para capturar distribuciones de acción multimodales. Esta restricción obstaculiza severamente la exploración, provocando que los algoritmos converjan prematuramente a equilibrios subóptimos. El artículo argumenta que este modo de fallo es particularmente grave en entornos multiagente, donde el número de patrones de coordinación viables crece con la cantidad de agentes, y el costo de pasar por alto estos patrones se compone exponencialmente.

Metodología
Para abordar el cuello de botella de la expresividad, el artículo propone Aprendizaje de Políticas de Difusión Descentralizado (DDPL). Este marco parametriza la política descentralizada de cada agente utilizando un Modelo Probabilístico de Difusión de Eliminación de Ruido (DDPM). Los DDPMs sirven como modelos generativos expresivos capaces de representar distribuciones complejas y multimodales, manteniéndose eficientes para entrenar y muestrear.

Un desafío central al desplegar políticas de difusión en el entorno de MARL en línea es la falta de algoritmos de entrenamiento eficientes. Los métodos estándar de ajuste de puntuación (score matching) generalmente requieren muestras de la distribución objetivo, las cuales no están disponibles durante el entrenamiento en línea antes de la actualización de la política. Para superar esto, los autores introducen Ajuste de Puntuación por Muestreo de Importancia (ISSM).

• Mecanismo ISSM: En lugar de requerir muestras de la distribución basada en energía objetivo $\pi^{\star,k}_i$, el ISSM extrae muestras de una distribución fácil de muestrear (específicamente, la política anterior $\pi^{k-1}_i$). Luego minimiza una pérdida de ajuste de puntuación reponderada, donde los pesos están determinados por la relación de muestreo de importancia entre las distribuciones objetivo y de muestreo.
• Garantía Teórica: El artículo deriva una garantía teórica para el ISSM, mostrando que la política aprendida converge a la distribución objetivo con una complejidad de muestra que depende de la divergencia de Rényi de cuarto orden entre las distribuciones objetivo y de muestreo. A medida que avanzan las actualizaciones de la política y la política actual se acerca a la objetivo, el tamaño de muestra requerido para actualizaciones precisas disminuye.
• Algoritmo: El algoritmo completo de DDPL (Algoritmo 2) integra estos componentes en un marco descentralizado. Los agentes mantienen redes Q locales y políticas de difusión. En cada época, los agentes estiman la función Q promediada y actualizan sus políticas de difusión mediante un solo paso de gradiente sobre la pérdida ISSM, utilizando la política anterior como distribución de muestreo.

Contribuciones Clave

1. Identificación de un Modo de Fallo: Los autores demuestran formalmente que proyectar políticas basadas en energía sobre clases gaussianas crea un modo de fallo específico en el MARL cooperativo. A través de un MDP de un solo agente construido y un juego de intereses idénticos multiagente, prueban que las aproximaciones gaussianas pueden hacer que la probabilidad de éxito de encontrar equilibrios óptimos decaiga exponencialmente con el número de agentes (específicamente acotada por $0.45^n$).
2. Marco DDPL: Proponen DDPL, un algoritmo basado en DecSPG que utiliza DDPMs para parametrizar políticas descentralizadas, permitiendo la representación de distribuciones de acción multimodales esenciales para una exploración efectiva.
3. Entrenamiento en Línea mediante ISSM: El artículo desarrolla un objetivo novedoso de Ajuste de Puntuación por Muestreo de Importancia que permite el entrenamiento en línea eficiente de políticas de difusión sin requerir muestras de la distribución objetivo. Este método cuenta con garantías teóricas de complejidad de muestra y cotas de brecha de Equilibrio de Nash (NE).
4. Validación Empírica: El método se evalúa en puntos de referencia representativos de MARL de acción continua, incluyendo Multi-Agent Particle Environment (MPE), Multi-Agent MuJoCo (MaMuJoCo), IsaacLab y un desafío Multi-Agente de StarCraft reimplementado en JAX (SMAX).

Resultados
Los resultados experimentales indican que DDPL supera consistentemente a las líneas base más avanzadas (HAPPO, MAPPO y HASAC) en 8 tareas de acción continua.

• Rendimiento: DDPL logró el retorno medio más alto en 7 de 8 tareas. Mejoras notables incluyen un aumento del 25.78% en la tarea ShadowHandOver de IsaacLab, un aumento del 132.56% en la tarea StarCraft 3s_vs_5z y un aumento del 155.84% en la tarea 6h_vs_8z en comparación con la mejor línea base.
• Dinámicas de Exploración: El análisis de las curvas de aprendizaje sugiere que las ganancias de DDPL provienen de una exploración suficiente. En tareas como 3s_vs_5z, DDPL inicialmente se queda atrás de las líneas base debido a una exploración más amplia, pero converge rápidamente a retornos cercanos a lo óptimo, mientras que las líneas base basadas en Gaussianas quedan atrapadas en equilibrios subóptimos.
• Ablación: Las comparaciones entre DDPL con políticas de difusión y una variante que utiliza políticas gaussianas confirman que la naturaleza multimodal de las políticas de difusión es crítica. La variante gaussiana converge temprano a un equilibrio subóptimo (retorno $\approx 0.65$), mientras que la variante de difusión descubre modos de mayor recompensa y converge a un equilibrio superior (retorno $\approx 2.0$).
• Eficiencia: Se reporta que la sobrecarga de entrenamiento de DDPL es un 39% menor que la de DACER y un 81% más rápida que la de QVPO, atribuido a la eficiencia del método de entrenamiento en línea ISSM. El tiempo de inferencia se mantiene moderado (por debajo de 1 ms).

Significado y Afirmaciones
El artículo afirma que la expresividad limitada de las parametrizaciones de políticas estándar (específicamente gaussianas) es un obstáculo principal para una exploración efectiva en el MARL cooperativo. Al aprovechar los modelos de difusión, los autores demuestran que es posible mantener los beneficios teóricos de las actualizaciones de políticas basadas en energía (multimodalidad y convergencia a equilibrios de Nash) mientras se asegura la tratabilidad para el entrenamiento en línea.

El trabajo destaca que en entornos multiagente, el costo de una exploración insuficiente se compone con el número de agentes. DDPL ofrece una solución que escala mejor en términos de capacidad de exploración, permitiendo a los agentes descubrir patrones de coordinación que las políticas unimodales pasan por alto. Los autores posicionan a DDPL como un paso significativo hacia la habilitación de un aprendizaje cooperativo más robusto y efectivo en entornos complejos de acción continua.

Limitaciones
Los autores reconocen que DDPL actualmente parametriza políticas totalmente descentralizadas y no explota configuraciones de MARL en red donde se fomenta la comunicación de bajo costo entre agentes vecinos. Además, el marco se centra actualmente en configuraciones de intereses idénticos, dejando configuraciones de suma general o competitivas para trabajos futuros.