Resumen Técnico: ARMS – Moldeado Automático de Recompensas para Aprendizaje por Refuerzo Multiagente con Recompensas Escasas

1. Declaración del Problema

El Aprendizaje por Refuerzo Multiagente (MARL) enfrenta un cuello de botella crítico al tratar con recompensas escasas. En entornos con recompensas escasas, los agentes reciben retroalimentación con poca frecuencia, lo que ralentiza sustancialmente el aprendizaje. Este problema se ve exacerbado en MARL en comparación con el Aprendizaje por Refuerzo de Agente Único (SARL) debido a la no estacionariedad y la coadaptación: a medida que los agentes actualizan simultáneamente sus políticas, el entorno parece no estacionario desde la perspectiva de cualquier agente individual.

Aunque el moldeado de recompensas (aumentar o reemplazar señales escasas con otras densas) es una solución común, es particularmente riesgosa en MARL. En SARL, un moldeado inadecuado puede alterar el conjunto de políticas óptimas. En MARL, el riesgo es más grave: el moldeado puede alterar el conjunto de equilibrios de Nash, cambiando fundamentalmente la estructura estratégica del juego y conduciendo a comportamientos colectivos subóptimos o no deseados. Los métodos existentes de moldeado automático de recompensas, como el Moldeado de Recompensas en Línea Auto-supervisado (SORS), dependen de garantías de clasificación global de trayectorias que no se transfieren directamente a MARL debido a la falta de una noción de optimalidad global y a la interdependencia de las políticas de los agentes.

2. Metodología: Marco ARMS

Los autores proponen ARMS (Moldeado Automático de Recompensas en Sistemas Multiagente), un marco auto-supervisado diseñado para aprender señales de moldeado densas a partir de recompensas ambientales escasas, preservando la estructura de equilibrio teórico de juegos.

Fundamento Teórico: Invarianza de la Mejor Respuesta Condicional

La contribución teórica central es una reformulación de la invarianza de políticas para entornos multiagente.

• Limitación de Agente Único: Las garantías estándar de clasificación de trayectorias (por ejemplo, de SORS) asumen que si dos funciones de recompensa inducen el mismo orden total sobre todos los pares de trayectorias, generan las mismas políticas óptimas. Esto depende de una noción global de optimalidad ausente en MARL.
• Formulación de ARMS: Los autores demuestran que, si las políticas de todos los demás agentes están fijas, un agente individual enfrenta un entorno de agente único inducido. Bajo esta visión de mejor respuesta condicional, si una función de recompensa de moldeado es equivalente en orden total a la recompensa original sobre las trayectorias de este entorno inducido, preserva el conjunto de mejores respuestas del agente.
• Preservación del Equilibrio: Por extensión, si esta condición se cumple para todos los agentes, el conjunto de equilibrios de Nash permanece invariante. Esto proporciona una justificación teórica de juegos para el uso de la clasificación de trayectorias en MARL sin alterar la solución estratégica subyacente.

Implementación Algorítmica

ARMS opera en un bucle alterno entre dos fases (Algoritmo 1):

1. Fase de Aprendizaje por Refuerzo: Los agentes interactúan con el entorno utilizando sus recompensas moldeadas actuales ($R_{\theta}$) y un algoritmo base de MARL (por ejemplo, IPPO o MAPPO). Recopilan trayectorias conjuntas, que se almacenan en un búfer.
2. Fase de Moldeado de Recompensas: El sistema muestrea pares de segmentos de trayectoria desde el búfer. Para cada agente, una red de recompensa parametrizada ($F_\theta$) se actualiza para minimizar una pérdida de clasificación binaria. Esta pérdida impone que el orden de preferencia de la recompensa moldeada sobre los pares de trayectorias coincida con el orden de preferencia inducido por la recompensa ambiental original escasa.
   • Parámetros Compartidos: Para mejorar la eficiencia y la escalabilidad, todos los agentes comparten los mismos parámetros de moldeado de recompensas ($\theta$). La red se entrena sobre ordenamientos de trayectorias por agente, agregando señales a través de todos los agentes.
   • Entrada: La red de recompensa toma observaciones y acciones locales como entrada, modelando un flujo de información descentralizado.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Formulación de Invarianza de Políticas Multiagente: Los autores establecen que las recompensas de moldeado equivalentes en orden total preservan el conjunto de mejores respuestas de cada agente bajo políticas oponentes fijas, preservando así el conjunto de equilibrios de Nash. Esto aborda la brecha teórica que impedía la aplicación directa de métodos de clasificación de trayectorias de agente único a MARL.
2. El Marco ARMS: Un método práctico, auto-supervisado y en línea de aprendizaje de recompensas que aprovecha la clasificación de trayectorias mientras tiene en cuenta la no estacionariedad multiagente. Aprende una señal de moldeado compartida que es agnóstica al núcleo subyacente de RL.
3. Análisis Empírico de Dinámicas MARL: El estudio identifica un modo de fallo específico de MARL donde la exploración limitada, acoplada con dinámicas de política-recompensa, induce comportamiento oscilatorio y convergencia a patrones cíclicos subóptimos. Los autores demuestran que aumentar la exploración mitiga este efecto.

4. Resultados Experimentales

Los experimentos se realizaron en un dominio de búsqueda de caminos multiagente parcialmente observable (Búsqueda de Caminos de Por Vida) utilizando el entorno POGEMA. Los autores evaluaron ARMS frente a una línea base sin moldeado y al Moldeado de Recompensas Basado en Potenciales (PBRS) utilizando los núcleos IPPO y MAPPO.

• Eficiencia de Muestreo: ARMS superó significativamente a las líneas base en términos de recompensa original acumulada, particularmente a medida que aumentaba el número de agentes (8, 16, 32) y a medida que las recompensas se volvían más escasas (retrasos de 10, 20, 30 pasos de tiempo).
• Generalización: Las políticas entrenadas con ARMS se generalizaron eficazmente a 50 mapas no vistos (incluyendo entornos aleatorios y tipo laberinto), acumulando recompensas más altas y mostrando mejor coordinación que las líneas base.
• Coordinación y Colisiones: ARMS resultó en significativamente menos colisiones normalizadas en comparación con PBRS y sin moldeado, lo que indica que la señal aprendida promueve un comportamiento coordinado en lugar de solo la maximización de recompensas.
• Sensibilidad a la Exploración: Un hallazgo crítico fue que ARMS podría fallar en converger a políticas óptimas si la exploración era demasiado baja (por ejemplo, coeficiente de exploración $\alpha = 0.023$), lo que llevaba a los agentes a "hackear" la recompensa mediante comportamientos oscilatorios. Aumentar el coeficiente de exploración (por ejemplo, $\alpha = 0.35$) estabilizó el aprendizaje y restauró un alto rendimiento.

5. Significado y Afirmaciones

El artículo afirma que ARMS es el primer marco de moldeado automático de recompensas para MARL cuyo diseño está explícitamente motivado por un resultado de preservación de equilibrio teórico de juegos.

A diferencia de métodos anteriores que corren el riesgo de alterar la estructura estratégica de problemas multiagente, ARMS proporciona una garantía teórica de que el conjunto de equilibrios de Nash se preserva bajo condiciones específicas. Los autores enfatizan que, aunque la clasificación de trayectorias es efectiva en SARL, requiere una formulación fundamentalmente diferente en MARL para manejar la no estacionariedad y la falta de optimalidad global. El marco demuestra que se pueden aprender señales de recompensa automáticas y densas para acelerar MARL en entornos escasos sin comprometer la integridad del espacio de soluciones del juego, siempre que se mantenga una exploración suficiente para evitar bucles de retroalimentación subóptimos.