Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition

Este artículo propone un marco novedoso de aprendizaje por refuerzo multiagente en modo offline que aborda los desplazamientos distribucionales y los desafíos de coordinación multimodal en tareas cooperativas mediante el empleo de un método de descomposición secuencial de puntuaciones combinado con modelos generativos basados en difusión para guiar las actualizaciones de la política hacia regiones de alta recompensa y dentro de la distribución, logrando un rendimiento de vanguardia en diversos puntos de referencia.

Lo esencial

Imagina que estás intentando enseñar a un grupo de robots a trabajar juntos para recoger manzanas. Tienes una biblioteca masiva de videos (un conjunto de datos) que muestra cómo diferentes equipos de robots realizaron esta tarea en el pasado. Algunos equipos recogieron la manzana roja juntos, otros recogieron la verde, y algunos simplemente vagaron sin rumbo.

El desafío es que ya no puedes dejar que los robots practiquen en el mundo real; solo puedes enseñarles viendo estos videos antiguos. Esto se llama Aprendizaje por Refuerzo Multiagente Offline.

El Problema: El "Coro Confuso"

En el pasado, cuando los investigadores intentaban enseñar a los robots a partir de estos videos desordenados, cometían un gran error. Trataban a cada robot como si estuviera aprendiendo solo, ignorando cómo se movían los demás.

Imagina un coro donde todos cantan canciones diferentes a partir de la misma partitura. Si le dices al soprano que cante la "Canción A" y al bajo que cante la "Canción B" basándote en sus hábitos individuales, el resultado es un ruido terrible y caótico. En el mundo de los robots, esto lleva a una descoordinación. Los robots podrían intentar recoger dos manzanas diferentes al mismo tiempo, o podrían intentar agarrar una manzana que nadie en el video logró recoger con éxito. Terminan haciendo cosas que parecen "bien" para un robot, pero son desastrosas para el equipo.

El artículo llama a esto el "Cambio de Modo Combinatorio". Es como intentar construir una casa mezclando planos de un castillo, una tienda de campaña y un rascacielos. El resultado no es una casa; es una pila de ladrillos desajustados.

La Solución: OMSD (La "Varita del Director")

Los autores proponen un nuevo método llamado OMSD (Aprendizaje por Refuerzo Multiagente Offline mediante Descomposición Secuencial de Puntuaciones).

Así es como funciona, usando una analogía sencilla:

1. La Estrategia de "Formación en Línea" (Descomposición Secuencial)
En lugar de preguntar a cada robot qué debería hacer basándose en su propia memoria, OMSD les pregunta en un orden específico, como una fila de personas esperando entrar a una habitación.

• Robot A va primero y decide: "Voy a la manzana roja".
• Robot B ve la decisión del Robot A y piensa: "Bien, ya que el Robot A va a la manzana roja, yo también debería ir a la manzana roja para ayudar".
• Robot C ve a ambos y sigue el ejemplo.

Al observar lo que decidieron los anteriores robots, cada robot aprende el contexto del plan del equipo. Esto evita que elijan accidentalmente una manzana diferente o se desvíen.

2. La Magia de la "Difusión" (La Función de Puntuación)
Para que esto funcione, los investigadores utilizan un tipo especial de IA llamada Modelo de Difusión. Piensa en esto como un "eliminador de ruido" o un "clarificador de borrosidad".

• Imagina que los videos antiguos están un poco borrosos y llenos de estática.
• El Modelo de Difusión actúa como un filtro inteligente que sabe exactamente cómo "desruidar" los datos. No solo adivina una acción al azar; calcula una "puntuación" o una "dirección" que apunta hacia las acciones que el equipo realmente realizó en los videos exitosos.
• Le dice al robot: "No vayas por ahí (eso es un error); ve por aquí (allí es donde el equipo tuvo éxito)".

3. El "Entrenador Central" (Critic)
Mientras los robots aprenden sus movimientos específicos en fila, hay un "Entrenador Central" (un crítico centralizado) observando a todo el equipo. Este entrenador conoce la puntuación total que obtiene el equipo. Les dice a los robots: "Oye, esa estrategia de la manzana roja obtiene una puntuación alta, ¡sigan haciéndolo!".

Por Qué Es Mejor

Los métodos anteriores intentaban enseñar a los robots observando sus hábitos individuales de forma aislada. Esto funcionaba bien si todos hacían lo mismo, pero fallaba miserablemente cuando los videos mostraban muchas estrategias exitosas diferentes (datos multimodales).

OMSD corrige esto:

• Respetando la Cadena: Entiende que el movimiento del Robot B depende del movimiento del Robot A.
• Manteniéndose en su Carril: Mantiene a los robots haciendo cosas que realmente ocurrieron en los videos, evitando que intenten movimientos arriesgados e inventados que no existen en los datos.
• Encontrando el Mejor Camino: Ayuda al equipo a encontrar el "modo" o estrategia específica (como la manzana roja frente a la verde) que genera la mayor recompensa, sin confundirse con las otras estrategias en la biblioteca de videos.

Los Resultados

Los autores probaron esto en diversas tareas de robots, desde juegos simples hasta simulaciones físicas complejas (como robots corriendo o cazando presas).

• En pruebas simples: OMSD aprendió a coordinarse perfectamente, mientras que otros métodos no lograron ponerse de acuerdo en un plan.
• En pruebas complejas: OMSD superó consistentemente a los mejores métodos existentes, especialmente cuando los datos de entrenamiento eran desordenados o mostraban muchas formas diferentes de tener éxito.

En resumen, OMSD es como un director inteligente que no solo le dice a cada músico que toque su propia parte, sino que guía a toda la orquesta para que toque en armonía escuchando a la persona anterior y siguiendo el liderazgo del director, asegurando que el rendimiento final sea un éxito en lugar de un desastre.

Resumen técnico

Resumen Técnico: Aprendizaje por Refuerzo Multiagente Offline mediante Descomposición Secuencial de Puntuaciones

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Multiagente (MARL) Offline enfrenta un desafío crítico distinto al del RL offline de agente único: el desplazamiento de distribución causado por la disparidad entre la recopilación de datos en línea y fuera de línea. Mientras que el MARL en línea suele converger hacia una única política conjunta coordinada mediante adaptación interactiva, los conjuntos de datos offline son a menudo mezclas de comportamientos cooperativos diversos recopilados de diversas fuentes. Esto resulta en distribuciones de comportamiento conjunto altamente multimodales.

Los métodos existentes de MARL offline generalmente caen en dos categorías, ambas con dificultades ante esta multimodalidad:

1. Métodos basados en valor: Estos dependen de la Maximización Individual-Global (IGM) y de la estimación conservadora de valores. Sin embargo, cuando los agentes utilizan políticas independientes $\epsilon$-greedy, pueden seleccionar acciones conjuntas fuera de distribución (OOD) que son de baja calidad y no están cubiertas por el conjunto de datos.
2. Métodos basados en políticas: Estos a menudo restringen las políticas mediante regularización de comportamiento o planificadores centralizados. Un error común es asumir que la política de comportamiento conjunta puede factorizarse en marginales independientes ($\mu(a|s) = \prod \mu_i(a_i|s)$). En entornos multimodales, esta factorización independiente conduce a un "Desplazamiento de Modo Combinatorio" (CMS). A medida que los agentes se regularizan hacia sus propias distribuciones marginales, pierden la alineación con los modos conjuntos, dando lugar a políticas conjuntas que se sitúan fuera de las regiones de alta densidad del conjunto de datos. Esta desalineación provoca desplazamientos de distribución severos y una coordinación deficiente.

2. Metodología: OMSD

Los autores proponen MARL Offline con Descomposición Secuencial de Puntuaciones (OMSD) para abordar el problema de la coordinación multimodal sin requerir un modelo completo de política conjunta ni un planificador centralizado.

Concepto Central: Descomposición Secuencial

En lugar de asumir independencia condicional, OMSD factoriza la política de comportamiento conjunta utilizando la regla de la cadena, condicionando el comportamiento de cada agente a las acciones de los agentes precedentes:
$$\mu(a|s) = \prod_{i=1}^n \mu_i(a_i | s, a_{<i})$$
donde $a_{<i}$ representa las acciones conjuntas de todos los agentes que preceden al agente $i$. Este modelado secuencial captura las dependencias interagentes y proporciona una referencia condicional exacta para las restricciones de la política de cada agente.

Flujo de Trabajo Algorítmico

OMSD opera bajo el marco de Entrenamiento Centralizado-Ejecución Descentralizada (CTDE) y consta de tres etapas principales:

1. Preentrenamiento del Crítico: Se aprende una función de valor conjunta centralizada $Q_{tot}(s, a)$ utilizando Aprendizaje por Refuerzo Implícito (IQL) offline para proporcionar orientación de recompensa.
2. Preentrenamiento de Puntuaciones: Para cada agente $i$, se entrena un modelo de difusión condicional sobre el conjunto de datos offline para estimar la función de puntuación condicional $\nabla_{a_i} \log \mu_i(a_i | s, a_{<i})$.
   • Crucialmente, estos modelos se entrenan en paralelo.
   • La función de puntuación aproxima el gradiente del logaritmo de la probabilidad de la política de comportamiento, sirviendo como regularizador de comportamiento.
3. Optimización de la Política: Los agentes actualizan sus políticas utilizando un gradiente que combina la señal del crítico centralizado y la regularización secuencial de puntuaciones:
   $$\nabla_{\theta_i} L_i = \mathbb{E} \left[ \nabla_{a_i} Q_{tot}(s, a) + \frac{1}{\beta} \nabla_{a_i} \log \mu_i(a_i | s, a_{<i}) \right] \nabla_{\theta_i} \pi_{\theta_i}$$
   • Condicionamiento Secuencial: Durante la actualización del agente $i$, las acciones de prefijo $a_{<i}$ se muestrean a partir de las políticas más recientemente actualizadas de los agentes $1$a$i-1$ dentro de la misma iteración.
   • Ejecución: A pesar de la actualización secuencial durante el entrenamiento, la ejecución permanece totalmente descentralizada. Cada agente actúa basándose en su observación local, ya que la dependencia secuencial solo se utiliza para guiar la dirección del aprendizaje (regularización de puntuación) y no para generar acciones en tiempo de ejecución.
   • Eficiencia: El método utiliza políticas DiLac deterministas para las acciones de prefijo para evitar la amplificación del ruido y no requiere muestreo iterativo de eliminación de ruido durante la ejecución, evitando los altos costos de inferencia típicos de los actores basados en difusión.

3. Contribuciones Clave

1. Identificación de la Causa Raíz: El artículo identifica la naturaleza multimodal de las distribuciones de comportamiento conjunto offline y el fracaso de la factorización de marginales independientes (que conduce al Desplazamiento de Modo Combinatorio) como la causa principal del fallo de coordinación en el MARL offline.
2. Algoritmo OMSD: El desarrollo de un marco novedoso que descompone secuencialmente las políticas de comportamiento y utiliza puntuaciones condicionales basadas en difusión como regularizadores de comportamiento. Este enfoque promueve la selección coordinada de modos sin modelar la política conjunta completa ni depender de un planificador centralizado.
3. Rendimiento de Vanguardia: Experimentos extensivos demuestran que OMSD supera consistentemente a los métodos existentes, particularmente en escenarios multimodales desafiantes (por ejemplo, conjuntos de datos de calidad media).

4. Resultados Experimentales

Los autores evaluaron OMSD en:

• Ejemplo de Bandido de Juguete: Una tarea cooperativa de 2 agentes con dos modos óptimos. OMSD logró un rendimiento comparable al aprendizaje de acciones conjuntas (BRPO-JAL) y superó significativamente al aprendizaje independiente (BRPO-IND) y a métodos CTDE ingenuos, que no lograron evitar acciones conjuntas OOD.
• Entorno de Partículas Multiagente (MPE): Tareas que incluyen Navegación Cooperativa, Depredador-Presa y Mundo. OMSD obtuvo las puntuaciones mejores o segundas mejores en conjuntos de datos Experto, Medio y Aleatorio. Cabe destacar que, en conjuntos de datos "Medio" y "Aleatorio" donde la multimodalidad es pronunciada, OMSD mostró ganancias significativas (por ejemplo, +70.6% en Depredador-Presa Aleatorio).
• MaMuJoCo: Tareas de control continuo de alta dimensión que involucran partes de robots actuando como agentes (por ejemplo, HalfCheetah, Ant). OMSD superó a líneas base como MA-CQL, CFCQL, MADiff y DoF, especialmente en conjuntos de datos de calidad mixta (por ejemplo, +73.9% de mejora promedio sobre la línea base más fuerte en conjuntos de datos OMIGA).

Estudios de Ablación:

• Descomposición de Puntuaciones: OMSD superó consistentemente a las variantes que utilizan factorización independiente (BRPO-IND, BRPO-CTDE), confirmando la necesidad del condicionamiento secuencial.
• Sensibilidad al Orden: Se encontró que el método es robusto al orden de las actualizaciones de los agentes, lo que sugiere que la estructura secuencial actúa como un mecanismo de coordinación durante el entrenamiento en lugar de un sesgo inductivo rígido.
• Estimadores de Densidad: Los modelos de difusión superaron a estimadores más simples (GMM, Flujos Normalizadores) en la captura de estructuras multimodales complejas, particularmente en conjuntos de datos de expertos y medios.

5. Significado y Afirmaciones

El artículo afirma que la coordinación consciente de la modalidad es esencial para un MARL offline robusto. Al aprovechar la descomposición secuencial de puntuaciones, OMSD alinea con éxito las actualizaciones de la política con la verdadera distribución de comportamiento conjunta, evitando el desplazamiento de distribución causado por la regularización independiente.

Los autores enfatizan que su enfoque:

• Evita Acciones Conjuntas OOD: Al condicionarse a las acciones de prefijo, los agentes se guían hacia regiones de alto valor y dentro de la distribución.
• Mantiene la Ejecución Descentralizada: A diferencia de los métodos que requieren planificación centralizada o ejecución secuencial en tiempo de ejecución, los agentes de OMSD actúan de forma independiente durante el despliegue.
• Escalabilidad: El preentrenamiento de modelos de puntuación condicional es totalmente paralelizable entre agentes, lo que hace que el método sea adecuado para equipos más grandes.

El trabajo se presenta como un paso significativo hacia adelante en el manejo de la complejidad de los datos multiagente offline, abordando específicamente el "Desplazamiento de Modo Combinatorio" que ha obstaculizado los enfoques basados en políticas anteriores. Los autores reconocen limitaciones, como el enfoque actual en espacios de acción continuos y la dependencia de la calidad del crítico centralizado preentrenado.