Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

Aquí se presenta un resumen técnico detallado del artículo "Coordinación Zero-Shot para Tareas de Recompensa Escasa con Moldeamientos de Recompensa Diversos".

1. Definición del Problema

El artículo aborda una limitación crítica en el Aprendizaje por Refuerzo Multiagente (MARL) conocida como Coordinación Zero-Shot (ZSC).

• El Problema Central: Los agentes MARL tradicionales, entrenados mediante Auto-Juego (Self-Play), a menudo desarrollan convenciones o estrategias específicas que fallan cuando se emparejan con agentes entrenados bajo los mismos objetivos pero con diferentes semillas aleatorias, algoritmos o historiales de entrenamiento.
• La Brecha: Las soluciones ZSC existentes (por ejemplo, Other-Play, TrajeDi, MAZE) asumen que todos los agentes comparten una función de recompensa idéntica. Sin embargo, en escenarios del mundo real (por ejemplo, vehículos autónomos de diferentes fabricantes), los agentes pueden compartir un objetivo escaso (por ejemplo, "llegar al destino") pero utilizar moldeamientos de recompensa diferentes (diferentes pesos asignados a características del entorno para densificar la recompensa escasa).
• El Desafío: ¿Cómo entrenar a un agente para que coopere eficazmente con socios desconocidos que tienen los mismos objetivos escasos pero diferentes estructuras de recompensa internas, sin un entrenamiento adicional sobre el socio específico?

2. Metodología

Los autores proponen un marco que entrena un conjunto (ensemble) de agentes utilizando moldeamientos de recompensa diversos para mejorar la generalización.

A. Formulación del Moldeamiento de Recompensa

Los autores definen el moldeamiento de recompensa como una combinación ponderada de características del entorno añadidas a una recompensa base escasa:
$$R(s_t, a_t) = \text{escasa}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$$
Donde $w_k$ son pesos seleccionados para características específicas $f_k$ (por ejemplo, distancia a una olla, recoger un plato).

B. Cuatro Algoritmos de Selección

Para generar una población de moldeamientos de recompensa diversos ($P$), el artículo introduce cuatro métodos de selección:

1. Basado en LLM: Utiliza un LLM (Claude Sonnet 4.5) con indicaciones (prompts) que incluyen ejemplos de moldeamientos de recompensa y su rendimiento para generar nuevos conjuntos diversos de pesos que equilibren el rendimiento y la diversidad de la política.
2. Red Sustituta: Entrena una Red de Perceptrón Multicapa (MLP) para predecir la recompensa escasa total basándose en un moldeamiento de recompensa dado. Luego, muestrea 1.000 moldeamientos aleatorios y selecciona los de mejor rendimiento según las predicciones de la red sustituta.
3. Grid Estratificado: Utiliza Muestreo Hipercúbico Latino para asegurar que los pesos seleccionados cubran uniformemente todo el rango posible (0–10). Esto garantiza la representatividad estadística del espacio de recompensas.
4. Aleatorio: Muestrea pesos uniformemente desde el rango posible sin restricciones.

C. Marco de Entrenamiento de Conjunto (Ensemble)

Construyendo sobre el algoritmo TrajeDi (Diversidad de Trayectorias):

1. Generación de Población: Para cada moldeamiento de recompensa seleccionado, se entrena una población de agentes utilizando TrajeDi, que incluye un término de Divergencia de Jensen-Shannon para fomentar la diversidad de políticas dentro de la población.
2. Construcción del Conjunto: El agente final es un modelo conjunto compuesto por los agentes de "Mejor Respuesta" (BR) de cada una de las $P$ poblaciones entrenadas.
3. Selección de Acción: El conjunto selecciona la acción que es la moda (elección más frecuente) entre todos los agentes BR en el conjunto.

3. Contribuciones Clave

1. Formulación Novel del Problema: Extiende la ZSC a escenarios donde los socios tienen objetivos escasos idénticos pero moldeamientos de recompensa diferentes, una restricción más realista que la asumida por la literatura anterior.
2. Cuatro Métodos de Selección: Introduce y evalúa cuatro algoritmos distintos (LLM, Red Sustituta, Grid Estratificado, Aleatorio) para generar moldeamientos de recompensa diversos.
3. Marco de Conjunto: Propone un método para combinar modelos entrenados en diferentes moldeamientos de recompensa en una única política robusta.
4. Validación Empírica: Demuestra que la diversidad en los moldeamientos de recompensa, no solo la diversidad de políticas, es crucial para la generalización en ZSC.

4. Resultados Experimentales

Los experimentos se realizaron en el entorno Overcooked (específicamente Random0_Medium, Random3 y Unident_S) contra socios entrenados con moldeamientos de recompensa desconocidos utilizando MAPPO estándar.

• Ganancias de Rendimiento:

  • Los métodos propuestos superaron significativamente a los algoritmos base de ZSC (incluyendo TrajeDi estándar y Auto-Juego de Utilidad Oculta).
  • Rango de Mejora: Las mejoras en recompensa escasa oscilaron entre 62.2% y 119.2% sobre los algoritmos base.
  • Mejores Desempeños: Grid Estratificado y Red Sustituta lograron consistentemente los mejores resultados.
    • Grid Estratificado: Logró la mayor generalización, probablemente debido a su cobertura uniforme del espacio de recompensas.
    • Red Sustituta: Rindió excepcionalmente bien a pesar de una menor diversidad, lo que sugiere que seleccionar moldeamientos de alto rendimiento es más crítico que la aleatoriedad pura.
  • Efecto del Conjunto: El enfoque de conjunto en sí mismo proporcionó una mejora del 40–70% sobre las bases sin conjunto.
  • Basado en LLM: Mostró un rendimiento sólido pero fue ligeramente menos consistente que Grid Estratificado.
  • Aleatorio: Superó a las bases (+27% a +51%) pero fue el más débil de los métodos propuestos, destacando que la diversidad no guiada es insuficiente.

• Diversidad vs. Rendimiento:

  • Grid Estratificado tuvo la mayor cobertura de rango (96.7%) y una alta desviación estándar.
  • Red Sustituta tuvo la menor desviación estándar y cobertura de rango, pero logró el rendimiento más alto en algunos entornos. Esto indica que la calidad del moldeamiento de recompensa (encontrar pesos de alto rendimiento) puede a veces superar a la diversidad estadística pura.

5. Significado y Conclusión

• Realismo: El artículo cierra la brecha entre la ZSC teórica y la implementación en el mundo real, reconociendo que los agentes de diferentes fuentes probablemente optimizarán el mismo objetivo de manera diferente.
• Robustez: El enfoque de conjunto crea agentes que son resilientes al problema de "desajuste de convenciones", capaces de cooperar inmediatamente con socios desconocidos.
• Direcciones Futuras: Los autores sugieren que el trabajo futuro debería centrarse en hibridar métodos (por ejemplo, utilizando el enfoque de rendimiento de la Red Sustituta con las restricciones de diversidad de Grid Estratificado) y expandirse a entornos más complejos.

En resumen, el artículo demuestra que entrenar agentes en un conjunto diverso de moldeamientos de recompensa y combinarlos mediante un conjunto (ensemble) es una estrategia altamente efectiva para lograr una Coordinación Zero-Shot robusta en entornos de recompensa escasa.