Resumen Técnico: Atribución de Retroalimentación y Geometría de Representación en MARL

Planteamiento del Problema

En el aprendizaje por refuerzo multiagente (MARL) cooperativo, los profesionales suelen reemplazar las señales de contribución por agente con una única recompensa promediada del equipo. Si bien esto alinea a los agentes con un objetivo conjunto, crea un problema de atribución de retroalimentación donde cada agente recibe la misma retroalimentación independientemente de la contribución específica de su acción al resultado.

La cuestión central abordada por este trabajo es si esta elección de atribución de recompensa (individual vs. compartida) deja una firma mensurable en las representaciones aprendidas (geometría) o en el comportamiento de los agentes competentes. Una hipótesis motivadora, derivada de fallos de MARL a gran escala en entornos como Neural MMO, sugiere que la retroalimentación compartida podría comprimir los codificadores compartidos por debajo de la dimensionalidad requerida para la diferenciación de roles, lo que conduce a estrategias homogéneas. Sin embargo, los autores postulan que la información de rol observada en el estado de entrada puede confundir los análisis geométricos, dificultando la distinción de si la estructura de roles surge de la atribución de la recompensa o de la observación directa.

Metodología

Diagnósticos

El artículo propone dos diagnósticos de baja carga computacional para evaluar los efectos de la atribución de recompensa:

1. EffRank/n (Rango Efectivo Normalizado por el Número de Agentes): Esta métrica estima la dimensionalidad del espacio de incrustación (embedding) del codificador compartido. Se calcula como el rango efectivo de los valores singulares de las incrustaciones de los agentes, normalizado por el número de agentes ($n$).
   • Interpretación: Un valor cercano a $k/n$ (donde $k$ es el número de roles) sugiere direcciones geométricas distintas para cada rol. Un valor cercano a $1/n$ indica un colapso hacia una única dirección compartida. La métrica se calcula sobre centroides de incrustaciones GRU promediados en el tiempo para reflejar la geometría de los agentes/roles en lugar de instantes de tiempo transitorios.
2. Dact (Divergencia KL de Pareja Media): Esta mide la diversidad de comportamiento calculando la divergencia de Kullback-Leibler media entre las distribuciones de acción de los agentes.
   • Interpretación: Captura la divergencia de acción de un solo paso. Debido a que la política es compartida, los valores absolutos reflejan tanto la diversidad de observación como la especialización. Se utiliza comparativamente entre condiciones emparejadas para detectar si la atribución de recompensa cambia el comportamiento sin alterar la geometría de rol decodificada.

Configuración Experimental

La evaluación principal utiliza SMACv2 (Protoss 5 vs. 5), donde cinco unidades aliadas (Stalker, Zealot, Colossus) luchan contra cinco enemigos.

• Arquitectura de la Política: Todos los agentes utilizan una política MAPPO totalmente compartida con un codificador GRU recurrente, cabezales de actor y crítico lineales. No hay parámetros específicos de agente.
• Variables:
  • Atribución de Recompensa: Individual (recompensa proporcional a la contribución de daño) vs. Compartida (recompensa promediada del equipo).
  • Observación: Observada (los bits de tipo de unidad están incluidos) vs. Enmascarada (los bits del propio tipo de unidad del agente se ponen a cero, aunque los estados de aliados/enemigos permanecen).
• Entrenamiento: Las políticas se entrenan durante 4 millones de pasos de entorno.
• Evaluación: Las métricas se calculan en trayectorias de evaluación deterministas (32 episodios por semilla, 3 semillas). Se utiliza una sonda de regresión logística de "dejar fuera un slot de agente" para probar si los tipos de unidad pueden decodificarse de las incrustaciones, asegurando la generalización en lugar de la memorización de slots.

Se realiza un experimento secundario en un entorno de Aldea Tribal con 48 agentes para probar la escalabilidad.

Resultados Clave

1. La Observación Impulsa la Geometría, No la Recompensa

En la configuración estándar donde el tipo de unidad es observado:

• Geometría: Tanto las políticas de recompensa individual como las de recompensa compartida exhiben un EffRank/n casi idéntico (0.29 vs. 0.31) y una Precisión de la Sonda (0.73 vs. 0.75, significativamente por encima del umbral de 1/3).
• Comportamiento: El Dact es mayor para las recompensas individuales (1.23 vs. 1.07), y las tasas de victoria son ligeramente superiores (0.48 vs. 0.39).
• Conclusión: La presencia de una geometría de rol distinta es impulsada por la observación directa de los tipos de unidad, no por el esquema de atribución de recompensa. Ambos esquemas de recompensa permiten que el codificador compartido fragmente el espacio de incrustación por tipo de unidad cuando esa información es visible.

2. El Enmascaramiento Colapsa las Señales de Rol

Cuando los bits de tipo de unidad están enmascarados:

• Precisión de la Sonda: Cae significativamente para ambos brazos de recompensa a ~0.49 (solo ligeramente por encima del azar).
• Geometría: El EffRank/n permanece estable (0.29–0.31), pero los distintos clústeres de roles se fusionan.
• Comportamiento: Las recompensas individuales siguen superando a las recompensas compartidas en tasa de victoria (0.39 vs. 0.24) y Dact (1.13 vs. 0.98), pero no logran recuperar la geometría del tipo de unidad.
• Conclusión: Sin la observación directa, ningún esquema de recompensa induce una geometría de rol fuerte y decodificable. La atribución de recompensa afecta al comportamiento (diversidad y competencia) de forma más clara que a la estructura geométrica de la representación cuando la información de rol no se proporciona explícitamente.

3. Hallazgos de la Aldea Tribal

En el entorno de la Aldea Tribal con 48 agentes, ambos agentes de recompensa individual y compartida lograron un rendimiento competente (ganando el 84.4% de las evaluaciones). Aunque los clasificadores podían distinguir entre agentes de alta y baja contribución, el EffRank/n y el Dact no mostraron una separación clara entre los brazos de recompensa, reforzando el hallazgo de que estas métricas identifican la información existente en el codificador en lugar de probar que el esquema de recompensa la creó.

Contribuciones y Significado

El artículo realiza tres contribuciones principales:

1. Nuevos Diagnósticos: Define EffRank/n y Dact como herramientas computacionalmente eficientes para diagnosticar los efectos de la atribución de recompensa en la geometría de la representación y la diversidad del comportamiento.
2. Validación Empírica: Valida estas métricas en políticas competentes de SMACv2 entrenadas durante 4M de pasos.
3. Resolución de Confusiones: Demuestra que en SMACv2, la alta precisión de la sonda de rol refleja la información de rol observada en lugar de la especialización inducida por la atribcción de recompensa.

Significado:
Los autores argumentan que los diagnósticos geométricos en MARL deben controlar la información de rol observada. El estudio sugiere que, en SMACv2, "la recompensa individual frente a la compartida cambió el comportamiento más claramente que la geometría de la representación". La entrada de rol observada explica la geometría de rol medida, mientras que la atribución de recompensa se manifiesta principalmente en la diversidad de acciones y la competencia. Por consiguiente, para probar realmente si la atribución de recompensa crea la especialización de roles, el trabajo futuro debe utilizar roles persistentes que estén ocultos de la observación, evitando el "atajo del rol observado" donde la geometría es simplemente un reflejo del estado de entrada. Los diagnósticos propuestos añaden menos del 5% de sobrecarga al entrenamiento y la evaluación.