Resumen Técnico: La Coordinación Importa: Evaluación del Aprendizaje por Refuerzo Multiagente Cooperativo

Declaración del Problema

Las pruebas de referencia (benchmarks) tradicionales de Aprendizaje por Refuerzo Multiagente Cooperativo (MARL) dependen habitualmente de métricas de resultado agregadas, como la recompensa acumulada, la tasa de éxito o el tiempo de finalización, para evaluar el rendimiento. Aunque son esenciales, los autores argumentan que estas métricas son insuficientes para diagnosticar cómo coordinan los agentes, particularmente en entornos donde los agentes, las tareas y las opciones de asignación conjunta escalan de forma combinatoria. Dos políticas pueden lograr recompensas similares mientras dependen de patrones de interacción fundamentalmente diferentes, o una disminución en la recompensa puede confundir una mala coordinación con otros factores, como una división del trabajo ineficiente o cuellos de botella específicos del dominio. Esta limitación es crítica para las pruebas de referencia destinadas a evaluar el comportamiento de escalado, donde aumentar el número de agentes o tareas puede alterar no solo la dificultad de la tarea, sino también la naturaleza estructural de la coordinación en sí misma. El artículo postula que las evaluaciones actuales no revelan fallos a nivel de proceso, como asignaciones redundantes o una distribución deficiente de la carga de trabajo, que a menudo quedan enmascaradas por puntuaciones agregadas.

Metodología

El Campo de Pruebas STAT

Para abordar esta brecha, los autores introducen STAT (Entorno de Pruebas para Asignación Espacial de Tareas), un entorno controlado de asignación espacial de tareas con restricciones de compromiso. STAT está diseñado para aislar la coordinación de asignación de tareas de alto nivel, abstraendo la evitación de colisiones y la planificación de trayectorias de bajo nivel.

• Entorno: Los agentes comienzan en un origen fijo y deben distribuirse entre tareas distribuidas espacialmente en una cuadrícula 2D. El entorno es totalmente observable.
• Estructura de Compromiso: Los agentes operan bajo una estructura de compromiso de estado finito. Una vez que un agente selecciona una tarea, se compromete con esa asignación, se mueve hacia ella, la ejecuta y solo entonces regresa a un estado de selección. Esto crea puntos de decisión escasos y de alto impacto.
• Resolución de Conflictos: Si múltiples agentes seleccionan la misma tarea simultáneamente, un mecanismo de resolución de conflictos retrospectivo asigna la tarea al agente más cercano; los demás se ven obligados a permanecer inactivos. Esto convierte la asignación redundante en un fallo observable a nivel de proceso, en lugar de ser solo una causa latente de menor recompensa.
• Escalado: STAT permite un escalado sistemático a lo largo de tres ejes: número de agentes, número de tareas y tamaño del entorno, manteniendo fijas las reglas de las tareas y el acceso a las observaciones.

Diagnósticos a Nivel de Proceso

El artículo propone una perspectiva de "evaluación consciente de la coordinación" que complementa la recompensa con diagnósticos específicos a nivel de proceso adaptados a la estructura de asignación:

1. Conflictos Totales de Asignación de Tareas: La cantidad de tareas distintas seleccionadas por más de un agente antes de la resolución (midiendo la amplitud de la asignación redundante).
2. Tasa de Conflictos: Conflictos normalizados por paso de tiempo para distinguir entre métodos que acumulan conflictos debido a episodios más largos y aquellos que los generan con frecuencia.
3. Conflictos por Tarea: Densidad de conflictos normalizada en relación con el tamaño del conjunto de tareas.
4. Diversidad de Asignación: El número de nuevas asignaciones de tareas distintas retenidas por el equipo después de la resolución de conflictos, midiendo la amplitud de la división del trabajo.
5. Rendimiento de Finalización de Tareas: El número de tareas completadas por paso de tiempo, distinguiendo los fallos de coordinación de las ineficiencias espaciales (por ejemplo, tiempo de viaje).

Configuración Experimental

Los autores evalúan seis métodos representativos de MARL basados en valores a través de diversos niveles de centralización:

• CTCE (Entrenamiento Centralizado, Ejecución Centralizada): DQN, FDQN.
• CTDE (Entrenamiento Centralizado, Ejecución Descentralizada): VDN, QMIX, QTRAN.
• DTDE (Entrenamiento Descentralizado, Ejecución Descentralizada): IQL.
  Los experimentos abarcan configuraciones "Base" (escalas más pequeñas) y "Extrema" (escalas más grandes), variando agentes, tareas y tamaño de la cuadrícula de forma independiente.

Resultados Clave

1. La Recompensa por Sí Solas es Insuficiente

El estudio demuestra que tendencias similares de recompensa pueden reflejar mecanismos de coordinación distintos. Por ejemplo, en experimentos de escalado de tareas, aumentar el número de tareas a menudo condujo a recompensas más altas (debido a más oportunidades de recompensa) pero simultáneamente aumentó los conflictos totales y las asignaciones redundantes. Una política podría parecer exitosa basándose en la recompensa mientras sufre en realidad de ineficiencias significativas de coordinación que los diagnósticos a nivel de proceso revelan.

2. Dinámicas de Escalado

• Tamaño del Entorno: Aumentar el tamaño de la cuadrícula redujo principalmente el rendimiento y las oportunidades de asignación (ya que los agentes pasaban más tiempo moviéndose) en lugar de aumentar las tasas de conflicto. Esto destaca que las caídas de rendimiento en el escalado espacial se deben a menudo a una frecuencia de decisión reducida y no a un fallo de coordinación.
• Número de Tareas: Aumentar las tareas expandió el espacio de asignación, lo que llevó a conflictos absolutos más altos. Aunque las recompensas mejoraron inicialmente, la carga de coordinación eventualmente compensó las ganancias. Las métricas normalizadas (conflictos por tarea) mostraron que la contención no siempre creció linealmente con la cantidad de tareas, pero las asignaciones redundantes totales sí lo hicieron.
• Número de Agentes: Añadir agentes no mejoró uniformemente el rendimiento. En entornos más pequeños, los agentes extra a menudo degradaron el rendimiento al amplificar las asignaciones redundantes sin suficientes tareas para justificar el paralelismo. En entornos más grandes, las recompensas mejoraron, pero solo para métodos capaces de convertir la capacidad del equipo en trabajo coordinado. Los aprendices independientes (IQL) fueron particularmente vulnerables al aumento de las tasas de conflicto bajo el escalado de agentes.

3. Comportamientos Específicos del Método

• Métodos Centralizados (DQN/FDQN): FDQN, que utiliza una representación centralizada factorizada, permaneció manejable y efectivo para reducir las asignaciones redundantes a través de las escalas, superando a menudo a los demás en métricas de coordinación. El DQN estándar se limitó a escalas pequeñas debido al crecimiento exponencial del espacio de acciones conjunto.
• Métodos CTDE (VDN/QMIX/QTRAN): Estos métodos permanecieron escalables y competitivos en recompensa, pero a menudo exhibieron tasas de conflicto más altas o menor diversidad de asignación en comparación con los enfoques centralizados más fuertes, lo que sugiere que recompensas comparables pueden ocultar diferencias en la calidad de la coordinación.
• Aprendizaje Independiente (IQL): IQL mostró la mayor vulnerabilidad a la asignación redundante en entornos altamente interdependientes, confirmando que los aprendices independientes luchan cuando las decisiones de asignación están fuertemente acopladas.

Significado y Afirmaciones

El artículo afirma que la evaluación consciente de la coordinación es un complemento necesario para la evaluación basada en recompensas para el MARL cooperativo. Los autores argumentan que:

1. Diagnóstico de Modos de Fallo: Los diagnósticos a nivel de proceso permiten a los investigadores distinguir si un método falla debido a una mala coordinación (asignaciones redundantes), una división ineficiente del trabajo o restricciones ambientales (escala espacial), algo que la recompensa agregada no puede hacer.
2. Perspectivas de Escalado: El rendimiento bajo escala no solo está moldeado por el tamaño nominal del espacio de acciones, sino también por la "presión de asignación", las oportunidades de decisión escasas y las dependencias entre agentes.
3. Diseño de Pruebas de Referencia: Las futuras pruebas de referencia deberían reportar diagnósticos a nivel de proceso para caracterizar cómo coordinan los agentes, no solo qué recompensa logran. Los autores posicionan a STAT como un campo de pruebas controlado para aislar estas dinámicas de coordinación, distinto de entornos complejos como StarCraft o Overcooked donde múltiples modos de fallo (navegación, observabilidad parcial) están entrelazados.

El artículo concluye que, aunque las pruebas de referencia existentes han impulsado el progreso, a menudo oscurecen los mecanismos de coordinación específicos que permiten o dificultan el rendimiento en regímenes de escalado combinatorio. Al hacer que los conflictos de asignación y la diversidad sean directamente observables, este trabajo proporciona una visión más interpretable de los modos de fallo del MARL.