Resumen Técnico: Aprendizaje por Refuerzo Modular para Enjambres Cooperativos

Enunciado del Problema

Los enjambres de robots cooperativos consisten en colectivos de robots con limitaciones computacionales que trabajan hacia un objetivo común mediante interacciones únicamente locales. Un desafío principal en la aplicación del Aprendizaje por Refuerzo Multiagente (MARL) a tales sistemas es el problema de la explosión de estados. Para aprender una evitación de colisiones y navegación efectivas, los robots deben representar estados de interacción espacial. Una representación totalmente factorizada y naive de estos estados (por ejemplo, la presencia o ausencia de vecinos en múltiples direcciones de sensores) crece de manera combinatoria. Para un robot con $k$ sensores, una representación binaria de estados resulta en $2^k$ estados.

Este crecimiento exponencial es inviable para robots de enjambre físicos, que a menudo poseen memoria limitada (por ejemplo, menos de 512 KB de RAM) y potencia de procesamiento (a menudo carecen de soporte de punto flotante en hardware). En consecuencia, los enfoques estándar de MARL que requieren redes neuronales profundas o grandes tablas de estados son poco prácticos. Además, los robots operan como aprendices independientes sin acceso a los estados globales del enjambre ni a las acciones de sus pares, lo que dificulta la alineación de recompensas.

Metodología

El artículo propone una representación de estado modular (descompuesta) para abordar las restricciones de memoria y computación de los robots de enjambre. El enfoque central implica:

1. Descomposición del Estado: En lugar de un único aprendiz que procesa un estado conjunto complejo, el estado espacial se descompone por dirección del sensor. Cada uno de los $k$ sensores (o características espaciales) se asigna a un proceso de aprendizaje separado e independiente.

   • Reducción del Espacio de Estados: Para $k$ características, el número total de estados a almacenar se vuelve lineal ($O(k)$) en lugar de exponencial ($O(2^k)$). En los experimentos, 8 sensores con estados binarios resultan en $8 \times 2 = 16$ estados totales en todos los aprendices, en comparación con $2^8 = 256$ estados para un aprendiz de estado completo.
   • Proceso de Aprendizaje: Cada aprendiz es un algoritmo de banda multibrazo (específicamente UCB-1 Continuo) que mapea la lectura local del sensor (por ejemplo, "colisión" o "libre") a una acción recomendada.

2. Espacio de Acciones y Fusión (El Consejo):

   • Acciones Vectoriales: Para permitir la fusión de recomendaciones, el espacio de acciones se define como vectores de dirección composibles (por ejemplo, 8 rumbos discretos) en lugar de algoritmos atómicos de evitación de colisiones. Esto permite que las salidas de diferentes aprendices se combinen matemáticamente.
   • Mecanismo de Agregación: Un procedimiento fijo, denominado "Consejo", agrega las preferencias de los $k$ aprendices independientes. Asigna valores de preferencia altos a las direcciones recomendadas por los aprendices y valores más bajos a las direcciones vecinas basándose en una distribución gaussiana. La acción final se selecciona muestreando esta distribución de probabilidad acumulada.
   • Asignación de Crédito: No hay asignación de crédito entre aprendices. Todos los aprendices reciben la misma señal de recompensa (la recompensa de diferencia) basada en el resultado de la acción fusionada.

3. Alineación de Recompensas: El sistema utiliza recompensas de diferencia ($\Delta$), que aproximan la contribución marginal de un robot a la utilidad colectiva. Esto permite que los aprendices independientes alineen sus objetivos egoístas con el objetivo colectivo del enjambre sin comunicación global.

Contribuciones Clave

• Representación Modular para Estados Espaciales: El artículo introduce una representación de estado descompuesta donde cada característica espacial (dirección del sensor) es manejada por un aprendiz separado. Esto reduce la huella de memoria de exponencial a lineal en relación con el número de sensores.
• Espacio de Acciones Composible: Los autores demuestran la necesidad y eficacia de utilizar espacios de acción vectoriales que pueden fusionarse, contrastándolos con las acciones algorítmicas atómicas utilizadas en trabajos previos de aprendizaje de enjambres, las cuales no pueden fusionarse arbitrariamente.
• Robustez ante Variaciones de Recompensa: Se demuestra que el enfoque modular es robusto ante cambios en las funciones de recompensa (por ejemplo, cambiar de recompensas de diferencia a recompensas egoístas), mientras que los aprendices de estado completo a menudo fallan bajo tales condiciones.

Resultados Experimentales

El enfoque fue evaluado en simulaciones de alta fidelidad (ARGoS3) utilizando robots Krembot en una tarea cooperativa de recolección de forraje a través de tres configuraciones de arena (variando ubicaciones de base y densidades).

• Rendimiento vs. Aprendices de Estado Completo:
  • En escenarios de baja densidad, el enfoque modular tuvo un rendimiento comparable a los algoritmos de navegación fijos (Ventana Dinámica) y a los aprendices de estado completo (R-Learner, Aprendizaje Q).
  • En escenarios de alta densidad, los aprendices de estado completo (específicamente R-Learner) eventualmente superaron al enfoque modular, probablemente debido a la información de estado más rica disponible para ellos. Sin embargo, el enfoque modular mantuvo un rendimiento estable sin la sobrecarga de memoria.
  • En entornos complejos (por ejemplo, bases en esquinas que causan altas tasas de colisión), el enfoque modular igualó el rendimiento de la Ventana Dinámica pero tuvo dificultades para mantener el ritmo con los aprendices de estado completo a medida que aumentaba la densidad.
• Robustez: Cuando la función de recompensa se cambió de la recompensa de diferencia alineada ($\Delta$) a una recompensa egoísta cruda ($\Omega$), la representación modular mantuvo su rendimiento, mientras que el R-Learner con estado mostró un declive dramático.
• Comparación de Espacio de Acciones: Los experimentos que compararon el aprendizaje con acciones vectoriales frente al aprendizaje con algoritmos atómicos de evitación de colisiones (Repeler, Ventana Dinámica, Agresión) mostraron que aprender a usar acciones vectoriales produjo resultados mejorados.

Significado y Afirmaciones

El artículo afirma que la representación modular ofrece una solución práctica para desplegar MARL en robots de enjambre con recursos limitados. Si bien no siempre supera a los algoritmos de aprendizaje de estado completo en términos de rendimiento bruto en escenarios de alta densidad, proporciona ahorros dramáticos de memoria y robustez donde los métodos de estado completo fallan o son inviables.

Los autores enfatizan que este enfoque es particularmente adecuado para estados espaciales porque refleja la estructura de los campos potenciales y admite naturalmente un espacio de acción composible. El trabajo sugiere que para enjambres físicos con RAM limitada (a menudo <200 KB), el compromiso de una optimalidad ligeramente menor en escenarios densos a cambio de la capacidad de aprender en absoluto es significativo. El artículo concluye señalando que la representación modular permite el aprendizaje en configuraciones donde los problemas tradicionales de explosión de estados harían de otro modo irrelevante el aprendizaje por refuerzo.