Decoupled Delay Compensation: Enhancing Pre-trained MARL Policies via Learned Dynamics Filtering

Resumen Técnico: Compensación de Retraso Desacoplada para Políticas de RL Multiagente Pre-entrenadas

Enunciado del Problema
Los sistemas reales de Aprendizaje por Refuerzo Multiagente (MARL) operan frecuentemente bajo condiciones no ideales caracterizadas por retrasos de comunicación estocásticos, pérdida intermitente de paquetes y latencia en el procesamiento de sensores. Aunque los algoritmos de MARL logran éxito en simulación, a menudo sufren una degradación significativa del rendimiento e inestabilidad de control al desplegarse en entornos físicos. Esta brecha "Simulación-a-Realidad" surge porque las políticas entrenadas bajo suposiciones idealizadas y sincrónicas actúan sobre observaciones obsoletas. En entornos descentralizados, estos retrasos violan la suposición de Markov, forzando a los agentes a tomar decisiones basadas en flujos de información no causales y temporalmente desalineados. Las estrategias de mitigación existentes, como la augmentación de estado o arquitecturas de entrenamiento conscientes del retraso, típicamente requieren acceso a los internos de la política, reentrenamiento de extremo a extremo y son sensibles a regímenes de retraso específicos, limitando su aplicabilidad a sistemas heredados o controladores propietarios.

Metodología
Los autores proponen una capa modular de estimación de estado diseñada para la etapa de ejecución, destinada a desacoplar la compensación de retraso del proceso de entrenamiento de la política. Este marco permite que las políticas de MARL pre-entrenadas operen de manera robusta sin modificar su arquitectura subyacente, estructuras de recompensa o algoritmos de entrenamiento.

El núcleo del enfoque es una Capa de Filtrado de Creencia que reemplaza las observaciones comunicadas con retraso por estimaciones actuales del estado de creencia. El sistema opera de la siguiente manera:

1. Estimación Recursiva: Para cada vecino, un agente mantiene una estimación recursiva del vector de estado comunicado (por ejemplo, posición, velocidad). Esto se actualiza mediante un ciclo de predicción-actualización.
2. Dinámicas Aprendidas (GRU): Para manejar dinámicas complejas y no lineales sin modelos diseñados a mano, el sistema emplea una Unidad Recurrente Puerta (GRU) entrenada en buffers de simulación sin retraso de la fase inicial de entrenamiento de la política. La GRU aproxima las dinámicas de transición, prediciendo incrementos residuales en lugar de estados absolutos para mejorar la estabilidad a corto plazo.
3. Integración de Filtrado de Kalman: La GRU sirve como un sustituto aprendido para la matriz de transición dentro de una estructura de filtro de Kalman recursivo. Aunque el Jacobiano exacto de la GRU es computacionalmente costoso, los autores lo aproximan con una matriz identidad para mantener la eficiencia en tiempo real, asumiendo persistencia de primer orden de la incertidumbre.
4. Modos de Ejecución: El marco maneja tres regímenes de comunicación distintos:
   • Sincrónico: Ciclos estándar de predicción-actualización.
   • Ráfaga Asincrónica: Procesamiento de múltiples paquetes que llegan dentro de un solo intervalo de control en orden cronológico.
   • Pérdida de Paquetes: Reversión a predicción de lazo abierto utilizando el último estado verificado y el estado oculto de la GRU hasta que llegue nueva información.

La política recibe un vector de características de creencia sincronizado ($b_{i,t}$) que comprende observaciones locales y estimaciones filtradas de vecinos, en lugar de mensajes crudos y obsoletos.

Contribuciones Clave
El artículo identifica tres contribuciones principales:

• Un Marco de Ejecución Modular: Los autores formulan la comunicación multiagente con retraso como un problema de estimación recursiva de estado de creencia. Esto habilita la robustez ante retrasos para políticas pre-entrenadas sin reentrenamiento ni modificación de la política, abordando la "maldición de la dimensionalidad" asociada con la augmentación de historial.
• Capa de Estimación Recursiva Aprendida: La introducción de un módulo plug-in que combina un modelo del mundo basado en GRU con una actualización de filtrado de Kalman. Este enfoque híbrido maneja retrasos estocásticos y pérdida intermitente de paquetes, mitigando al mismo tiempo el ruido de observación común en despliegues de sensores del mundo real.
• Validación Empírica Transversal: El enfoque se valida en diversos puntos de referencia (MPE, VMAS y entornos de alta fidelidad MaMuJoCo), demostrando generalización a través de diferentes bases de MARL y sistemas dinámicos. El método preserva el rendimiento de la política incluso bajo patrones de retraso fuera de distribución (OOD).

Resultados Experimentales
La evaluación en seis entornos (incluyendo Spread, Tag, Buzz-wire, Balance, Reacher y Walker2d) arrojó los siguientes hallazgos:

• Robustez ante Latencia: La capa propuesta superó consistentemente a las líneas base que no son conscientes del retraso y a un filtro de Kalman cinemático amortiguado "Naive". En tareas altamente dinámicas como Walker2d, la línea base colapsó bajo latencia mínima, mientras que la política filtrada mantuvo una locomoción bípeda estable en un amplio rango de retrasos.
• Resiliencia al Ruido: En estudios de ablación que comparan la GRU envuelta en Kalman contra un predictor GRU independiente, el filtro recursivo demostró una resiliencia superior al ruido de observación. La brecha de rendimiento se amplió a medida que aumentaba la amplitud del ruido, particularmente en sistemas inestables como Walker2d.
• Comparación con el Estado del Arte: En entornos MPE, el método logró un rendimiento comparable al marco de Compensación de Retraso Rainbow (RDC) del estado del arte. Sin embargo, a diferencia de RDC, que requiere entrenamiento integrado, el método propuesto está completamente desacoplado del pipeline de entrenamiento.
• Robustez de Hiperparámetros: El método exhibió un rendimiento estable a través de tamaños variables de ventana de historial, a diferencia de los métodos base que dependen de búferes de memoria de longitud fija.
• Eficiencia Computacional: El paso de filtrado recursivo incurrió en una sobrecarga computacional modesta (~0.007s para un retraso de seis pasos), comparable o inferior a otros modelos complejos de compensación de retraso.

Significado y Afirmaciones
El artículo afirma que el significado principal de este trabajo radica en su modularidad. Al tratar el retraso como un problema de estimación de estado en la etapa de ejecución en lugar de un desafío de optimización en tiempo de entrenamiento, el marco ofrece una capacidad de transición "cero disparos". Esto permite que las políticas entrenadas en simulaciones sin retraso se desplieguen en hardware con latencias variables, desconocidas o estocásticas sin el costo computacional de reentrenar.

Los autores notan modestamente que, aunque el marco es efectivo, no afirma ser un estimador óptimo global. Las ganancias de rendimiento son más pronunciadas en tareas intensivas en coordinación y dinámicamente inestables donde la consistencia temporal es crítica. El trabajo sugiere que para sistemas heredados o controladores propietarios donde la modificación de parámetros es inviable, este enfoque desacoplado proporciona una vía práctica hacia un despliegue robusto de Simulación-a-Realidad. Se sugiere trabajo futuro para explorar el entrenamiento conjunto de la política y el estimador para aprovechar métricas de incertidumbre internas para control consciente del riesgo, pero la contribución actual se centra estrictamente en el envoltorio de la capa de ejecución.