Resumen Técnico: Aprendizaje por Refuerzo Adaptativo para Retrasos Aleatorios Inobservables

Planteamiento del Problema

Los algoritmos de Aprendizaje por Refuerzo (RL) estándar, como Proximal Policy Optimization (PPO) y Soft Actor-Critic (SAC), típicamente asumen un Proceso de Decisión de Markov (MDP) donde el agente observa el estado del sistema instantáneamente y ejecuta acciones sin retraso. En los sistemas ciberfísicos del mundo real, este supuesto falla frecuentemente debido a los retrasos de interacción derivados de la transmisión de observaciones, la computación y la actuación.

Los enfoques existentes para manejar los retrasos generalmente se dividen en dos categorías:

1. Procesos de Decisión de Markov Parcialmente Observables (POMDPs): Modelan los retrasos como observaciones desactualizadas, lo que limita el acceso del agente a la información sobre la evolución del entorno durante el retraso.
2. Supuestos de Retraso Fijo: Imponen un retraso constante (a menudo un límite superior del peor caso) mediante buffers de acciones. Aunque esto simplifica la toma de decisiones al proporcionar información perfecta sobre el tiempo de ejecución, es excesivamente conservador. Fuerza al agente a operar bajo una latencia de peor caso incluso cuando los retrasos reales son mínimos, lo que conduce a un rendimiento subóptimo.

Existe una brecha crítica en el manejo de retrasos aleatorios, variables e inobservables. En muchos escenarios del mundo real (por ejemplo, control en red), el agente no sabe en el momento de la decisión cuánto tiempo tardará en ejecutarse una acción, ni puede predecir si los paquetes se perderán o llegarán fuera de orden. Los métodos existentes como DCAC permiten retrasos inobservables pero carecen de control sobre cuándo se aplican las acciones, mientras que otros algoritmos de vanguardia (por ejemplo, BPQL, VDPO) dependen de paradigios de retraso fijo.

Metodología

1. El Marco de la Capa de Interacción (Interaction Layer)

Los autores introducen un nuevo marco llamado la Capa de Interacción, que se sitúa entre el agente y el sistema controlado. Esta capa gestiona la incertidumbre de los retrasos inobservables mediante dos componentes principales: un Observador y un Buffer de Acciones.

• Paquetes de Observación: El observador muestrea el estado del sistema y envía un paquete de observación al agente. Este paquete incluye el estado, el contenido actual del buffer de acciones, el retraso del paquete que actualizó el buffer y un contador de desplazamiento.
• Paquetes de Acción (Generación de Matrices): En lugar de enviar una única acción, el agente genera un paquete de acción que contiene una matriz de acciones candidatas.
  • La matriz tiene $L$ filas (longitud de predicción) y $h$ columnas (horizonte del buffer de acciones).
  • La $i$-ésima fila corresponde a la secuencia de acciones que se ejecutarán si el paquete llega en el tiempo $t+i$.
  • Las columnas gestionan escenarios donde no llega un nuevo paquete; si falta un paquete en un paso específico, el sistema se desplaza a la siguiente columna en el buffer.
• Lógica de Ejecución: Cuando un paquete de acción llega a la capa de interacción, el sistema calcula el retraso de ida y vuelta ($\delta$) utilizando relojes locales. Luego, selecciona la fila específica de la matriz correspondiente a ese retraso. Si el retraso excede las filas de la matriz ($L$) o si los paquetes llegan fuera de orden, el paquete se descarta.

2. Actor-Critic con Adaptación de Retraso (ACDA)

Basándose en la capa de interacción, los autores proponen ACDA, un algoritmo de RL basado en modelos diseñado para adaptarse dinámicamente a variaciones de retraso.

• Heurística para Acciones Previas Supuestas: Dado que el agente no puede saber exactamente qué acciones se aplicaron al sistema entre la generación de un paquete y su llegada, ACDA emplea una heurística. Supone que si el paquete actual tiene un retraso de $k$, los paquetes anteriores también tuvieron un retraso de $k$. Esto permite al agente reconstruir la secuencia de acciones aplicadas al sistema, permitiéndole predecir la distribución actual del estado.
• Agente de Distribución Basado en Modelo: Las redes neuronales estándar (MLPs) requieren entradas de tamaño fijo, pero la secuencia de acciones "memorizadas" en ACDA varía en longitud. Para resolver esto, ACDA utiliza un modelo de distribución de pasos múltiples para codificar la historia de acciones de longitud variable en una representación latente de tamaño fijo.
  • EMBED: Codifica el estado actual en una distribución latente.
  • STEP: Una Unidad Recurrente Gated (GRU) que actualiza la distribución latente simulando el efecto de aplicar la secuencia de acciones memorizadas.
  • EMIT: Un decodificador utilizado durante el entrenamiento para asegurar que la representación latente prediga con precisión los estados futuros (minimizando la divergencia KL).
  • La política $\pi_\theta$ genera entonces acciones basadas en este embedding de tamaño fijo de la distribución del estado futuro, en lugar de historiales de estado-acción crudos.
• Entrenamiento: ACDA sigue una configuración Actor-Critic basada en Soft Actor-Critic (SAC). El crítico evalúa los valores en estados del sistema sin retraso, lo que requiere que el algoritmo reconstruya la trayectoria desde la perspectiva del MDP sin retraso durante el entrenamiento.

Contribuciones Clave

1. Marco de la Capa de Interacción: Un marco general que permite a los agentes manejar retrasos estocásticos e inobservables y la pérdida de paquetes mediante la generación de una matriz de acciones futuras. Esto permite una toma de decisiones informada bajo incertidumbre sin asumir un retraso fijo.
2. Algoritmo ACDA: Un algoritmo de RL basado en modelos que aprovecha la capa de interacción. Introduce una heurística para estimar las acciones aplicadas y un mecanismo de codificación basado en distribuciones para manejar historias de acciones de longitud variable, permitiendo que la política razone sobre distribuciones de estados futuros.
3. Validación Empírica: Evaluación exhaustiva en tareas de locomoción de MuJoCo utilizando tanto procesos de retraso simulados (modelos Gilbert-Elliot y de cola M/M/1) como retrasos de WiFi medidos en el mundo real.

Resultados

El artículo evalúa ACDA frente a líneas base de vanguardia, incluyendo SAC (con y sin Aumentación de Retraso Constante), Dreamer, BPQL y VDPO.

• Rendimiento: ACDA supera consistentemente a todas las líneas base en una amplia gama de entornos (Ant, Humanoid, HalfCheetah, Hopper, Walker2d) y procesos de retraso.
• Retrasos del Mundo Real: En experimentos utilizando retrasos de red WiFi registrados (DLib y DOff), ACDA demostró un rendimiento superior, particularmente porque los retrasos del mundo real exhiben correlaciones temporales que ACDA está diseñado para explotar.
• Robustez: Aunque ACDA asume correlación temporal en los retrasos, mantiene un rendimiento aceptable incluso bajo procesos de retraso independientes e idénticamente distribuidos (i.i.d.), aunque con un margen menor.
• Comparación con Métodos de Retraso Fijo: Los métodos que dependen de retrasos fijos de peor caso (como BPQL y VDPO con Aumentación de Retraso Constante) funcionaron significativamente peor, resaltando la ineficiencia de los supuestos conservadores en entornos estocásticos.

Significancia y Reivindicaciones

Los autores afirman que este trabajo representa el primer marco que permite a los agentes tomar decisiones informadas y controladas bajo retrasos aleatorios e inobservables en RL. Al ir más allá del paradigma de retraso fijo, la capa de interacción y ACDA permiten que los agentes se adapten a la latencia real del sistema en lugar de a un límite superior conservador.

El artículo enfatiza que, si bien las garantías de convergencia para el aprendizaje por refuerzo profundo bajo retrasos aleatorios (formulación POMDP) siguen siendo teóricamente abiertas, los resultados empíricos demuestran que ACDA logra retornos promedio significativamente más altos que los enfoques actuales de vanguardia. El trabajo sugiere que manejar la incertidumbre del retraso directamente, en lugar de imponer una constancia artificial, es una estrategia más efectiva para desplegar RL en sistemas ciberfísicos del mundo real. Las direcciones de trabajo futuro incluyen extender el marco para manejar comportamientos de interacción más complejos y optimizar la estructura del paquete de acción para reducir la sobrecarga computacional y de comunicación.