Resumen Técnico: Aprendizaje por Refuerzo en Flujo bajo Observabilidad Parcial con Aprendizaje Recurrente en Tiempo Real

Enunciado del Problema

El Aprendizaje por Refuerzo (RL) en flujo es un paradigma de aprendizaje en línea donde un agente actualiza su política o función de valor a partir de cada muestra entrante de inmediato, sin mantener un búfer de reproducción ni utilizar actualizaciones por lotes. Aunque trabajos recientes han escalado con éxito el RL en flujo a la aproximación de funciones profunda en entornos totalmente observables utilizando trazas de elegibilidad, extender esto a entornos parcialmente observables (POMDPs) ha permanecido como un desafío abierto.

En entornos parcialmente observables, los agentes deben depender de arquitecturas recurrentes para mantener un estado oculto que capture el contexto histórico. Sin embargo, los métodos estándar de aprendizaje recurrente enfrentan una compensación en el entorno de flujo:

1. Retropropagación Truncada a través del Tiempo (TBPTT): En un entorno de actualización de una sola muestra, TBPTT colapsa a un horizonte de un paso (TBPTT(1)). Esto proporciona únicamente un gradiente de un paso, lo cual es insuficiente para la asignación de crédito sobre dependencias temporales largas.
2. Aprendizaje Recurrente en Tiempo Real (RTRL): RTRL mantiene gradientes en modo hacia adelante de forma incremental, lo que lo hace teóricamente ideal para el flujo. Sin embargo, para arquitecturas recurrentes generales (como GRUs o LSTMs), RTRL tiene una complejidad computacional prohibitiva, escalando de forma cuártica ($O(n^4)$) con la dimensión oculta $n$.

El artículo aborda la brecha entre la necesidad de asignación de crédito de horizonte largo en POMDPs y las restricciones computacionales de las actualizaciones en flujo.

Metodología

El método propuesto integra Unidades de Trazas Recurrentes (RTUs) con RTRL exacto en algoritmos existentes de RL en flujo.

Arquitectura Central: Unidades de Trazas Recurrentes (RTUs)

Las RTUs son una arquitectura recurrente diagonal y de valores complejos. A diferencia de las unidades recurrentes generales, una capa RTU se define por:
$$h_t = \Lambda h_{t-1} + W x_t$$
donde $\Lambda$ es una matriz diagonal con entradas complejas $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$. Debido a que cada unidad oculta se conecta solo consigo misma (recurrencia diagonal), el cálculo del gradiente se simplifica significativamente. Esta estructura permite calcular RTRL exacto con complejidad lineal en tiempo y memoria en relación con la cantidad de parámetros, evitando el cuello de botella de $O(n^4)$ del RTRL estándar.

Integración con RL en Flujo

Los autores insertan una sola capa RTU entre el codificador de observación y la cabeza de alimentación directa (valor o política) de algoritmos estándar de flujo (específicamente QRC($\lambda$) para control basado en valor y stream AC($\lambda$) para control basado en política).

El mecanismo de actualización involucra dos trazas distintas que se componen naturalmente:

1. Trazas de Elegibilidad: Trazas estándar de asignación de crédito temporal ($z_t$) utilizadas en RL en flujo para acumular gradientes a lo largo del tiempo ($z_t = \gamma\lambda z_{t-1} + g_t$).
2. Trazas RTRL: Matrices de sensibilidad en modo hacia adelante ($S_t = \partial h_t / \partial \psi$) mantenidas por la capa RTU para propagar gradientes a través del estado recurrente.

Estrategia de Cálculo de Gradientes:

• Parámetros Recurrentes ($\psi$): Los gradientes se calculan utilizando la traza RTRL exacta $S_t$, actualizada hacia adelante en cada paso.
• Parámetros de la Cabeza ($w$): Se utiliza retropropagación estándar ya que no hay dependencia temporal.
• Parámetros del Codificador ($\theta$): Para evitar el costo prohibitivo de mantener trazas exactas a través de un codificador profundo, los autores utilizan una aproximación de un paso. El codificador recibe crédito solo por su efecto inmediato en el estado oculto actual, ignorando su influencia a través de estados pasados. Esta es una aproximación necesaria para codificadores profundos en el régimen de flujo.

Análisis y Corrección de Desactualización

El artículo reconoce que bajo actualizaciones en flujo, los parámetros $\psi$ cambian en cada paso. En consecuencia, la matriz de sensibilidad RTRL $S_t$ acumula jacobianos evaluados en parámetros desactualizados, lo que lleva a "desactualización" (staleness).

• Los autores derivan un límite teórico sobre este error de desactualización, mostrando que escala linealmente con el tamaño del paso y el horizonte de asignación de crédito.
• Proponen una corrección de Taylor de primer orden a la actualización de sensibilidad. Al aproximar el cambio en el jacobiano inmediato basado en la actualización de parámetros $\Delta \psi$, reducen el error de desactualización de $O(\eta)$ a $O(\eta^2)$.

Contribuciones Clave

1. Algoritmo: Un algoritmo de RL profundo en flujo para entornos parcialmente observables que utiliza RTUs entrenadas con RTRL exacto. No requiere búfer de reproducción ni actualizaciones por lotes.
2. Validación Diagnóstica: Un experimento MemoryChain que demuestra que esta combinación mantiene la asignación de crédito sobre longitudes de cadena (hasta 64 pasos) donde las líneas base de flujo que utilizan redes de alimentación directa, GRUs o RTUs con TBPTT(1) colapsan.
3. Rendimiento Empírico: Evidencia en cinco tareas de memoria de POPGym y tareas de control continuo parcialmente observables de MuJoCo que muestra que el enfoque en flujo es competitivo con PPO por lotes, resolviendo todas las tareas de POPGym y recuperando una fracción sustancial del rendimiento por lotes en MuJoCo.
4. Análisis de Desactualización: Un análisis cuantitativo de la desactualización de la sensibilidad RTRL bajo actualizaciones en flujo, proporcionando un límite de error de estado estacionario y demostrando la eficacia de una corrección de Taylor de primer orden para estrechar este límite.

Resultados Experimentales

MemoryChain (Horizonte de Asignación de Crédito)

En una tarea diagnóstica que requiere que el agente recuerde una señal binaria después de $L$ pasos:

• Líneas Base: Las redes de alimentación directa, las GRUs con TBPTT(1) y las RTUs con TBPTT(1) colapsaron a retornos cercanos a cero para longitudes de cadena $L > 16$.
• Método Propuesto: RTU con RTRL exacto mantuvo un alto rendimiento hasta $L=48$ y permaneció competitiva hasta $L=64$. Esto confirma que el método de gradiente (RTRL), y no solo la arquitectura, es el factor crítico para la asignación de crédito de horizonte largo en flujo.

POPGym (Tareas de Memoria Discretas)

Evaluado en cinco tareas (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst):

• Se compararon dos variantes de flujo (QRC($\lambda$)-RTU y stream AC($\lambda$)-RTU) contra una línea base PPO-RTU por lotes.
• Los dos métodos de flujo fueron complementarios: stream AC($\lambda$)-RTU tuvo éxito en tres tareas donde QRC($\lambda$)-RTU falló, y viceversa.
• Resultado: Juntos, los métodos de flujo resolvieron las cinco tareas, igualando el rendimiento de PPO por lotes sin almacenar trayectorias pasadas.

MuJoCo enmascarado (Control Continuo)

Evaluado en tareas de locomoción (Ant, HalfCheetah, Hopper, Walker2d) con velocidades o posiciones enmascaradas:

• El método de flujo (stream AC($\lambda$)-RTU) fue competitivo con PPO-RTU por lotes en varias tareas (por ejemplo, igualando en HalfCheetah-P, superando en Walker2d-V).
• Aunque quedó por detrás de PPO por lotes en algunas tareas (por ejemplo, Walker2d-P), recuperó una fracción sustancial del rendimiento por lotes, demostrando la viabilidad para el control continuo bajo observabilidad parcial sin búferes de reproducción.

KMemoryChain (Cuantificación de Desactualización)

Una variante de MemoryChain diseñada para ejercitar continuamente la traza RTRL:

• La desactualización se midió como la distancia $\ell_2$ entre la matriz de sensibilidad en línea y una referencia recalcada con los parámetros actuales.
• La desactualización aumentó con el horizonte de memoria $K$, consistente con los límites teóricos.
• La corrección de Taylor redujo significativamente la desactualización, particularmente en horizontes más largos ($K=16$), y correspondió a un aprendizaje más rápido y curvas de entrenamiento más estables en el régimen de alta desactualización.

Significado y Afirmaciones

Los autores declaran explícitamente modestia respecto a sus afirmaciones:

• Sin Afirmación de Estado del Arte (SOTA): No afirman lograr el mejor rendimiento absoluto en ninguna sola prueba comparada con métodos por lotes sin restricciones.
• Contribución Principal: El significado radica en cerrar la brecha entre el RL en flujo y la observabilidad parcial. Demuestran que es posible realizar RL profundo en POMDPs con las restricciones estrictas del flujo (sin búfer de reproducción, actualizaciones de una sola muestra) combinando RTUs con RTRL exacto.
• Aplicabilidad: El método se posiciona para escenarios donde las restricciones de recursos son reales, como el aprendizaje en el dispositivo, el control en tiempo real y el aprendizaje de por vida, donde almacenar trayectorias pasadas es poco práctico.

El artículo concluye que, aunque la brecha con el rendimiento por lotes permanece en algunas tareas de control continuo, el método propuesto extiende con éxito el paradigma de flujo a entornos complejos y parcialmente observables, validando la viabilidad de RTRL exacto con complejidad lineal en RL profundo.