Resumen Técnico: Aprendizaje Q de Largo Horizonte (LQL)

Enunciado del Problema

El aprendizaje por refuerzo (RL) basado en valores y fuera de política, particularmente el aprendizaje Q, es teóricamente atractivo porque puede aprender de experiencias arbitrarias, incluidos datos recopilados por políticas anteriores u otros agentes. Sin embargo, en la práctica, el aprendizaje de largo horizonte mediante bootstrapping es frágil. Los errores de estimación en estados posteriores se propagan hacia atrás a través de las actualizaciones de diferencia temporal (TD), acumulándose con el tiempo y desestabilizando el aprendizaje.

Una estrategia común de mitigación implica objetivos de múltiples pasos (por ejemplo, retornos de $n$ pasos o retornos $\lambda$), que reducen la dependencia del bootstrapping de un solo paso al incorporar recompensas observadas a lo largo de un horizonte más largo. Sin embargo, en configuraciones fuera de política, los objetivos de $n$ pasos introducen una nueva tensión: asumen implícitamente que el agente continuará siguiendo la política de comportamiento (que generó la trayectoria registrada) durante los siguientes $n$ pasos. Si las acciones registradas son subóptimas, la actualización resultante puede ser pesimista o sesgada, fallando en capturar el potencial de la política en mejora que se está aprendiendo. Este sesgo fuera de política a menudo causa que el rendimiento del TD de $n$ pasos se degrade a medida que aumenta $n$, particularmente en tareas con recompensas escasas y horizontes largos.

Metodología: Aprendizaje Q de Largo Horizonte (LQL)

Los autores proponen Aprendizaje Q de Largo Horizonte (LQL), un método diseñado para proporcionar un "respaldo" principista contra los errores TD acumulativos sin introducir el sesgo fuera de política inherente a los objetivos estándar de $n$ pasos.

Idea Central: Desigualdades de Optimalidad

LQL se fundamenta en una propiedad fundamental de las funciones de valor óptimas: cualquier secuencia realizada de acciones proporciona una cota inferior sobre lo que la política óptima puede lograr en expectativa desde el mismo estado inicial. Específicamente, actuar óptimamente inmediatamente no debería ser peor (en retorno esperado) que comprometerse a una secuencia arbitraria de acciones observadas durante una duración y luego comportarse óptimamente posteriormente.

Los autores formalizan esto como desigualdades de optimalidad sobre trayectorias. Para un segmento de trayectoria desde el estado $s_i$ hasta $s_j$ (donde $j > i$):

1. Cota Inferior: El valor de la acción observada en $s_i$ debería ser al menos la suma de las recompensas observadas desde $i$ hasta $j$ más el valor descontado de la acción óptima en $s_j$.
2. Cota Superior: El valor de la acción óptima en un estado anterior $s_i$ debería ser al menos la suma de las recompensas observadas desde $i$ hasta $j$ más el valor descontado de la acción observada en $s_j$.

Implementación Algorítmica

LQL aumenta la pérdida TD estándar de 1 paso con penalizaciones de bisagra asimétricas derivadas de estas desigualdades.

• Penalizaciones de Cota Inferior (LB): Si la estimación actual $Q_\theta(s_k, a_k)$ es menor que el retorno realizado del segmento de trayectoria $G_{k:\ell}$ más el valor bootstrapped en un estado futuro $s_\ell$, se aplica una penalización para empujar $Q_\theta(s_k, a_k)$ hacia arriba.
• Penalizaciones de Cota Superior (UB): Si combinar la estimación actual $Q_\theta(s_k, a_k)$ con recompensas precedentes implica un retorno más alto que lo que se podría lograr actuando óptimamente en un estado anterior $s_i$, se aplica una penalización para empujar $Q_\theta(s_k, a_k)$ hacia abajo.

Característica Clave de Eficiencia: Crucialmente, LQL calcula estas penalizaciones utilizando solo las salidas de la red ya generadas durante una actualización TD estándar (es decir, $Q_\theta(s, a)$ y los valores de la red objetivo $Q_{\bar{\theta}}(s, a^*)$). No requiere redes auxiliares ni pasos forward adicionales en comparación con el aprendizaje Q estándar. El método muestrea trayectorias desde el búfer de repetición y agrega estas pérdidas de bisagra a lo largo de la trayectoria.

Contribuciones Clave

1. Respaldo Principista: LQL introduce un mecanismo para detectar y corregir inconsistencias de valor a través de estados temporalmente distantes, abordando directamente el problema del error acumulativo en el aprendizaje fuera de política.
2. Eficiencia Computacional: A diferencia de métodos anteriores que dependen de desigualdades de optimalidad (por ejemplo, Optimality Tightening), LQL evita la sobrecarga computacional de pasos forward adicionales o redes auxiliares reutilizando las salidas existentes de la red TD.
3. Escalabilidad con la Longitud de la Trayectoria: El método trata la longitud de la trayectoria como un eje de escalado. A diferencia de la escalabilidad del tamaño de lote en TD, que puede conducir al sobreajuste y degradación del rendimiento, aumentar la longitud de la trayectoria en LQL mejora consistentemente el rendimiento.
4. Compatibilidad: LQL es agnóstico al mecanismo de extracción de políticas y puede combinarse con diversas arquitecturas de actor (Gaussiana, basada en Flujos, Chunking de Acciones).

Resultados Experimentales

Los autores evaluaron LQL en una gama de puntos de referencia en línea y de offline a online, incluyendo OGBench (navegación y manipulación robótica con horizontes largos) y RoboMimic (manipulación de humanoides).

• Rendimiento vs. Líneas Base: A través de cuatro familias diferentes de extracción de políticas (Mejor de N, Aprendizaje Q de Flujos, Gaussiana y Chunking de Acciones), LQL superó consistentemente tanto al TD de 1 paso como al TD de $n$ pasos con longitud coincidente.
• Éxito en Largo Horizonte: En la tarea más desafiante, humanoidmaze-giant (recompensas escasas, miles de pasos), el TD de 1 paso falló al resolver cualquier tarea (0% de éxito). El TD de $n$ pasos estándar mostró una mejora parcial pero se degradó significativamente a medida que $n$ aumentaba más allá de 4. En contraste, LQL con una longitud de trayectoria de $L=64$ logró una tasa de éxito promedio del 75.7%, resolviendo dos tareas con un éxito casi perfecto (>97%).
• Estabilidad: LQL demostró una estabilidad superior en la estimación de valores. Mientras que el TD de 1 paso a menudo sufría de sobreestimación "desbocada" (los valores Q divergían hacia magnitudes extremas), LQL mantuvo los valores Q dentro de rangos analíticamente válidos, previniendo la divergencia.
• Robustez: LQL mantuvo el rendimiento en entornos estocásticos donde se podría esperar que los sesgos teóricos de las desigualdades en expectativa causaran problemas.
• Sobrecarga: El método incurrió en un costo de tiempo de ejecución negligible (una ralentización promedio del 4.7% por actualización) en comparación con el TD estándar.

Significado y Afirmaciones

El artículo afirma que LQL ofrece una solución práctica a la "tríada mortal" del aprendizaje fuera de política, el bootstrapping y la aproximación de funciones al proporcionar una verificación de consistencia de largo horizonte que no hereda el sesgo fuera de política de los objetivos de múltiples pasos.

Los autores destacan dos implicaciones más amplias:

1. Absorción de Información: LQL proporciona un camino para absorber información de trayectorias muy largas sin el sesgo fuera de política que limita los objetivos de $n$ pasos.
2. Eje de Escalado: La longitud de la trayectoria emerge como un eje de escalado viable para el RL profundo basado en valores que evita la degradación patológica observada al escalar los tamaños de lote en el aprendizaje TD estándar.

El trabajo es modesto respecto a las limitaciones teóricas, reconociendo que las desigualdades de optimalidad son declaraciones en expectativa, lo que introduce un sesgo teórico en entornos estocásticos cuando se aproximan mediante muestras individuales. Sin embargo, los resultados empíricos y los límites teóricos sugieren que este sesgo está acotado y no perjudica materialmente el rendimiento en la práctica.