Resumen Técnico: Alineación de Representaciones Latentes para Aprendizaje por Refuerzo Condicionado a Objetivos Offline

1. Enunciado del Problema

El Aprendizaje por Refuerzo Condicionado a Objetivos (GCRL) Offline busca aprender políticas que alcancen objetivos arbitrarios utilizando conjuntos de datos fijos y pre-recopilados, sin interacción adicional con el entorno. Aunque prometedor, aprender funciones de valor condicionadas a objetivos fiables en tareas de horizonte largo sigue siendo un desafío significativo. El principal cuello de botella identificado en este trabajo es la generalización errónea en las funciones de valor condicionadas a objetivos.

Las funciones de valor estándar, particularmente aquellas parametrizadas por Perceptrones Multicapa (MLP), tienden a generalizar basándose en la proximidad euclidiana en el espacio de estados en lugar de la distancia temporal. En entornos con obstáculos (por ejemplo, laberintos) o recompensas escasas, esto conduce a una "fuga de valor", donde los estados físicamente cercanos a un objetivo pero temporalmente distantes (separados por paredes o dinámicas complejas) se asignan erróneamente valores altos. Esto resulta en estimaciones de valor ruidosas y políticas de control frágiles. Además, los métodos existentes que intentan abordar esto mediante arquitecturas de cuasimétrica (por ejemplo, IQE, MRN) a menudo sufren de un rendimiento inconsistente en diferentes dominios (por ejemplo, funcionando bien en la navegación por laberintos pero fallando en la manipulación robótica) o introducen inestabilidad en el entrenamiento.

2. Metodología: Aprendizaje de Valor Alineado Latente (LAVL)

Los autores proponen Aprendizaje de Valor Alineado Latente (LAVL), un algoritmo de GCRL offline que integra una arquitectura de función de valor novedosa con un marco de planificación jerárquica.

2.1. Red de Alineación Latente (LAN)

La innovación central es la Red de Alineación Latente (LAN), una arquitectura de función de valor diseñada para imponer un sesgo inductivo apropiado para la generalización del valor.

• Arquitectura: A diferencia de los MLP estándar o los modelos de cuasimétrica estricta, LAN parametriza el valor condicionado al objetivo $V(s, g)$ como la distancia euclidiana negativa entre las representaciones latentes aprendidas del estado y el objetivo:
  $$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$$
  donde $\phi_S: \mathcal{S} \to \mathbb{R}^d$ y $\phi_G: \mathcal{G} \to \mathbb{R}^d$ son redes de representación de estado y objetivo asimétricas.
• Mecanismo: Al romper la estructura métrica estricta (permitiendo $\phi_S \neq \phi_G$), LAN introduce flexibilidad que permite que la función de valor generalice basándose en la geometría del espacio latente aprendido en lugar de la proximidad de estado euclidiana cruda. Esto mitiga el problema de la "sobre-generalización" donde el valor se propaga a través de obstáculos.
• Ventajas: LAN evita la inestabilidad del entrenamiento y las caídas de rendimiento específicas del dominio asociadas con restricciones de cuasimétrica estricta (como IQE), mientras mantiene el sesgo estructural necesario para una estimación precisa de la distancia temporal.

2.2. Aprendizaje de Valor con Regularización de Continuidad

Para estabilizar el aprendizaje en configuraciones de horizonte largo, LAVL aumenta el objetivo estándar de Aprendizaje de Valor Implícito (IVL) con un término de regularización de continuidad local.

• Objetivo: La pérdida total combina el objetivo TD ($L_{TD}$) con un término de regularización ($L_{Reg}$) que penaliza las fluctuaciones locales agudas en la función de valor entre estados vecinos:
  $$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$$
• Función: $L_{Reg}$ suprime el ruido de alta frecuencia en el paisaje de valor sin comprometer la consistencia global de Bellman, asegurando una propagación estable de recompensas escasas a lo largo de horizontes largos.

2.3. Marco de Política Jerárquica

LAVL adopta un marco de política jerárquica similar a HIQL, que consta de:

• Política de alto nivel ($\pi_h$): Genera una representación de subobjetivo $w$ condicionada al estado actual $s$ y al objetivo final $g$. En LAVL, el subobjetivo se define como una mapeo solo de objetivo $w = \phi(g)$, alineándose naturalmente con la parametrización de LAN.
• Política de bajo nivel ($\pi_l$): Produce acciones condicionadas al estado $s$ y al subobjetivo $w$.
• Entrenamiento: Ambas políticas se entrenan utilizando Regresión Ponderada por Ventaja (AWR), aprovechando las estimaciones de valor estables proporcionadas por LAN.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Identificación de la Generalización Errónea: Los autores identifican que el fracaso del GCRL offline en tareas de horizonte largo está fundamentalmente impulsado por funciones de valor que generalizan mediante proximidad euclidiana en lugar de distancia temporal. Demuestran que el sesgo inductivo en la arquitectura de la función de valor es el factor crítico para resolver esto, en lugar del objetivo de aprendizaje por sí solo.
2. Propuesta de LAVL: Introducen LAVL, un marco unificado que combina la Red de Alineación Latente (LAN) para una generalización de valor fiable, regularización de continuidad para un aprendizaje estable y una política jerárquica para la planificación de horizonte largo.
3. Superioridad Empírica: Experimentos extensos en el benchmark OGBench demuestran que LAVL supera consistentemente a los métodos existentes de GCRL offline más avanzados.

4. Resultados Experimentales

Los autores evaluaron LAVL en 22 conjuntos de datos de OGBench, que cubren tareas de navegación por laberintos (Point, Ant, Humanoid) y manipulación robótica (Cube, Scene) con horizontes variables y estrategias de recopilación de datos (navegar vs. unir).

• Rendimiento General: LAVL logró el rendimiento más alto en 20 de los 22 conjuntos de datos, superando significativamente a líneas base como GCIVL, QRL, HIQL y CGCIVL.
• Estabilidad de Horizonte Largo: En entornos de laberintos "gigantes", LAVL mantuvo una tasa de éxito del 85% con una caída relativa de solo el 9,6% en comparación con laberintos de tamaño mediano. Por el contrario, líneas base como HIQL y QRL sufrieron caídas catastróficas de rendimiento (caídas relativas del 75,4% y 61,7%, respectivamente).
• Unión de Trayectorias: En conjuntos de datos "unidos" (compuestos por trayectorias cortas y fragmentadas), LAVL mostró una caída mínima de rendimiento (1,1%) en comparación con los conjuntos de datos de navegación, mientras que otros métodos se degradaron significativamente (por ejemplo, una caída del 36,9% para HIQL).
• Manipulación Robótica: A diferencia de los métodos de cuasimétrica (por ejemplo, QRL) que fallaron en tareas de manipulación, LAVL logró altas tasas de éxito (por ejemplo, 88% en Scene-play), demostrando la robustez de LAN en diversos dominios.
• Estudios de Ablación: Los experimentos confirmaron que:
  • LAN supera a las arquitecturas de cuasimétrica (IQE, MRN) y a los enfoques basados en métricas (Hilbert) dentro del mismo marco jerárquico.
  • La combinación de LAN y políticas jerárquicas produce resultados superiores en comparación con políticas planas o el uso de LAN con políticas planas únicamente.
  • La regularización de continuidad proporciona ganancias significativas en tareas desafiantes (por ejemplo, aumentando la tasa de éxito en Pointmaze-giant-stitch del 35% al 95% en algunas configuraciones).

5. Significado y Afirmaciones

El artículo afirma que LAVL representa un avance significativo en el GCRL offline al abordar el cuello de botella fundamental de la generalización del valor.

• Insight Arquitectónico: El trabajo destaca que la elección de la arquitectura de la función de valor es más crítica que el objetivo de aprendizaje para lograr una generalización fiable. Argumenta que, aunque las funciones de valor óptimas son cuasimétricas, imponer restricciones de cuasimétrica estrictas durante el entrenamiento puede ser demasiado restrictivo; en su lugar, la alineación latente aprendida ofrece un sesgo inductivo más efectivo.
• Marco Unificado: LAVL unifica con éxito la generalización efectiva, el aprendizaje de valor estable y la planificación jerárquica, permitiendo un rendimiento robusto en tareas que requieren razonamiento de horizonte largo y unión de trayectorias.
• Impacto Práctico: El método logra resultados de vanguardia sin requerir un ajuste extenso de hiperparámetros ni representaciones oráculo, convirtiéndolo en una solución práctica para problemas complejos de toma de decisiones offline.

Los autores concluyen que, aunque su trabajo se centra en el aprendizaje de valor y la extracción jerárquica, los hallazgos sobre el sesgo inductivo arquitectónico pueden extenderse a algoritmos de RL basados en valor más amplios, y el trabajo futuro podría explorar extender estos métodos al control robótico en el mundo real de alta dimensión.