Resumen Técnico: Explotar la Regularidad de las Dinámicas Locales para Habilidades Reutilizables en RL Jerárquico Offline

Enunciado del Problema

El Aprendizaje por Refuerzo Jerárquico (HRL) busca resolver tareas de largo horizonte mediante el descubrimiento y la reutilización de habilidades temporalmente extendidas. Sin embargo, un desafío persistente es obtener habilidades que sean genuinamente reutilizables en diferentes contextos. Los enfoques existentes a menudo sufren de inestabilidad en el entrenamiento al aprender conjuntamente habilidades y políticas, o no logran aprovechar eficazmente la reutilizabilidad. Aunque las políticas condicionadas por objetivos han desacoplado el entrenamiento, a menudo pierden la abstracción temporal y la reutilizabilidad consistente inherentes a las verdaderas habilidades. Específicamente, razonar directamente en el espacio global de estado-objetivo dificulta que las políticas de bajo nivel reconozcan cuándo el mismo comportamiento puede reutilizarse en diferentes contextos globales.

Metodología

Los autores proponen CARL (Representaciones Contrastivas Basadas en Acciones para Control Local Reutilizable), un método diseñado para aprender representaciones de dinámicas locales a partir de conjuntos de datos offline para facilitar la reutilización de habilidades.

Fundamento Teórico: Dinámicas Locales y Bisimulación

La intuición central son las dinámicas locales: muchas regiones locales del espacio de estados comparten dinámicas similares, lo que significa que las transiciones locales en diferentes contextos globales requieren secuencias de acciones similares.

• MDP de k-bola: Los autores formalizan las dinámicas locales definiendo un MDP de horizonte finito (la $k$-bola) anclado en un estado $s$, que contiene todos los estados alcanzables en $k$ pasos.
• Bisimulación de Dinámicas: Dos estados se consideran que comparten dinámicas locales si sus MDPs de $k$-bola correspondientes son bisimilares en dinámicas. Esto significa que existe una relación donde las probabilidades de transición bajo secuencias de acciones idénticas son equivalentes, permitiendo tratar los estados como intercambiables para comportamientos de alcanzar objetivos de corto horizonte.

Algoritmo Práctico: CARL

Estimar directamente la bisimulación en dominios continuos de alta dimensión es intratable. En su lugar, CARL aprovecha la similitud conductual como heurística. La hipótesis es que en conjuntos de datos offline casi expertos, los pares estado-objetivo $(s_1, g_1)$ y $(s_2, g_2)$ que admiten la misma secuencia de acciones de $k$ pasos $a_k$ son conductualmente similares.

CARL aprende incrustaciones $\phi(s, g)$ para pares estado-objetivo y $\psi(a_k)$ para secuencias de acciones utilizando un objetivo de aprendizaje contrastivo (InfoNCE):
$$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$$
Este objetivo alinea los pares estado-objetivo con las secuencias de acciones que los logran. En consecuencia, los pares estado-objetivo que requieren habilidades locales similares se incrustan cerca en el espacio latente, independientemente de su ubicación global.

Integración con HRL

CARL se integra en algoritmos existentes de RL jerárquico offline, específicamente HIQL y HGCBC.

• La representación aprendida $\phi(s, g)$ se utiliza como entrada para la política y la función de valor de bajo nivel.
• La política de alto nivel genera subobjetivos en este espacio de representación aprendido.
• Esto permite que la política de bajo nivel reutilice la misma habilidad (secuencia de acciones) en diferentes contextos globales sin tener que reaprender la política desde cero para cada región.

Contribuciones Clave

1. Formalización de Dinámicas Locales: El artículo define la equivalencia de estados basada en dinámicas locales (mediante MDPs de $k$-bola y bisimulación) en lugar de la equivalencia de valor de largo horizonte, proporcionando una base principista para la reutilización de habilidades.
2. Algoritmo CARL: Un marco práctico de aprendizaje contrastivo que aproxima la estructura de dinámicas locales a partir de datos offline, agrupando pares estado-objetivo según sus secuencias de acciones requeridas.
3. Validación Empírica: Demostración de que integrar CARL en HIQL y HGCBC mejora significativamente el rendimiento aguas abajo en la prueba de referencia OGBench en diversas tareas (locomoción, manipulación y rompecabezas complejos) y modalidades (basadas en estado y basadas en píxeles).
4. Análisis de la Estructura de Representación: Visualizaciones (UMAP) y análisis de vecinos más cercanos confirman que CARL agrupa con éxito estados globales distintos que requieren comportamientos locales similares (por ejemplo, "caminar hacia atrás" en diferentes ubicaciones de un laberinto).

Resultados

El artículo reporta experimentos extensos en la suite OGBench:

• Tareas Basadas en Estado: HIQL+CARL logró una tasa de victorias de 20/22 frente a HIQL estándar, con mejoras significativas en entornos complejos como el "laberinto gigante" (+30% en tareas de escena) y tareas de manipulación de "cubo". HGCBC+CARL logró 21/21 frente a HGCBC.
• Tareas Basadas en Píxeles: En entornos visuales, HIQL+CARL logró 13/14 victorias frente a HIQL, con ganancias notables en tareas de antmaze de largo horizonte (por ejemplo, +30% en variantes grandes/gigantes).
• Estudios de Ablación:
  • Contrastivo vs. Predicción: El objetivo contrastivo (InfoNCE) superó a las pérdidas de regresión directa (predicción), sugiriendo que es más efectivo para organizar la geometría latente para la reutilización de habilidades.
  • Secuencia de Acciones vs. Acción Única: Modelar secuencias completas de acciones ($a_k$) fue superior a modelar acciones individuales, confirmando la importancia de la estructura temporal.
  • Muestreo: El "muestreo interior" (usando estados intermedios dentro del horizonte de $k$ pasos) funcionó mejor que el "muestreo superficial" (usando solo el punto final).
• Robustez: CARL+HIQL mostró una sensibilidad similar a la cobertura del conjunto de datos y al desequilibrio que la línea base HIQL, indicando que CARL no exacerba los requisitos de datos.

Significado y Afirmaciones

Los autores afirman que la estructura de dinámicas locales proporciona una base principista para la extracción y reutilización de habilidades, ayudando a HRL a reconectar con las abstracciones temporales centrales en la toma de decisiones de largo horizonte. Al aprender incrustaciones que agrupan pares estado-objetivo según los comportamientos de corto horizonte que admiten, CARL proporciona un mecanismo concreto para la reutilización de habilidades que mejora los marcos existentes de RL jerárquico.

El artículo enfatiza que este enfoque permite a las políticas de alto nivel razonar sobre habilidades de bajo nivel de manera más efectiva, permitiendo la transferencia de comportamientos a través de contextos globalmente diferentes (por ejemplo, un humanoide levantándose en diferentes partes de un laberinto). Si bien el método depende de conjuntos de datos offline y horizontes fijos, los resultados sugieren que modelar explícitamente la reutilizabilidad local desbloquea beneficios de rendimiento, particularmente en dominios robóticos complejos y de alta dimensión donde reaprender políticas de bajo nivel para cada contexto es ineficiente.

El trabajo es modesto sobre sus limitaciones, señalando que la elección del horizonte de extracción $k$ depende del entorno y que el rendimiento en ciertas tareas (como aquellas con dinámicas estocásticas o generalización combinatoria extrema) sigue siendo un desafío. Se sugiere trabajo futuro para explorar el descubrimiento automático de habilidades, la abstracción de acciones y las representaciones de políticas de alto nivel.