Resumen Técnico: Refinamiento Adaptativo de Subobjetivos de Grueso a Fino para Aprendizaje por Refuerzo Condicionado a Objetivos Offline de Largo Alcance

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Condicionado a Objetivos Offline (GCRL) busca aprender políticas que alcancen diversos objetivos a partir de un conjunto de datos fijo de trayectorias, sin interacción adicional con el entorno. Aunque es efectivo para tareas de corto alcance, este planteamiento enfrenta desafíos significativos en tareas de largo alcance.

La dificultad principal surge de la estimación de valor de largo alcance. Bajo recompensas escasas para alcanzar el objetivo, los pares estado-objetivo distantes proporcionan una supervisión directa débil. En consecuencia, la función de valor debe propagar la información del objetivo a través de muchas actualizaciones bootstrap. A medida que aumenta la distancia temporal, los errores de aproximación se acumulan a lo largo de la cadena de respaldo, lo que lleva a evaluaciones inexactas de objetivos lejanos. Entrenar directamente una política plana condicionada al objetivo sobre estas estimaciones de valor ruidosas resulta en una toma de decisiones de largo alcance poco fiable.

Los métodos jerárquicos existentes intentan mitigar esto introduciendo subobjetivos intermedios, reduciendo el alcance de largo plazo a una secuencia de decisiones de menor rango. Sin embargo, estos métodos a menudo dependen de abstracciones temporales fijas (por ejemplo, horizontes de subobjetivos fijos) o profundidades de jerarquía fijas. Tales escalas fijas frecuentemente no coinciden con los pares estado-objetivo que tienen horizontes de alcanzabilidad variables:

• Subobjetivos excesivamente locales pueden lograr solo un progreso marginal, donde pequeñas diferencias de valor son dominadas por errores de estimación de largo alcance, lo que lleva a elecciones engañosas.
• Subobjetivos excesivamente distantes pueden caer fuera del rango de ejecución confiable de la política de bajo nivel.

La pregunta central abordada es si un agente jerárquico offline puede identificar adaptativamente un objetivo intermedio adecuado para cada par estado-objetivo específico, en lugar de depender de una escala de descomposición prescrita.

2. Metodología: CFHRL

Los autores proponen Aprendizaje por Refuerzo Jerárquico Condicionado a Objetivos de Grueso a Fino (CFHRL), un marco GCRL completamente offline que refina adaptativamente los objetivos distantes antes de la ejecución. El marco opera bajo el principio de que un subobjetivo no necesita ser un punto medio exacto u óptimo global; solo necesita proporcionar progreso confiable y reducir la dificultad restante de alcance.

2.1 Componentes Principales

CFHRL utiliza tres políticas aprendidas coordinadas por un costo de alcanzabilidad compartido $D_\phi(s, g)$, derivado de una función de valor condicionada al objetivo:

1. Planificador de Refinamiento ($\pi_p$): Propone objetivos intermedios $u$ condicionados al estado actual $s$ y al objetivo de planificación actual $g$.
2. Política de Abstracción ($\pi_z$): Mapea el objetivo refinado $\bar{g}$ a un comando local $z$.
3. Política de Bajo Nivel ($\pi_a$): Mapea el comando $z$ a acciones primitivas $a$.

2.2 Refinamiento Adaptativo de Grueso a Fino

En lugar de una jerarquía fija, CFHRL emplea un proceso de refinamiento recursivo con una regla de parada adaptativa:

1. Inicialización: Comenzar con el objetivo final $g^{(0)} = g$.
2. Verificación de Ejecutabilidad: En el nivel de refinamiento $\ell$, verificar si el objetivo actual $g^{(\ell)}$ es localmente ejecutable desde el estado $s$ utilizando un costo de alcanzabilidad aprendido:
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   donde $\epsilon_{exec}$ es un umbral.
3. Bucle de Refinamiento: Si se cumple la condición, el refinamiento se detiene y $g^{(\ell)}$ se pasa al módulo de ejecución. De lo contrario, el planificador propone un nuevo objetivo intermedio $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$, que se convierte en el siguiente objetivo $g^{(\ell+1)}$.
4. Terminación: El proceso se repite hasta que el objetivo sea localmente alcanzable o se alcance una profundidad máxima $K_{max}$.

Este mecanismo asegura que la profundidad efectiva de descomposición esté determinada por la alcanzabilidad estimada de cada par estado-objetivo, y no por una escala temporal fija.

2.3 Aprendizaje Offline del Planificador de Refinamiento

El planificador se entrena completamente a partir de datos offline sin interacción online ni subobjetivos etiquetados manualmente:

• Construcción de Candidatos: Para un estado $s_t$ y un objetivo $g$, se muestrea un conjunto de subobjetivos candidatos $\mathcal{C}_D$ del conjunto de datos offline (estados futuros si $g$ está en la misma trayectoria, de lo contrario de la distribución de replay).
• Puntuación: Los candidatos se puntúan mediante el costo de alcanzabilidad de cuello de botella:
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  Esta métrica favorece candidatos que contraen el horizonte residual máximo.
• Objetivo de Entrenamiento: El planificador se entrena mediante imitación ponderada guiada por valor. Los candidatos se ponderan mediante un softmax sobre sus puntuaciones negativas, lo que incentiva al planificador a imitar subobjetivos soportados por replay que descomponen el problema en problemas de alcance residual más fáciles.

2.4 Políticas de Ejecución

Las políticas de abstracción y de bajo nivel se entrenan utilizando clonación de comportamiento ponderada por progreso en segmentos de corto alcance. Las transiciones que aumentan el valor aprendido hacia un objetivo local se asignan pesos de imitación más altos, sesgando las políticas hacia un comportamiento localmente progresivo.

3. Análisis Teórico

El artículo proporciona un análisis estilizado para justificar por qué el refinamiento adaptativo es más robusto que la selección de escala local fija bajo estimaciones ruidosas:

• Fallo de Escala Fija: En una jerarquía de escala local fija, a medida que aumenta el horizonte total $T$, la relación señal-ruido para distinguir entre movimientos locales correctos e incorrectos desaparece. La probabilidad de seleccionar el candidato incorrecto se aproxima a 0.5 cuando $T \to \infty$.
• Suficiencia de Contracción Aproximada: El análisis muestra que no es necesaria la predicción exacta del punto medio. Es suficiente que el costo aprendido preserve un margen grueso entre candidatos que contraen el horizonte (reducen la distancia restante por un factor constante $\rho < 1$) y aquellos que no lo hacen.
• Límites de Error: La probabilidad de fallo general está acotada por la suma de fallos de refinamiento (fallar en seleccionar un subobjetivo contrayente) y errores de ejecución local final. Esto motiva la regla de parada umbralizada por valor: refinar mientras el objetivo esté demasiado distante, y detenerse una vez que se estime que el objetivo es localmente ejecutable.

4. Resultados Experimentales

Los autores evalúan CFHRL en OGBench, un benchmark para control condicionado a objetivos offline, que cubre tareas de locomoción (PointMaze, AntMaze, HumanoidMaze, AntSoccer) y manipulación (Cube, Scene).

• Rendimiento: CFHRL logra la puntuación agregada más alta (37.5) en comparación con líneas base como HIQL (23.2), GCIVL (16.5) y métodos planos.
• Ganancias de Largo Alcance: Las mejoras más significativas se observan en tareas de tipo laberinto de largo alcance (por ejemplo, PointMaze-Giant-Stitch), donde CFHRL mejora las tasas de éxito del 0% (para líneas base planas/de jerarquía fija) al 57%.
• Estudios de Ablación:
  • Parada Adaptativa: Eliminar la regla de parada adaptativa y forzar profundidades de refinamiento fijas ($K=2, 3$) degrada el rendimiento, confirmando que un refinamiento excesivo acumula errores del planificador.
  • Necesidad del Planificador: Reemplazar el planificador aprendido con subobjetivos aleatorios del conjunto de datos resulta en un fallo, demostrando que los subobjetivos deben seleccionarse basándose en costos de alcanzabilidad aprendidos.
  • Presupuesto de Candidatos: Aumentar el número de candidatos de entrenamiento ($N_c$) mejora el rendimiento hasta cierto punto ($N_c=16$), equilibrando la calidad de la supervisión y el rendimiento de entrenamiento.
• Limitaciones: CFHRL tiene un rendimiento inferior en tareas de manipulación ricas en contacto (Cube) en comparación con métodos basados en valor planos, lo que sugiere que la descomposición tipo waypoints es menos efectiva para tareas que requieren dinámicas de contacto precisas.

5. Significado y Afirmaciones

El artículo afirma tres contribuciones principales:

1. Formulación: Plantea el GCRL offline de largo alcance como refinamiento de subobjetivos de tiempo de parada adaptativo, donde la profundidad de descomposición está determinada por la ejecutabilidad aprendida y no por un horizonte fijo.
2. Algoritmo: Introduce un objetivo de contracción soportado por replay que entrena un planificador de refinamiento amortizado sin requerir búsqueda de grafos en tiempo de prueba ni interacción online.
3. Validación: Proporciona tanto un análisis estilizado como ablaciones empíricas que demuestran que la contracción aproximada y la parada adaptativa mejoran efectivamente el alcance de objetivos de largo alcance en entornos de tipo laberinto.

Los autores mantienen una postura modesta, reconociendo que el método depende de la calidad del costo de alcanzabilidad aprendido y que la interfaz de abstracción actual (representaciones simples de objetivos locales) puede ser insuficiente para tareas complejas de manipulación que requieren secuencias de contacto precisas. Sugieren que el trabajo futuro debería centrarse en combinar la planificación adaptativa con abstracciones más ricas centradas en objetos y extender el marco a otros estimadores de valor de GCRL offline.