🤖 machine learning

Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL

El artículo propone DCRL (Divide-and-Conquer RL), un método de aprendizaje por refuerzo fuera de línea condicionado a objetivos y recursivo que descompone las trayectorias en árboles binarios balanceados para reducir la profundidad del bootstrap y la acumulación de errores, superando así sustancialmente a las bases planas y jerárquicas existentes en tareas de largo horizonte.

Autores originales: Hyeonseong Jeon, Youngwoon Lee

Publicado 2026-09-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hyeonseong Jeon, Youngwoon Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existe un desafío específico conocido como aprendizaje condicionado por objetivos. Imagine enseñar a un robot no solo a caminar, sino a caminar hacia una silla específica, o hacia una puerta específica, o hacia un interruptor de luz específico, utilizando únicamente una biblioteca de videos pasados de otros robots moviéndose. El robot debe observar estas grabaciones antiguas, descifrar cómo ir del punto A al punto B y luego intentar hacerlo por sí mismo. Esto funciona bien para trayectos cortos. Si el objetivo está a solo unos pocos pasos de distancia, el robot puede conectar los puntos fácilmente. Pero cuando el viaje es largo —que requiere cientos o miles de pasos para alcanzar un destino distante— el robot suele perderse. Le cuesta recordar el inicio del camino mientras intenta planificar el final, y los pequeños errores en su memoria de pasos cortos se acumulan en errores masivos para cuando llega a la meta.

Este problema se vuelve aún más difícil cuando el robot no puede aprender mediante el ensayo y error en el mundo real. En muchos escenarios del mundo real, como operar maquinaria pesada o navegar por una fábrica compleja, cometer errores es demasiado peligroso o costoso. El robot debe aprender enteramente de un conjunto de datos fijo de experiencias pasadas, un campo conocido como aprendizaje por refuerzo fuera de línea (offline reinforcement learning). Los investigadores han sabido durante mucho tiempo que, para resolver un viaje largo, se debe comprender los segmentos más cortos que lo componen. Sin embargo, los métodos estándar para enseñar a los robots a partir de estos conjuntos de datos estáticos suelen intentar aprender todo el viaje a la vez, o utilizan un orden de aprendizaje aleatorio o desordenado entre segmentos cortos y largos. Este enfoque es como intentar leer un libro pasando páginas al azar; el robot termina adivinando el significado de un capítulo largo basándose en una oración que aún no ha comprendido completamente, lo que conduce a la confusión y al fracaso.

Un equipo de investigadores de la Universidad de Yonsei y la Universidad Nacional de Seúl ha propuesto una nueva forma de enseñar a estos robots, llamada DCRL. En lugar de adivinar todo el camino a la vez, su método descompone cada viaje largo en una jerarquía estructurada paso a paso, muy parecido a organizar una tarea grande mediante el dominio primero de las piezas más pequeñas y luego combinándolas. Los investigadores tomaron un camino largo de un conjunto de datos y lo dividieron exactamente a la mitad, luego dividieron esas mitades a la mitad nuevamente, continuando este proceso hasta llegar a pasos individuales. Luego enseñaron al robot a comprender estos movimientos diminutos de un solo paso. Una vez que el robot estuvo seguro de estos pequeños pasos, utilizó ese conocimiento para comprender los segmentos ligeramente más largos, y luego los más largos, construyendo su comprensión desde la base hacia arriba. Esta estrategia de "divide y vencerás" asegura que el robot nunca intente aprender una ruta larga y compleja hasta que ya haya dominado las rutas más cortas que la componen.

Los investigadores descubrieron que este enfoque estructurado resolvió uno de los problemas importantes que habían plagado a los métodos anteriores. Primero, evitó que el robot hiciera conjeturas optimistas. Los métodos antiguos a menudo observaban muchos puntos intermedios posibles y elegían el que parecía mejor, esperando encontrar un atajo. Pero debido a que los datos eran limitados, el robot a menudo elegía un punto que parecía bueno solo debido a un error en su memoria, y luego construía todo su plan sobre ese error. El nuevo método evita esto siguiendo estrictamente el camino real mostrado en los datos, dividiéndolo exactamente en el medio y aprendiendo el valor de esa ruta específica sin adivinar.

Al ser probado en una variedad de tareas difíciles, incluyendo la navegación de un robot humanoide gigante a través de un laberinto y la resolución de rompecabezas complejos, este nuevo método superó a todos los enfoques previos. En las cinco tareas de horizonte largo más desafiantes disponibles en su banco de pruebas, el nuevo método mejoró la puntuación de éxito promedio de 55 a 64, superando incluso a sistemas jerárquicos más complejos que anteriormente se consideraban la vanguardia. En una prueba específica que involucraba a un robot humanoide en un laberinto masivo, el nuevo método alcanzó una tasa de éxito del 93 por ciento, mientras que el siguiente mejor método solo alcanzó el 79 por ciento. Además, en el entorno CALVIN, el método demostró su capacidad para manejar secuencias de tareas, logrando éxito en 4 subtareas consecutivas. Quizás lo más impresionante sea que, en una tarea que involucraba un cubo que requería ocho movimientos separados para resolverse, el nuevo método fue el único que pudo completar la tarea con éxito, logrando una tasa de éxito del 5 por ciento mientras todos los demás métodos fallaban por completo.

Los investigadores también descubrieron que el orden en el que el robot aprende es fundamental. Mientras que los métodos anteriores suelen utilizar un orden de aprendizaje desordenado o aleatorio entre segmentos, el éxito de DCRL radica en su enfoque "de abajo hacia arriba". El estudio sugiere que, al respetar la dependencia natural de los viajes largos respecto a los pasos cortos, y al organizar el proceso de aprendizaje para reflejar esa dependencia, los robots pueden aprender a navegar rutas mucho más largas y complejas que nunca. Este trabajo no solo ofrece un nuevo algoritmo; proporciona una comprensión más clara de cómo escalar la inteligencia artificial para manejar las tareas largas e intrincadas que definen el mundo real.

Resumen Técnico: Aprendizaje de Valor Recursivo para RL Condicionado a Objetivos de Largo Horizonte en Entornos Offline

Planteamiento del Problema

Escalar el Aprendizaje por Refuerzo Condicionado a Objetivos (GCRL) offline a tareas de largo horizonte enfrenta dos desafíos principales:

Acumulación de Errores vía Dependencia: Las estimaciones de valor de largo alcance dependen inherentemente de las estimaciones de corto alcance. Los métodos estándar de GCRL offline suelen realizar el bootstrapping de valores de largo alcance a partir de valores de corto alcance que aún no han convergido o son inexactos, lo que provoca errores compuestos.
Sobreestimación vía Backups Basados en Máximos: Los métodos estándar de tipo Bellman y los backups transitivos seleccionan de forma optimista entre acciones o estados intermedios (por ejemplo, $\max_w V(s, w) \cdot V(w, g)$ ). Con datos offline finitos, este proceso de selección tiende a favorecer candidatos sobreestimados, propagando sus errores a través de backups repetidos y creando grandes inconsistencias globales.

Los métodos existentes, incluyendo enfoques jerárquicos y el aprendizaje transitivo estándar (como Transitive RL o TRL), a menudo fallan al no imponer explícitamente el orden de dependencia donde los valores de horizonte corto deben aprenderse antes que los de horizonte largo, o bien dependen de selecciones ruidosas y optimistas que amplifican los errores a lo largo de horizontes extensos.

Metodología: DCRL (Aprendizaje por Refuerzo de Divide y Vencerás)

Los autores proponen DCRL, un algoritmo que instancia explícitamente una estrategia de divide y vencerás para el aprendizaje de valores. DCRL aborda los desafíos mencionados mediante tres mecanismos centrales:

1. Estructura Recursiva de Divide y Vencerás

En lugar de muestrear segmentos de trayectoria de longitudes arbitrarias de forma independiente, DCRL descompone recursivamente un segmento de trayectoria muestreado $(s_i, s_j)$ en un árbol binario balanceado:

Dividir: Un segmento se divide en su punto medio $k = \lfloor (i+j)/2 \rfloor$ en dos hijos: $(s_i, s_k)$ y $(s_k, s_j)$ . Esta recursión continúa hasta alcanzar segmentos de un solo paso (hojas).
Vencer: La función de valor se entrena de abajo hacia arriba (bottom-up). Las hojas de un solo paso se fundamentan (por ejemplo, $V(s_i, s_{i+1}) = \gamma$ ). Los nodos padres se actualizan solo después de que sus hijos hayan sido entrenados.
Beneficio: Esta estructura reduce la profundidad de bootstrap en el peor de los casos de lineal ( $O(H)$ ) en los métodos estándar a logarítmica ( $O(\log_2 H)$ ) respecto al horizonte $H$ . Esta cadena de dependencia más corta corresponde empíricamente a una acumulación de errores significativamente más lenta.

2. Factorización de Ruta Exacta (Actualizaciones Libres de Selección)

Para evitar la sobreestimación causada por la maximización sobre estados intermedios ruidosos, DCRL utiliza una factorización exacta a lo largo de la ruta observada para el valor de comportamiento $V_\tau$ :
$V_\tau(s, g) = V_\tau(s, w) \cdot V_\tau(w, g)$
donde $w$ es el punto medio fijo del segmento.

A diferencia de los backups transitivos estándar que maximizan sobre todos los posibles $w$ , esta regla de actualización evalúa una única ruta soportada por el conjunto de datos.
Esto asegura que el algoritmo aprenda valores de comportamiento (valores de las rutas demostradas) sin introducir sesgo de selección. Los autores demuestran que la suboptimidad de la ruta crece bajo composición, lo que motiva la necesidad de aprender primero de constituyentes más cortos y menos subóptimos.

3. Propagación de Valor para la Optimalidad

Si bien la factorización recursiva aprende valores de comportamiento fiables, no descubre inherentemente rutas óptimas más cortas que no estén presentes en la trayectoria específica. Para recuperar los valores óptimos ( $V^*$ ), DCRL emplea un segundo objetivo:

Propagación Multistep: La función de valor se entrena utilizando objetivos reetiquetados globalmente (estilo Hindsight Experience Replay) con una pérdida de cuantil superior (upper-expectile loss).
Mecanismo: Este objetivo compone segmentos a través de diferentes trayectorias para identificar rutas más cortas.
Sinergia: El componente de divide y vencerás recursivo proporciona una base de baja dependencia y fiable para los valores de comportamiento de largo alcance, la cual el objetivo de propagación aprovecha para componer rutas óptimas.

Implementación: Programación de Slots Paralelos (Parallel Slot Scheduling)

Para ejecutar este entrenamiento recursivo de manera eficiente sin sacrificar la diversidad de los lotes (batches), DCRL utiliza programación de slots:

Múltiples "slots" independientes mantienen árboles recursivos separados para diferentes segmentos raíz.
Cada slot procesa su árbol desde las hojas hacia la raíz.
Durante el entrenamiento, se toman muestras de estos slots. Debido a que los slots se vacían y se rellenan a ritores distintos, los minibatches contienen una mezcla de longitudes de segmento (cortos y largos) mientras preservan estrictamente el orden de entrenamiento hijo-a-padre dentro de cada slot.

Contribuciones Clave

Algoritmo: La introducción de DCRL, que construye explícitamente árboles binarios balanceados sobre segmentos intra-trayectoria, impone el entrenamiento de abajo hacia arriba mediante la factorización de valor y utiliza la programación de slots para la ejecución paralela.
Análisis: Una prueba teórica que demuestra que DCRL reduce la profundidad de bootstrap en el peor de los casos de lineal a logarítmica en el horizonte. El análisis empírico en un entorno controlado demuestra que esta estructura de dependencia más corta conduce a una acumulación de errores sustancialmente más lenta en comparación con los métodos de profundidad lineal.
Rendimiento: DCRL alcanza el estado del arte en diversos benchmarks de GCRL offline, incluyendo entornos basados en estados y en píxeles. Notablemente, en las cinco tareas de largo horizonte más desafiantes de OGBench, DCRL mejora la mejor puntuación promedio previa de 55 a 64, superando tanto a los baselines planos como a los jerárquicos.

Resultados

Tareas de Largo Horizonte: En tareas de OGBench como humanoidmaze-giant y entornos de rompecabezas complejos, DCRL supera significativamente a los métodos planos previos (ej. IQL, TD, TRL) y a los métodos jerárquicos (ej. HIQL, SHARSA). Es el único método plano que logra un éxito distinto de cero en la tarea cube-octuple.
Acumulación de Errores: En experimentos controlados (entorno de cerradura de combinación), el error de Q de DCRL permanece relativamente plano a medida que el horizonte aumenta, mientras que los métodos estándar de TD y TRL exhiben un rápido crecimiento del error.
Estudios de Ablación: Eliminar la programación recursiva (entrenar en orden aleatorio) provoca una caída drástica en el rendimiento (la tasa de éxito cae del 93% al 18% en humanoidmaze-giant), confirmando la necesidad del orden de hijo-a-padre. Eliminar el objetivo de propagación también degrada el rendimiento, validando la necesidad tanto del aprendizaje de comportamiento como de la recuperación de valores óptimos.
Comparación con TRL: Aunque Transitive RL (TRL) utiliza backups intra-trayectoria similares, carece de la estructura recursiva explícita y la programación balanceada, lo que resulta en una profundidad de peor caso lineal y una mayor acumulación de errores.

Significado y Limitaciones

El artículo sostiene que DCRL proporciona una base para escalar GCRL a horizontes más largos mitigando la acumulación de errores inducida por el horizonte mediante un proceso de aprendizaje recursivo estructurado. Demuestra que modelar explícitamente la estructura de dependencia del aprendizaje de valores (segmentos más cortos antes que los más largos) es crítico para la estabilidad en entornos offline.

Limitaciones reconocidas por los autores:

Dinámicas Deterministas: Al igual que otros métodos de desigualdad triangular, DCRL asume dinámicas deterministas. En entornos estocásticos, la factorización exacta $E[XY] \neq E[X]E[Y]$ generalmente falla.
Superioridad Jerárquica en Dominios Específicos: Aunque DCRL destaca en tareas de largo horizonte como humanoidmaze-giant, los enfoques jerárquicos siguen superándolo en tareas de cube-manipulation, lo que sugiere que la dificultad de la tarea no es solo una función de la longitud del horizonte y que la jerarquía puede seguir siendo beneficiosa en ciertos contextos.

Los autores identifican la extensión del muestreo recursivo a dinámicas estocásticas y la comprensión de las condiciones bajo las cuales la jerarquía sigue siendo beneficiosa como direcciones importantes para trabajos futuros.