Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

1. El Problema

El aprendizaje de cómo alcanzar objetivos en entornos complejos es un desafío fundamental en la IA. Los métodos modernos de Aprendizaje por Refuerzo Condicionado a Objetivos (GCRL) enfrentan dificultades significativas al razonar sobre horizontes temporales largos (tareas que requieren miles de pasos).

El problema central radica en la estimación de la distancia temporal entre pares de observaciones:

• Métodos de Diferencia Temporal (TD): Realizan actualizaciones locales. Aunque ofrecen garantías teóricas de optimalidad, sufren de errores acumulativos en horizontes largos, lo que degrada su rendimiento.
• Métodos de Montecarlo (MC): Realizan actualizaciones globales y funcionan bien en la práctica, pero carecen de garantías teóricas de optimalidad y a menudo solo recuperan la función de valor del comportamiento ($Q_\beta$) en lugar de la óptima ($Q^*$).

Existe una brecha entre la capacidad de generalización de horizonte (realizar tareas más largas que las vistas en entrenamiento) y la capacidad de "costura" (stitching, combinar sub-tareas aprendidas para formar nuevas secuencias), especialmente en entornos de alta dimensionalidad y con observaciones visuales.

2. Metodología: Multistep Quasimetric Estimation (MQE)

Los autores proponen MQE, un método de GCRL offline que integra la propagación global de valores de los métodos MC con la estructura de las distancias cuasimétricas, sin necesidad de jerarquías explícitas.

Componentes Clave:

1. Arquitectura Cuasimétrica:

   • Se utiliza una red neuronal que parametriza una función de distancia $d(s, g)$ que satisface la desigualdad triangular (propiedad de cuasimétrica).
   • Se emplea la arquitectura Metric Residual Network (MRN), que divide la representación en componentes asimétricos (máximo de ReLU) y simétricos (norma L2) para garantizar que la distancia aprendida respete la estructura geométrica necesaria para la planificación.
   • La función de valor se define como $V_g(s) = V_g(g)e^{-d(s,g)}$, convirtiendo el problema de aprendizaje de valores en un problema de aprendizaje de distancias.

2. Retornos Multietapa (Multistep Returns):

   • A diferencia de los métodos anteriores que usan actualizaciones de un solo paso (TD) o actualizaciones globales puras, MQE utiliza retornos multietapa.
   • En lugar de actualizar solo hacia el siguiente estado $s'$, el algoritmo selecciona "puntos de paso" (waypoints) $s_w$ aleatorios a lo largo de la trayectoria futura.
   • La actualización se realiza sobre una mezcla de distribuciones (Bernoulli y Geométrica) para seleccionar estos puntos de paso, permitiendo que la señal de valor se propague a través de múltiples pasos en una sola actualización.

3. Invarianza a la Acción (Action Invariance):

   • Para asegurar que la función de valor $V(s)$ sea independiente de la acción tomada en el estado actual (una propiedad óptima), se impone una restricción de invarianza: $d(s, (s, a)) = 0$.
   • Se introduce una pérdida específica ($L_I$) que penaliza la desviación de esta propiedad, estabilizando el entrenamiento y evitando soluciones triviales.

4. Extracción de la Política:

   • La política se extrae minimizando la distancia aprendida entre el estado actual y el objetivo, utilizando un gradiente de política determinista profundo regularizado por comportamiento (DDPG + BC).

3. Contribuciones Clave

• Primera integración exitosa: MQE es el primer método offline que combina eficazmente retornos multietapa con arquitecturas cuasimétricas para lograr una propagación global de valores con garantías teóricas parciales.
• Generalización de Horizonte Superior: El método demuestra una capacidad excepcional para generalizar a horizontes mucho más largos que los presentes en el conjunto de datos de entrenamiento (hasta 4000 pasos).
• Composiciónalidad en el Mundo Real: Es el primer método end-to-end que logra "costura" (stitching) en tareas de manipulación robótica del mundo real (BridgeData) a partir de un conjunto de datos sin etiquetar, combinando primitivas de tareas simples en secuencias complejas.
• Estabilidad: La combinación de la invarianza a la acción y la estructura cuasimétrica permite un entrenamiento estable incluso con datos ruidosos.

4. Resultados Experimentales

Evaluación Simulada (OGBench)

• Entornos: Se probaron en 13 entornos basados en estados y 5 basados en píxeles, incluyendo un nuevo entorno "Colossal" (50% más grande que los existentes) que requiere hasta 4000 pasos.
• Rendimiento: MQE superó significativamente a los métodos state-of-the-art (como HIQL, TMD, CRL, GCIQL).
  • En tareas de costura (stitching) en laberintos gigantes, MQE mostró mejoras de hasta 10x en comparación con los mejores métodos anteriores.
  • Fue el único método que logró tasas de éxito no nulas en los laberintos "Colossal", demostrando una robustez superior en horizontes extremadamente largos.

Evaluación en el Mundo Real (BridgeData)

• Tareas: Manipulación robótica con un brazo WidowX250. Se evaluaron tareas de "Pick and Place" (agarrar y colocar) secuenciales (hasta 4 objetos) y tareas dependientes (abrir un cajón y colocar un objeto dentro).
• Resultados:
  • MQE logró completar tareas de 4 pasos consecutivos (Quadruple PnP) y tareas dependientes complejas, donde otros métodos (GCBC, GCIQL, TRA) fallaron o tuvieron un rendimiento muy bajo.
  • Demostró una capacidad de generalización composicional que no se había visto previamente en algoritmos de RL offline sin planificadores de alto nivel.

Estudios de Ablación

• Invarianza a la Acción: La eliminación de la pérdida de invarianza ($L_I$) redujo drásticamente el éxito (de ~26% a ~8%), confirmando su importancia crítica.
• Muestreo de Puntos de Paso: El uso de una distribución geométrica para seleccionar los waypoints fue superior a distribuciones uniformes o intervalos fijos, permitiendo una mejor generalización entre observaciones separadas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la escalabilidad del RL offline para robots.

1. Superación de la brecha Teórico-Práctica: Logra un equilibrio entre las garantías teóricas de los métodos TD y la eficacia práctica de los métodos MC.
2. Viabilidad Robótica: Demuestra que es posible entrenar políticas de manipulación complejas y de largo alcance en robots reales utilizando únicamente datos offline sin etiquetar, eliminando la necesidad de costosas recolecciones de datos online o arquitecturas jerárquicas manuales.
3. Generalización: Abre la puerta a agentes que pueden aprender nuevas tareas combinando habilidades aprendidas previamente, un paso crucial hacia agentes robóticos verdaderamente generales.

En resumen, MQE establece un nuevo estándar para el aprendizaje de objetivos en horizontes largos, demostrando que la combinación de estructuras geométricas (cuasimétricas) y actualizaciones multietapa es la clave para resolver tareas complejas de planificación en entornos estocásticos y de alta dimensión.