Resumen Técnico: Búsqueda en Grafo en Tiempo de Prueba para Aprendizaje por Refuerzo Condicionado a Objetivos

Enunciado del Problema

El aprendizaje por refuerzo condicionado a objetivos (GCRL) fuera de línea tiene como objetivo entrenar agentes para alcanzar objetivos especificados por el usuario utilizando conjuntos de datos pre-recopilados, evitando los costos y riesgos de seguridad de la interacción en línea. Aunque es efectivo para tareas de horizonte moderado, las políticas estándar de GCRL fuera de línea a menudo fallan en tareas de largo horizonte. En entornos complejos (por ejemplo, grandes laberintos), los errores en la estimación de valores se acumulan, lo que lleva a políticas poco fiables que no pueden unir comportamientos de partes dispares del conjunto de datos.

Las soluciones anteriores a este problema han introducido una complejidad significativa, como planificadores generativos intensivos en cómputo, entrenamiento de conjuntos de funciones de valor distribuidas, el uso de representaciones geométricas especializadas o la dependencia de datos adicionales más allá del conjunto de datos fuera de línea. Estos enfoques a menudo operan bajo la suposición de que las funciones de valor condicionadas a objetivos estándar son inherentemente demasiado ruidosas o poco fiables para apoyar la planificación directa de largo horizonte.

Metodología: Búsqueda en Grafo en Tiempo de Prueba (TTGS)

Los autores proponen la Búsqueda en Grafo en Tiempo de Prueba (TTGS), un envoltorio de planificación ligero y libre de entrenamiento diseñado para potenciar políticas de GCRL congeladas. TTGS opera exclusivamente en tiempo de prueba, sin requerir supervisión adicional, actualizaciones de parámetros o interacción en línea.

Componentes Principales

1. Construcción del Grafo:

   • Se muestrea un subconjunto de estados del conjunto de datos fuera de línea para servir como vértices del grafo.
   • Se utiliza una señal de distancia para asignar pesos de arista entre estos vértices. Esta señal puede derivarse de:
     • Distancias derivadas del valor: Mapear la función de valor condicionada a objetivos preentrenada $V(s, g)$ a una estimación de conteo de pasos $\hat{d}(s, g)$. El artículo proporciona mapeos en forma cerrada para convenciones de recompensa comunes (por ejemplo, recompensas terminales dispersas o penalizaciones por paso).
     • Distancias específicas del dominio: Utilizar métricas geométricas como la distancia euclidiana entre posiciones corporales cuando están disponibles.
   • Mecanismo de Penalización Suave: Para abordar el problema de que las funciones de valor sobreestiman la conectividad (creando "agujeros de gusano" a través de brechas), TTGS emplea una función de penalización superlineal $p(\cdot)$ para transiciones que exceden un umbral de región de confianza $\tau$. Las aristas con distancias $D_{ij} < \tau$ conservan su distancia bruta, mientras que aquellas con $D_{ij} \ge \tau$ se asignan un peso $p(D_{ij})$ (por ejemplo, $x \cdot 1000^{x/\tau}$). Esto preserva la estructura métrica local mientras dirige al planificador hacia cadenas de saltos cortos y confiables, evitando que el grafo se fragmente (como lo haría un umbral rígido) o permitiendo saltos largos inviables.

2. Planificación en Tiempo de Prueba:

   • Búsqueda de Camino Más Corto: Dado un estado inicial $s_0$ y un objetivo $g$, el algoritmo localiza los vértices más cercanos en el grafo y calcula un camino más corto utilizando el algoritmo de Dijkstra. Esta ruta guía se calcula una vez por episodio.
   • Selección Adaptativa de Subobjetivos: Durante la ejecución, el agente no sigue la ruta ciegamente. En su lugar, selecciona un subobjetivo de la ruta precalculada basándose en un presupuesto de pasos $T$. El agente identifica el punto de referencia más lejano en la ruta que está dentro del presupuesto $T$ desde el estado actual. Si no existe tal punto de referencia, selecciona el siguiente punto de referencia inmediato para asegurar el progreso hacia adelante.
   • Ejecución de la Política: Se invoca la política base congelada $\pi(a | s, \tilde{g})$ con el estado actual y el subobjetivo seleccionado $\tilde{g}$.

Herramienta de Diagnóstico

El artículo introduce una relación de salto máximo ($\rho$) como un diagnóstico libre de despliegue para predecir si TTGS será beneficioso para una nueva tarea. $\rho$ es la relación entre el costo de arista máximo a lo largo de la ruta planificada y la distancia estimada total. Un $\rho$ bajo indica una cobertura suficiente de estados intermedios (favorable para TTGS), mientras que un $\rho$ alto sugiere que el conjunto de datos carece de estados puente, caso en el cual TTGS vuelve por defecto al comportamiento de la política base.

Contribuciones Clave

1. Reevaluación de las Funciones de Valor: Los autores demuestran que las funciones de valor estándar de GCRL fuera de línea, previamente consideradas demasiado poco fiables para la búsqueda, codifican una estructura geométrica local suficiente para una planificación robusta de largo horizonte cuando se procesan con un nuevo mecanismo de penalización suave.
2. Marco Libre de Entrenamiento: TTGS proporciona un método para mejorar el rendimiento de largo horizonte reutilizando políticas y funciones de valor existentes sin modificar el pipeline de entrenamiento, sin requerir supervisión adicional ni interacción en línea.
3. Rendimiento con Sobrecarga Mínima: Los resultados empíricos muestran que TTGS aumenta significativamente las tasas de éxito para agentes de GCRL fuera de línea de última generación (HIQL, QRL, GCIQL, SAW, OTA) con una sobrecarga computacional negligible (tiempo de planificación < 1 segundo por episodio).

Resultados Experimentales

El método se evaluó en la referencia OGBench, que cubre tareas de locomoción (pointmaze, antmaze, humanoidmaze) y manipulación.

• Tareas de Locomoción: TTGS logró ganancias sustanciales en tareas de "unión" de largo horizonte donde las políticas base suelen fallar.
  • En pointmaze-giant-stitch-v0, las tasas de éxito de HIQL mejoraron del 0.0% al 80.9%, y las de GCIQL del 0.0% al 98.0%.
  • En humanoidmaze-giant-stitch-v0, HIQL mejoró del 4.4% al 78.1%.
  • Estas mejoras a menudo igualaron o superaron a métodos complejos que requieren entrenamiento auxiliar o modelos generativos.
• Tareas de Manipulación: En tareas donde los objetivos de evaluación se encuentran fuera de la variedad de datos (por ejemplo, scene-play-v0), TTGS proporcionó ganancias mínimas (0–2 puntos porcentuales) pero no degradó el rendimiento, volviendo correctamente a la política base cuando faltaban estados intermedios.
• Ablaciones:
  • Penalizaciones Suaves vs. Rígidas: Eliminar la penalización suave (usando distancias brutas) o usar un umbral rígido (eliminando aristas largas) degradó significativamente el rendimiento en tareas de unión debido a desconexiones del grafo o rutas inviables.
  • Selección de Subobjetivos: La estrategia adaptativa de seleccionar el punto de referencia alcanzable más lejano superó a una estrategia más simple de siempre elegir el siguiente punto de referencia inmediato.
  • Fuentes de Distancia: TTGS funcionó efectivamente tanto con distancias derivadas del valor como con distancias euclidianas simples de posición corporal, demostrando flexibilidad.

Significado y Afirmaciones

El artículo afirma que la complejidad adicional a menudo asumida como necesaria para la planificación de largo horizonte es frecuentemente innecesaria. Al aprovechar la estructura geométrica latente ya presente en las funciones de valor estándar y aplicar una búsqueda en grafo ligera en tiempo de prueba, los practicantes pueden extender significativamente las capacidades de los agentes existentes de GCRL fuera de línea.

Los autores enfatizan que TTGS es un envoltorio de planificación conservador y seguro: se basa únicamente en estados recuperados del conjunto de datos, evitando la síntesis de trayectorias físicamente imposibles comunes en los enfoques generativos. Cuando los datos fuera de línea carecen de los estados intermedios necesarios para unir el inicio y el objetivo, TTGS vuelve por defecto de manera elegante al comportamiento de la política base en lugar de producir planes poco fiables. El trabajo sugiere que los agentes de GCRL basados en valor a menudo dejan una estructura geométrica útil sin utilizar, y TTGS proporciona una receta para recuperar esta estructura para la planificación de largo horizonte sin reentrenamiento.