Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

Resumen Técnico: Conjuntos de Objetivos, No Estados de Objetivo: Objetivos de Robots Consultables mediante el Reetiquetado de Hindsight de Conjuntos de Objetivos

Declaración del Problema
El Aprendizaje por Refuerzo Condicionado por Objetivos (GCRL) fuera de línea (offline) tiene como objetivo derivar políticas de control a partir de conjuntos de datos pre-recolectados (por ejemplo, demostraciones o registros de teleoperación) sin la necesidad de un costoso ensayo y error en línea. Un mecanismo central en este dominio es el Hindsight Experience Replay (HER), que reetiqueta estados futuros alcanzados como objetivos para transiciones anteriores en una trayectoria.

Los entornos de referencia estándar para GCRL fuera de línea, como OGBench, típicamente instancian HER utilizando el espacio de estados completo como el espacio de objetivos. Este enfoque asume que el éxito requiere reproducir el vector de estado completo futuro. Sin embargo, en muchas tareas de manipulación robótica, el éxito depende solo de un subconjunto específico de variables de estado (por ejemplo, la posición del objeto), mientras que otras variables (por ejemplo, configuraciones de articulaciones del robot, estado de la pinza, velocidades) son dimensiones de molestia (nuisance dimensions). Al imponer una coincidencia exacta del estado completo, el HER estándar introduce restricciones artificiales que sobreconstriñen el objetivo de aprendizaje, lo que conduce a un rendimiento subóptimo cuando los criterios de éxito de la tarea son una proyección del estado completo.

Metodología: Reetiquetado de Hindsight de Conjuntos de Objetivos (GS-HER)
Los autores proponen el Reetiquetado de Hindsight de Conjuntos de Objetivos (GS-HER), una generalización a nivel de predicado de HER. En lugar de tratar un estado alcanzado $s_{t+k}$ como un objetivo único $g = s_{t+k}$, GS-HER lo trata como un certificado para un conjunto de objetivos definido por una consulta (query).

1. Clases de Equivalencia Definidas por Consulta:
   Un vector de consulta binario $q \in \{0, 1\}^D$ especifica qué variables de estado definen el éxito para una tarea específica.

   • $q_i = 1$: La $i$-ésima coordenada es activa y define el objetivo.
   • $q_i = 0$: La $i$-ésima coordenada es una variable de molestia para esta consulta.

   Dado un estado de referencia $g$ y una consulta $q$, el conjunto de objetivos se define como la clase de equivalencia de estados $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$. El éxito se determina mediante la coincidencia de solo las coordenadas activas, típicamente medida mediante una distancia cuadrática normalizada con una tolerancia $\epsilon$.

2. Interfaz Condicionada por Consulta:
   GS-HER modifica la entrada de condicionamiento del algoritmo de GCRL fuera de línea subyacente sin alterar su objetivo de aprendizaje central (por ejemplo, actualizaciones de Bellman, pérdida contrastiva o clonación de comportamiento). La entrada de condicionamiento $\psi_{GS}$ se construye como:
   $$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$$
   donde $\bar{s}_q = q \odot s + (1-q) \odot e_s$ y $\bar{g}_q = q \odot g + (1-q) \odot e_g$. Aquí, $e_s$ y $e_g$ son incrustaciones (embeddings) de coordenadas de molestia (aprendidas o fijas) que enmascaran las variables irrelevantes. La consulta $q$ se proporciona explícitamente a la red, permitiendo al modelo aprender una política unificada que adapta su noción de "éxito" basándose en la consulta.

3. Envoltorio de Reetiquetado (Relabeling Wrapper):
   GS-HER actúa como un envoltorio alrededor de los algoritmos existentes de GCRL fuera de línea. Durante el entrenamiento, para cada transición, se muestrea un estado de referencia $g$ (según el algoritmo base) y una consulta $q$ se muestrea de una distribución $p_Q$. La transición es entonces reetiquetada con el conjunto de objetivos condicionado por la consulta y el predicado de éxito correspondiente. Esto permite que un solo modelo aprenda de una mezcla de semánticas de objetivos (por ejemplo, estado completo, posición del objeto, pose del efector final) simultáneamente.

Contribuciones Clave

1. Identificación del Desajuste de Objetivos: El artículo identifica que el reetiquetado de hindsight de estado exacto crea un desajuste de objetivos en tareas robóticas donde el éxito depende de proyecciones relevantes para la tarea en lugar del estado completo.
2. Formalización de GS-HER: Los autores formalizan GS-HER como una generalización a nivel de predicado donde los estados alcanzados certifican la alcanzabilidad de conjuntos de objetivos (clases de equivalencia) en lugar de estados únicos.
3. Envoltorio Agnóstico a la Implementación: GS-HER se instancia como un envoltorio de reetiquetado condicionado por consulta para entornos de estado vectorial. Permite que los algoritmos de GCRL fuera de línea existentes (incluyendo clonación de comportamiento, RL contrastivo y Q-learning implícito) aprendan semánticas de objetivos consultables sin modificar sus objetivos de optimización subyacentes.
4. Interfaz de Objetivo Reutilizable: El método transforma el reetiquetado de hindsight en una interfaz reutilizable, permitiendo que un único checkpoint entrenado responda a múltiples predicados de objetivo durante la inferencia sin reentrenamiento.

Resultados Experimentales
Los autores evaluaron GS-HER en la suite OGBench, cubriendo tareas de manipulación (por ejemplo, colocación de cubos) y tareas de navegación (por ejemplo, PointMaze, AntMaze) a través de cinco diferentes arquitecturas base de GCRL fuera de línea (GCBC, CRL, GCIVL, GCIQL, GCDL).

• Mejora del Rendimiento: GS-HER (específicamente la variante "Blockwise" que utiliza bloques de coordenadas aleatorios) superó consistentemente al HER de estado completo estándar (HER-Full) en tareas de manipulación. Por ejemplo, promediado en tareas de manipulación, GS-HER mejoró la tasa de éxito oficial del 24.5% (HER-Full) al 55.0%, acercándose al rendimiento de una línea base de tipo "Enfocada en la Tarea" (HER-Task) que utiliza una proyección predefinida fija.
• Cuello de Botella de las Dimensiones de Molestia: Las ganancias de rendimiento estuvieron fuertemente correlacionadas con el grado en que el HER de estado completo se veía limitado por las dimensiones de molestia. En entornos con pocas dimensiones de molestia (como PointMaze), GS-HER funcionó de manera comparable a HER-Full, confirmando que el método aborda específicamente el problema de la sobrerestricción.
• Un Modelo, Muchos Predicados: En un experimento de "un modelo, muchos objetivos", un único checkpoint de GS-HER fue consultado durante la inferencia con varios predicados (por ejemplo, posición del cubo, guiñada del cubo, pose del efector final, posición del objeto en el aire). El modelo se adaptó con éxito a estos diferentes criterios de éxito sin reentrenamiento. En contraste, HER-Task requirió reentrenamiento para cada nuevo predicado, y HER-Full falló al generalizar a predicados que ignoraban variables de estado específicas.

Significancia y Reivindicaciones
El artículo afirma que GS-HER aísla la semántica de reetiquetado de GCRL fuera de línea. Al desacoplar la definición del éxito (la consulta) del algoritmo de aprendizaje, GS-HER proporciona un primitivo que permite que los conjuntos de datos fuera de línea soporten especificaciones de objetivos flexibles y consultables.

Los autores enfatizan que este trabajo no resuelve la especificación de objetivos de forma abierta (por ejemplo, mediante lenguaje o visión), sino que demuestra que hacer que el predicado del objetivo sea una entrada de inferencia es un paso útil y necesario para el aprendizaje robótico fuera de línea. Permite que un solo modelo sirva para múltiples definiciones de tareas, mitigando la necesidad de ejecuciones de entrenamiento separadas para diferentes proyecciones de la tarea y reduciendo la dependencia de la coincidencia exacta de estados que a menudo es semánticamente incorrecta para la manipulación robótica. El método se presenta como una capa complementaria a los algoritmos existentes, mejorando su flexibilidad sin alterar sus objetivos matemáticos centrales.