Resumen Técnico: Aprender Más de Menos: Aprendizaje por Refuerzo desde la Perspectiva de la Retrospectiva (Hindsight)

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) se utiliza cada vez más para el post-entrenamiento de modelos de Visión-Lenguaje-Acción (VLA) para mejorar el control robótico. Sin embargo, existe un cuello de botella crítico: las actualizaciones de RL dependen de ejecuciones (rollouts) físicas de robots, las cuales son lentas, costosas y difíciles de escalar. Esto convierte la eficiencia de muestreo en una preocupación primordial.

El desafío se exacerba en tareas de manipulación donde las recompensas son típicamente dispersas (sparse). Una ejecución recibe una recompensa (éxito) solo si el robot completa la instrucción comandada exactamente; todas las demás conductas reciben recompensa cero. Al inicio del entrenamiento, cuando la política es débil, casi todas las ejecuciones fallan la instrucción específica. El RL estándar trata estas trayectorias completas como fallos, descartándolas como datos "inútiles". Esto ignora el hecho de que una ejecución fallida a menudo ejecuta un comportamiento coherente y significativo relevante para una tarea distinta (por ejemplo, un robot instruido para "cerrar el microondas" podría lograr con éxito "recoger una taza"). El RL estándar falla al no extraer señales de aprendizaje de estos "fallos", lo que conduce a una convergencia lenta o al estancamiento en entornos fuera de la distribución (OOD).

Metodología: Aprendizaje desde la Perspectiva de la Retrospectiva (Learning from Hindsight - LfH)

Los autores proponen el Aprendizaje desde la Perspectiva de la Retrospectiva (LfH), un método que adapta el concepto de Hindsight Experience Replay (HER) al post-entrenamiento de RL para los VLA. En lugar de descartar las ejecuciones fallidas, LfH utiliza un Modelo de Visión-Lenguaje (VLM) para reetiquetarlas basándose en lo que el robot realmente logró.

Mecanismo Central

LfH opera dentro de un marco de Optimización de Política Relativa de Grupo (GRPO). El proceso involucra dos etapas principales para grupos de trayectorias que fallan la instrucción original:

1. Reetiquetado de Instrucciones:

   • Para un grupo de trayectorias que fallan la instrucción comandada $g$, el sistema selecciona una trayectoria "ancla" (una ejecución fallida).
   • Un VLM ($M_\psi$) analiza las observaciones visuales y las acciones de la trayectoria ancla para generar una instrucción de retrospectiva ($g'$) que describa el comportamiento realmente ejecutado (por ejemplo, cambiar "cerrar el microondas" por "recoger la taza").
   • El VLM primero filtra las trayectorias "poco interesantes" (por ejemplo, aquellas que no tienen contacto físico con objetos) para evitar prompts ruidosos.

2. Reetiquetado de Recompensas:

   • El mismo VLM evalúa todas las trayectorias del grupo frente a la nueva instrucción de retrospectiva $g'$.
   • Asigna una recompensa $\tilde{R}_i \in \{0, 0.5, 1\}$, donde 1 indica éxito en lograr $g'$, 0 indica fallo, y 0.5 representa un resultado ambiguo.
   • Crucialmente, se utiliza una única instrucción de retrospectiva compartida para todo el grupo para asegurar que las recompensas sean comparables para el cálculo de la ventaja (advantage).

Objetivo de Optimización

La política se entrena conjuntamente sobre las ejecuciones originales y las contrapartes reetiquetadas por la retrospectiva. La función de pérdida combina el objetivo estándar de GRPO ($L_{GRPO}$) con un objetivo de retrospectiva ($L_{H-GRPO}$):
$$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$$

Para manejar el cambio de distribución (trayectorias ejecutadas bajo $g$ pero optimizadas para $g'$), LfH aplica un ratio de corrección de importancia:
$$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$$
Esto permite que la política aprenda de los comportamientos "no pretendidos pero significativos" mientras mantiene la alineación con la distribución de la tarea original.

Contribuciones Clave

1. Reetiquetado de Retrospectiva para VLAs: El artículo introduce un algoritmo único que aprovecha las capacidades de generalización de lenguaje de los VLA para reetiquetar ejecuciones fallidas en el espacio del lenguaje, convirtiendo fallos de recompensa cero en demostraciones exitosas de tareas alternativas.
2. Reetiquetado Conjunto de Instrucción y Recompensa: A diferencia de trabajos previos que podrían solo reformular instrucciones o dar forma a las recompensas (reward shaping), LfH acopla ambos. Los autores demuestran que ni la aumentación de instrucciones ni el reetiquetado de recompensas por sí solos son suficientes; se requiere la sinergia de ambos para obtener mejoras significativas.
3. Eficiencia de Muestreo en Regímenes de Recompensa Dispersa: El método apunta específicamente al problema de "arranque en frío" (cold start) donde las políticas iniciales tienen tasas de éxito cercanas a cero, recuperando señales de aprendizaje de datos que el RL estándar descartaría.

Resultados Experimentales

Los autores evaluaron LfH en tareas fuera de la distribución (OOD) del conjunto de datos LIBERO-PRO y en un robot físico Franka FR3.

• Eficiencia de Muestreo: En las tareas de LIBERO-PRO, Lf ich logró una mejora de 5 veces en la eficiencia de muestreo en comparación con el GRPO estándar. Alcanzó la tasa de éxito final de GRPO estándar en aproximadamente un quinto de los pasos de entrenamiento.
• Comparación con Recompensas Densas: LfH superó a un baseline que utiliza recompensas de progreso densas (RoboMETER). Esto sugiere que, en regímenes de bajo éxito, cambiar a qué tarea se le atribuye una ejecución es más valioso que simplemente densificar la retroalimentación para el comando original.
• Utilización de Datos: Mientras que el GRPO estándar descarta ~60-80% de los grupos de trayectorias debido a la varianza de recompensa cero, LfH retiene entre un 70 y 80% de los grupos mediante el reetiquetado de fallos, utilizando eficazmente los datos recolectados.
• Generalización: Las mejoras se mantuvieron a través de diferentes backbones de VLA (incluyendo GR00T y OpenVLA-OFT) y se transfirieron con éxito a experimentos físicos de robots reales, donde LfH duplicó la tasa de éxito de GRPO estándar a las 128 ejecuciones.
• Estudios de Ablación: Los experimentos confirmaron que las ganancias no se deben a la inyección aleatoria de recompensas o a una simple reformulación de instrucciones. El método también mostró que LfH se beneficia de y ayuda a mantener distribuciones de comportamiento diversas durante el entrenamiento, evitando que la política colapse en modos de fallo repetitivos.

Significancia y Reivindicaciones

El artículo afirma que LfH cambia fundamentalmente la utilidad de los datos robóticos en el post-entrenamiento de RL. Al tratar una trayectoria como evidencia para todos los objetivos de lenguaje consistentes con el comportamiento observado, LfH extrae "más bits por muestra de robot".

Los autores enfatizan que este enfoque es particularmente natural para los VLA preentrenados, que ya poseen la capacidad de generalizar a través de instrucciones de lenguaje. LfH permite a estos modelos aprender de lo que realmente hicieron, en lugar de solo de lo que se les pidió hacer. Esto ofrece un camino práctico para el post-entrenamiento de VLA: en lugar de simplemente recolectar más ejecuciones o optimizar durante más tiempo con las mismas etiquetas, los investigadores pueden reinterpretar cada ejecución a través del lenguaje para transferir el aprendizaje entre las tareas soportadas.

El artículo reconoce limitaciones, señalando que LfH depende de la diversidad e interpretabilidad de los fallos en los datos recolectados. Si la política produce trayectorias repetitivas o poco informativas, hay pocos objetivos de retrospectiva significativos que recuperar. Además, el método depende de la calidad del reetiquetador VLM, donde prompts incorrectos o excesivamente genéricos podrían introducir supervisión ruidosa.