SARM: Stage-Aware Reward Modeling for Long Horizon Robot Manipulation

Aquí se presenta un resumen técnico detallado del artículo "SARM: Stage-Aware Reward Modeling for Long Horizon Robot Manipulation" (ICLR 2026).

1. Planteamiento del Problema

El artículo aborda el desafío crítico de la manipulación robótica de largo horizonte y rica en contactos, específicamente involucrando objetos deformables (por ejemplo, doblar una camiseta). Aunque los Modelos de Comportamiento Robótico (RBMs) recientes han mostrado promesa, luchan con:

• Calidad Inconsistente de las Demonstraciones: Los grandes conjuntos de datos a menudo contienen trayectorias ruidosas, subóptimas o fallidas de operadores no expertos.
• Etiquetado Frágil: Los métodos existentes suelen depender de índices de fotogramas o etiquetas de progreso simples basadas en el tiempo. En tareas con duraciones variables y progreso no lineal (por ejemplo, aplanar una camisa toma diferentes cantidades de tiempo dependiendo de la tela), el etiquetado basado en fotogramas introduce un ruido severo, haciendo imposible distinguir entre un paso "lento pero correcto" y un paso "fallido".
• Generalización: Los modelos entrenados en datos curados fallan al generalizar a escenarios fuera de distribución (OOD), como la recuperación de errores o el manejo de oclusiones en objetos deformables.

El problema central es cómo derivar señales de recompensa consistentes y de grano fino a partir de demostraciones diversas y de longitud variable para guiar eficazmente el aprendizaje de la política sin requerir funciones de recompensa perfectas y diseñadas a mano.

2. Metodología

Los autores proponen un marco de dos partes: SARM (Stage-Aware Reward Modeling) para generar recompensas, y RA-BC (Reward-Aligned Behavior Cloning) para utilizar esas recompensas para entrenar políticas.

A. SARM: Stage-Aware Reward Modeling

SARM es un marco de modelado de recompensas basado en video diseñado para predecir el progreso de la tarea de manera robusta.

• Anotaciones en Lenguaje Natural: En lugar de índices de fotogramas, el método utiliza anotaciones de subtareas en lenguaje natural (por ejemplo, "agarrar", "aplanar", "doblar") para descomponer las tareas en etapas semánticas.
• Arquitectura de Doble Cabeza:
  1. Estimador de Etapa: Una cabeza de clasificación que predice la etapa de tarea de alto nivel actual (por ejemplo, "Fase de Aplanado") basándose en observaciones visuales (fotogramas RGB) y estados de las articulaciones.
  2. Estimador de Subtarea: Una cabeza de regresión que predice el progreso de grano fino ($\in [0, 1]$) condicionado a la etapa predicha.
• Estrategia de Etiquetado:
  • Los autores calculan una proporción a priori a nivel de conjunto de datos ($\bar{\alpha}_k$) para cada subtarea basada en la duración temporal promedio de esa subtarea a través del conjunto de datos.
  • Las etiquetas de progreso se generan interpolando linealmente dentro de las subtareas, asegurando que los estados semánticos idénticos (por ejemplo, una camisa completamente aplanada) reciban valores de progreso consistentes independientemente de cuántos fotogramas tardaron en llegar allí.
• Procesamiento de Entrada: El modelo utiliza un codificador CLIP congelado para características visuales y un codificador Transformer para capturar dependencias temporales. Emplea aumentación de rebobinado (añadiendo fotogramas invertidos de timestamps anteriores) para mejorar la robustez frente a casos de fallo y escenarios OOD.

B. RA-BC: Reward-Aligned Behavior Cloning

RA-BC es un marco de entrenamiento que aprovecha el modelo de recompensa SARM aprendido para filtrar y reponderar los datos de demostración durante el entrenamiento de la política.

• Cálculo de Delta de Progreso: Para cada muestra de entrenamiento, el modelo calcula la mejora de progreso ($\Delta \phi$) entre el estado actual y el siguiente estado utilizando el modelo de recompensa SARM.
• Ponderación Dinámica:
  • El sistema mantiene estadísticas en línea (media $\mu$ y desviación estándar $\sigma$) de los deltas de progreso.
  • Las muestras con progreso positivo (por encima de un umbral) se ponderan hacia arriba, mientras que aquellas con progreso negativo (regresiones/fallos) se ponderan hacia abajo o se filtran.
  • Un mecanismo de "anulación de priori" asigna un peso de 1 a las muestras claramente buenas y 0 a las claramente malas para asegurar un filtrado decisivo.
• Objetivo: La pérdida estándar de Clonación de Comportamiento (BC) se reemplaza con una pérdida ponderada, enseñando efectivamente a la política a imitar solo los segmentos de alta calidad y progresivos del conjunto de datos diverso.

3. Contribuciones Clave

1. Marco SARM: Un modelo de recompensa basado en video y consciente de la etapa, novedoso, que predice conjuntamente etapas de tarea y progreso de grano fino utilizando anotaciones en lenguaje natural. Supera la fragilidad del etiquetado por índice de fotograma y generaliza bien a escenarios OOD.
2. Marco RA-BC: Un método de entrenamiento de políticas que utiliza el modelo de recompensa aprendido para identificar y reponderar automáticamente demostraciones de alta calidad, permitiendo un aprendizaje efectivo a partir de conjuntos de datos ruidosos y diversos sin filtrado manual.
3. Validación Empírica en Objetos Deformables: Aplicación exitosa a la tarea altamente desafiante de doblado de camisetas, demostrando mejoras significativas sobre la Clonación de Comportamiento estándar y otras líneas base de modelado de recompensas.

4. Resultados Experimentales

Los autores evaluaron su enfoque en dos tareas: doblado de camisetas (largo horizonte, deformable) y descarga de platos (multietapa, rígido).

• Rendimiento del Modelo de Recompensa:

  • SARM superó significativamente a las líneas base (LIV, VLC, GVL, REDS, ReWiND) en la predicción de progreso en demostraciones humanas y despliegues reales de robots.
  • En el doblado de camisetas, SARM logró un MSE de 0.008 en datos de validación (vs. 0.019 para la siguiente mejor línea base) y una puntuación de clasificación de 0.94 en despliegues reales de robots (vs. 0.78 para ReWiND).
  • SARM fue robusto a variaciones de iluminación y modos de fallo donde otros modelos produjeron señales ruidosas u optimistas.

• Rendimiento de la Política (Doblado de Camisetas):

  • Líneas Base: BC Vanilla entrenado en todo el conjunto de datos diverso ($D_{all}$) logró un 0% de éxito en la tarea "Difícil" (doblado desde un estado arrugado).
  • Filtrado Ingenuo: El filtrado por duración ($D_{2min}$) mejoró el rendimiento pero aún falló en la tarea Difícil (0% de éxito).
  • RA-BC con SARM:
    • Tarea Media (Plano a Doblado): 83% de tasa de éxito.
    • Tarea Difícil (Arrugado a Doblado): 67% de tasa de éxito.
  • Comparación: RA-BC con SARM superó significativamente a RA-BC con el modelo de recompensa ReWiND (67% vs. 25% en la tarea Difícil), demostrando que la calidad del modelo de recompensa es el cuello de botella para RA-BC.

• Estudios de Ablación:

  • Conciencia de Etapa: Eliminar el estimador de etapa degradó el rendimiento, confirmando la necesidad de un modelado jerárquico.
  • Aumentación de Rebobinado: Esencial para generalizar a casos de fallo del mundo real; sin ella, el modelo se volvió excesivamente optimista.
  • Escala del Modelo: Se encontró que un modelo de 60M de parámetros era el equilibrio óptimo entre capacidad y sobreajuste.

5. Significado

Este artículo proporciona una solución escalable y eficiente en anotaciones para la manipulación robótica de largo horizonte.

• Eficiencia de Datos: Demuestra que el aprendizaje de políticas de alta calidad es posible incluso con conjuntos de datos ruidosos y diversos si la señal de recompensa puede distinguir con precisión entre "progreso lento" y "fallo".
• Escalabilidad: Al aprovechar anotaciones en lenguaje natural (que son más fáciles de obtener que funciones de recompensa densas) y automatizar la derivación de recompensas, el método escala a tareas complejas como la manipulación de objetos deformables.
• Impacto Práctico: Los resultados en el doblado de camisetas (67% de éxito desde un estado arrugado) representan un salto significativo hacia adelante para la robótica doméstica, un dominio donde los modelos actuales suelen fallar debido a la complejidad de las interacciones ricas en contactos y deformables.

El trabajo establece que el modelado de recompensas es un cuello de botella crítico en el aprendizaje por imitación y que la estimación de progreso semántico consciente de la etapa es la clave para desbloquear comportamientos robóticos de largo horizonte robustos.