Resumen Técnico: SARM2 – Modelado de Recompensa Multitarea Consciente de Etapas para la Automelioración de la Manipulación Robótica

1. Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han establecido el aprendizaje de políticas de extremo a extremo como un paradigma dominante en la manipulación robótica. Sin embargo, estos modelos suelen tener dificultades con tareas de largo horizonte sin un ajuste fino extensivo en datos del mismo dominio. El Ajuste Fino Supervisado (SFT) depende de demostraciones humanas de alta calidad y costosas, y sigue siendo propenso a fallos fuera de la distribución (OOD). Si bien el Aprendizaje por Refuerzo (RL) ofrece un camino para la automelioración, enfrenta dos cuellos de botella críticos:

1. Recompensas Dispersas: Los métodos de RL en línea existentes suelen depender de recompensas terminales dispersas, que no logran proporcionar la supervisión densa a nivel de paso necesaria para tareas de largo horizonte y ricas en contacto.
2. Limitaciones del Modelo de Recompensa: Los enfoques actuales de modelado de recompensa caen en dos categorías subóptimas:
   • Modelos Específicos de Tarea: Precisos pero requieren anotaciones y reentrenamiento para cada nueva tarea (ej. SARM), lo que limita la escalabilidad.
   • Modelos VLM de Propósito General: Ampliamente aplicables pero producen predicciones de grano grueso y ruidosas a nivel de paso, lo que los hace inadecuados como señales de supervisión densas para el progreso de manipulación de grano fino.

El artículo postula que escalar el VLA-RL requiere un modelo de recompensa que sea simultáneamente denso (por paso), preciso (fiel al progreso de la tarea) y general (aplicable a diversas tareas sin reentrenamiento).

2. Metodología

Los autores proponen SARM2 (Modelado de Recompensa Multitarea Consciente de Etapas) y SPIRAL (Aprendizaje de Mejora de Política mediante Alineación de Recompensa).

3.1 SARM2: Modelo de Recompensa Multitarea Consciente de Etapas

SARM2 aborda el compromiso entre generalización y precisión combinando un estimador de etapas agnóstico a la tarea con una cabeza de valor especializada.

• Estimador de Etapas de Primitivas de Acción:

  • En lugar de anotaciones de etapas específicas de la tarea, el modelo utiliza un vocabulario compartido de primitivas de acción (ej. "Tomar", "Colocar", "Rotar", "Borrar") como una representación intermedia.
  • Basándose en un análisis de más de 10,000 horas de datos de manipulación, los autores identificaron K=21 primitivas de acción que cubren >90% de la duración de la tarea, además de una clase "nula" para la incertidumbre.
  • El estimador es un Transformer causal de 4 capas que toma imágenes multivista (muñeca-izquierda, muñeca-derecha, cenital) y estados propioceptivos como entrada. Clasifica el segmento actual en una de las K+1=22 clases de primitivas.
  • Este estimador se entrena en un conjunto de datos equilibrado de 66 horas de segmentos que abarcan 100 tareas, lo que le permite generalizar a través de dominios.

• Cabeza de Valor de Mezcla de Expertos Multipuerta (MMoE):

  • Para producir estimaciones de valor densas (específicamente, pasos restantes normalizados hasta la finalización), SARM2 emplea un decodificador MMoE.
  • Arquitectura: El modelo de valor utiliza un backbone de Transformer causal de 6 capas. Recibe las mismas entradas visuales/propioceptivas que el estimador de etapas, más el embedding de la tarea y el embedding de la primitiva predicha del estimador de etapas.
  • Mecanismo de Enrutamiento: La primitiva predicha selecciona una puerta específica en el MMoE. Cada puerta enruta tokens a un grupo compartido de expertos (MLPs de 3 capas). Este diseño permite que el modelo se especialice en la dinámica visual y las firmas de progreso de grupos de primitivas específicos mientras comparte capacidad entre tareas.
  • Objetivo: El modelo predice una recompensa densa $r_t \in [-1, 0]$ que representa el progreso restante. La función de pérdida combina el Error Cuadrático Medio (MSE) sobre la distancia al objetivo con pérdidas auxiliares para el equilibrio de puertas y la entropía para evitar el colapso del enrutador.

3.2 SPIRAL: Marco de Mejora de Política mediante Alineación de Recompensa

SPIRAL es un marco de aprendizaje en línea, guiado por recompensa, diseñado para crear un "volante de datos robóticos" utilizando las recompensas densas de SARM2.

• Substrato de RL Residual: SPIRAL se basa en el marco DICE-RL, utilizando un enfoque de aprendizaje residual donde una política residual corrige las salidas de una política VLA base.
• Objetivo Híbrido:
  • Componente Denso: Utiliza TD3 con recompensas densas por paso proporcionadas por SARM2.
  • Componente Disperso: Combina esto con un objetivo de Monte Carlo (MC) impulsado por recompensas dispersas a nivel de episodio para asegurar la alineación con el objetivo final de la tarea.
• Bucle Autónomo: El marco opera en un bucle cerrado:
  1. Inicialización: Ajuste fino de una política VLA base mediante Clonación de Comportamiento (BC).
  2. Adaptación de Una Sola Vez: Un pequeño conjunto de ejecuciones (rollouts) anotadas por humanos adapta el modelo de recompensa a la distribución de ejecución de la política.
     3.Automejoría: El sistema recolecta ejecuciones de forma autónoma, las etiqueta con el SARM2 adaptado y actualiza la política mediante RL residual. Este ciclo se repite sin mayor intervención humana.

3. Contribuciones Clave

1. SARM2: Un modelo de recompensa multitare de etapa consciente que acopla un estimador de etapas de primitivas de acción generalizable con una cabeza de valor MMoE multipuerta. Esta arquitectura produce recompensas densas precisas a través de diversas tareas de largo horizonte dentro de un solo modelo, eliminando la necesidad de reentrenamiento por tarea.
2. SPIRAL: Un marco de RL residual en línea alineado con la recompensa que aprovecha las recompensas densas de SARM2 para permitir el refinamiento continuo de la política a partir de ejecuciones autónomas de bajo costo, cerrando un volante de datos robóticos autónomo.
3. Validación Empírica: Demostración de que las recompensas densas de alta calidad son críticas para una mejora estable, mostrando ganancias sustanciales sobre las bases de recompensa dispersa y de modelos basados en VLM en tareas del mundo real.

4. Resultados Experimentales

Los autores evaluaron SARM2 y SPIRAL en un benchmark de 10 tareas y dos tareas específicas de largo horizonte en el mundo real: Doblar Pantalones Cortos (Folding Shorts) y Limpiar Pizarra Blanca (Cleaning Whiteboard).

Rendimiento del Modelo de Recompensa

• Precisión: SARM2 redujo el Error Cuadrático Medio (MSE) en demostraciones no vistas en un 80% en comparación con las bases más fuertes (ReWiND, TOPReward, Robometer).
• Generalización: En la tarea "Limpiar Pizarra Blanca" (T2), SARM2 logró una correlación de clasificación de ejecución ($\rho$) de 0.667, superando significativamente a los modelos basados en VLM de propósito general (que a menudo arrojaban correlaciones negativas debido al optimismo excesivo).
• Ablaciones: Eliminar el estimador de etapas aumentó la pérdida de la demostración en aproximadamente un 70%; eliminar el diseño de múltiples puertas aumentó la pérdida en un ~30%. Esto confirma que tanto la conciencia de la etapa como el enrutamiento MMoE son sinérgicos.
• Salud del Enrutador: El enrutamiento MMoE se mantuvo equilibrado (Puntuación de densidad ~0.10), mientras que las variantes de una sola puerta sufrieron colapso del enrutador (Densidad > 0.80).

Rendimiento del Aprendizaje de la Política (SPIRAL)

• Doblar Pantalones Cortos:
  • Plano (Flat): La tasa de éxito mejoró del 58% (BC/RL-Denso inicial) al 100% tras 3 rondas de SPIRAL con SARM2.
  • Arrugado (Crumpled - Más difícil): La tasa de éxito mejoró del 33% al 67%. Notablemente, las bases de recompensa dispersa degradaron el rendimiento en esta tarea (cayendo al 17%), resaltando la necesidad de recompensas densas.
• Limpiar Pizarra Blanca:
  • La tasa de éxito mejoró del 50% al 90%.
  • El puntaje de progreso promedio aumentó de 0.813 a 0.975.
• Comparación: SPIRAL con SARM2 superó consistentemente a todas las bases, incluyendo los modelos de recompensa VLM ajustados con LoRA (Robometer-FT) y el RL de recompensa dispersa. Los resultados indican que, si bien la densidad es necesaria, la calidad y la conciencia de la etapa de la recompensa son los cuellos de botella para una mejora autónoma efectiva.

5. Significado y Reivindicaciones

El artículo afirma que SARM2 y SPIRAL demuestran que las recompensas densas de alta calidad son el "factor de carga" para un volante de datos robóticos autosostenible. El trabajo desafía la noción de que los VLM de propósito general son suficientes para el control robótico de grano fino, mostrando en su lugar que se requiere un enfoque estructurado basado en primitivas para una estimación de progreso precisa.

Los autores enfatizan que su método permite el refinamiento continuo de la política en tareas de largo horizonte con mínima intervención humana después de una fase de adaptación inicial. Al desacoplar la estimación de la etapa (primitivas generalizables) de la estimación de valor (expertos especializados), logran un modelo que es tanto escalable entre tareas como preciso para guiar el RL en línea.

Limitaciones Reconocidas por los Autores:

• Alcance de la Encarnación (Embodiment): El vocabulario de primitivas de acción se deriva de datos de mesa bimanuales; extenderlo a la manipulación móvil requiere reconstruir el conjunto de primitivas.
• Techo de RL Residual: El marco refina las políticas mediante aprendizaje residual en lugar de actualizar los pesos del VLA, lo que significa que no puede corregir errores en la intención o en la descomposición de tareas de alto nivel.
• Eficiencia de Muestreo: Aunque es autónomo, la recolección de ejecuciones en línea aún requiere operadores humanos para los reinicios de rutina entre episodios.