Resumen Técnico: ROBOMETER

Planteamiento del Problema

Los modelos actuales de recompensa para robots de propósito general enfrentan desafíos significativos de escalabilidad y generalización. Los enfoques existentes dependen exclusivamente de etiquetas de progreso absoluto derivadas de demostraciones expertas (por ejemplo, interpolación lineal del progreso de 0 a 1). Aunque efectivos para trayectorias exitosas, este paradigma no escala a conjuntos de datos grandes y heterogéneos por dos razones principales:

1. Ambigüedad en Trayectorias Fallidas: Los intentos subóptimos o fallidos, que son abundantes en la recopilación de datos del mundo real, carecen de etiquetas de progreso absoluto bien definidas. El progreso en estos casos a menudo fluctúa o retrocede, lo que hace que la supervisión punto a punto sea costosa y mal definida.
2. Generalización Limitada: Los modelos entrenados únicamente con supervisión de progreso local a la trayectoria luchan por generalizar entre diferentes encarnaciones robóticas, escenas y calidades de trayectoria variables. A menudo fallan al distinguir entre comportamientos exitosos y subóptimos cuando las puntuaciones absolutas son ambiguas.

El artículo postula que la cognición humana se basa en juicios comparativos en lugar de escalas absolutas aisladas para internalizar un progreso calibrado. En consecuencia, los modelos de recompensa robótica requieren una señal de supervisión que aproveche el ordenamiento relativo entre diversas trayectorias para aprender funciones de recompensa robustas y generalizables.

Metodología

1. El Marco de Trabajo ROBOMETER

ROBOMETER es un marco de modelado de recompensas escalable que combina supervisión de progreso intra-trayectoria con supervisión de preferencia inter-trayectoria. Utiliza una receta de entrenamiento de doble objetivo:

• Pérdida de Progreso a Nivel de Fotograma: Ancla la magnitud de la recompensa a datos expertos prediciendo progreso denso por fotograma (discretizado en 10 bins sobre [0, 1]) y etiquetas de éxito binarias. Esto asegura que el modelo aprenda la estructura temporal de la finalización de la tarea.
• Pérdida de Preferencia de Comparación de Trayectorias: Impone restricciones de ordenamiento global prediciendo cuál de dos trayectorias satisface mejor una instrucción de lenguaje. Esto permite que el modelo aprenda de comparaciones relativas sin requerir puntuaciones absolutas para trayectorias fallidas.

2. Arquitectura

ROBOMETER se construye sobre una columna vertebral de Modelo Visión-Lenguaje (VLM) preentrenado, específicamente Qwen3-VL-4B-Instruct.

• Tokenización: El modelo procesa tokens de texto e imagen entrelazados. Para permitir una estimación densa de recompensas sin interrumpir las representaciones preentrenadas, inserta tokens de progreso aprendibles (<|prog token|>) después de cada fotograma de la primera trayectoria y un único token de preferencia (<|pref token|>) al final del prompt.
• Enmascaramiento Causal: La arquitectura utiliza enmascaramiento causal para asegurar que los tokens de progreso atiendan solo a los fotogramas actuales y anteriores de la primera trayectoria (permitiendo inferencia en línea), mientras que el token de preferencia atiende a ambas trayectorias para realizar un juicio relativo.
• Cabezas: Se adjuntan cabezas MLP ligeras a los estados ocultos de los tokens de progreso (para predicción de progreso y éxito) y del token de preferencia (para clasificación de preferencia binaria).

3. El Conjunto de Datos RBM-1M

Para apoyar este entrenamiento de doble objetivo a escala, los autores curaron RBM-1M, un conjunto de datos de más de 1 millón de trayectorias que abarcan 21 encarnaciones robóticas (incluyendo brazos únicos, bimanuales y manipuladores móviles) y escenas diversas.

• Composición: El conjunto de datos agrega demostraciones expertas (por ejemplo, Open-X, AGIBotWorld), videos humanos (Epic-Kitchens), datos de simulación (LIBERO) y, crucialmente, trayectorias fallidas y subóptimas sin etiquetar de despliegues automatizados y conjuntos de datos de detección de fallos.
• Estrategias de Aumento: Para construir pares de preferencia sin anotación humana adicional, los autores emplean tres estrategias:
  1. Comparaciones Basadas en Progreso: Contrastar demostraciones expertas contra fallos sin etiquetar o trayectorias subóptimas.
  2. Negativos de Instrucción: Emparejar trayectorias con instrucciones de lenguaje distintas para asegurar que las recompensas estén fundamentadas en el comando.
  3. Rebobinado de Video: Generar fallos sintéticos invirtiendo segmentos de trayectorias exitosas para modelar el "deshacer" del progreso.

Contribuciones Clave

1. Receta de Entrenamiento de Doble Objetivo: El artículo introduce un método para entrenar modelos de recompensa utilizando tanto etiquetas de progreso absoluto (para datos exitosos) como etiquetas de preferencia por pares (para todos los datos, incluidos los fallos). Esto permite la utilización efectiva de datos subóptimos previamente inutilizables.
2. Conjunto de Datos RBM-1M: El lanzamiento de un conjunto de datos a gran escala y multi-encarnación que contiene extensos datos de fallos, diseñado específicamente para entrenar relaciones de preferencia globalmente consistentes.
3. Generalización Escalable: El marco demuestra que la supervisión de preferencia actúa como un regularizador, induciendo una representación de recompensa interna más estructurada que mejora la capacidad del modelo para distinguir trayectorias exitosas de subóptimas, incluso cuando se entrena con datos expertos limitados.

Resultados Experimentales

Evaluación de Recompensa

ROBOMETER fue evaluado en RBM-EVAL-OOD, un conjunto de 976 trayectorias de 3 instituciones y 6 encarnaciones (3 de las cuales no se vieron durante el entrenamiento).

• Alineación de Recompensa: ROBOMETER logró una Correlación de Orden de Valor (VOC) de 0.94 en datos OOD, superando a las líneas base más avanzadas (por ejemplo, RoboReward-8B en 0.88, VLAC-8B en 0.38).
• Clasificación de Trayectorias: Al distinguir trayectorias exitosas de fallidas, ROBOMETER logró un Kendall-$\tau_a$ de 0.64 en datos OOD, superando significativamente a RoboReward-8B (0.47) y ReWiND (0.01).
• Detección de Fallos: En tareas de detección de fallos zero-shot, ROBOMETER logró la mayor puntuación F1 promedio (0.81), equilibrando efectivamente las tasas de verdaderos positivos y verdaderos negativos, mientras que líneas base como VLAC sufrieron de falsos positivos altos y líneas base de incertidumbre de token sufrieron de falsos negativos altos.

Aprendizaje de Políticas en Tareas Derivadas

El artículo demuestra que las recompensas densas y bien calibradas de ROBOMETER mejoran el aprendizaje de robots en tareas derivadas en cuatro configuraciones:

1. RL Online Automático: Usar DSRL con ROBOMETER mejoró las tasas de éxito del 20% al 85% en una tarea de una sola etapa y del 20% al 70% en una tarea de múltiples etapas, superando a RoboReward en 2.5$\times$.
2. RL Offline: En configuraciones de mezcla de expertise (experto + datos ruidosos), ROBOMETER permitió que las políticas IQL lograran una mejora de 2.4$\times$ en las tasas de éxito sobre la mejor línea base.
3. Filtrado y Recuperación de Datos: Cuando se utiliza para recuperar subtrayectorias relevantes para la tarea en aprendizaje por imitación, los datos filtrados por ROBOMETER produjeron una tasa de éxito 4.5$\times$ mayor en comparación con líneas base como STRAP y SigLIP.
4. RL Basado en Modelos: Integrar ROBOMETER en DreamZero mejoró las tasas de éxito del 20% al 70% en un entorno desordenado.

Estudios de Ablación

• Supervisión de Preferencia: Añadir pérdida de preferencia al entrenamiento solo de progreso mejoró consistentemente las métricas de clasificación (Kendall-$\tau$) y la separación éxito-fallo.
• Datos de Fallos: Incorporar trayectorias de fallos sin etiquetar para el entrenamiento de preferencia proporcionó las mayores ganancias en la discriminación de recompensas.
• Columna Vertebral: Reemplazar la columna vertebral VLM preentrenada con una arquitectura más pequeña y no preentrenada (variante ReWiND) resultó en una degradación severa del rendimiento, confirmando la necesidad de preentrenamiento multimodal a gran escala.

Significado y Afirmaciones

El artículo afirma que ROBOMETER representa un cambio de supervisión de progreso absoluto a supervisión de preferencia comparativa como mecanismo para escalar el aprendizaje de recompensas. Al aprovechar comparaciones relativas, el marco puede utilizar efectivamente las vastas cantidades de datos subóptimos y fallidos que son ubicuos en la robótica del mundo real pero que previamente se descartaban.

Los autores enfatizan que este enfoque permite:

• Escalabilidad: Aprender de conjuntos de datos que contienen millones de trayectorias sin necesidad de anotaciones absolutas densas en cada fotograma.
• Generalización: Rendimiento robusto en encarnaciones robóticas, escenas y puntos de vista de cámara no vistos.
• Utilidad Práctica: Aplicabilidad inmediata en RL online, RL offline, curación de datos para aprendizaje por imitación y detección automatizada de fallos.

El trabajo concluye que, aunque los modelos actuales luchan con la ambigüedad del fallo, un enfoque de doble objetivo anclado en el progreso experto pero guiado por preferencias globales permite a los modelos de recompensa internalizar escalas calibradas de progreso de la tarea, acelerando así el aprendizaje robótico en entornos complejos del mundo real.