Resumen Técnico: Robo-Dopamine 2.0

Declaración del Problema

Si bien los modelos de Visión-Lenguaje-Acción (VLA) han avanzado en la manipulación robótica, sus políticas siguen siendo vulnerables a errores acumulativos, cambios de escena no vistos y estados fuera de trayectoria. El Aprendizaje por Refuerzo (RL) ofrece un camino para refinar estas políticas, pero su eficacia depende de recompensas densas e informativas. Los enfoques actuales enfrentan tres cuellos de botella principales:

1. Recompensas Dispersas: Las señales de solo éxito hacen que la exploración sea ineficiente.
2. Recompensas Manuales Frágiles: Las recompensas densas diseñadas manualmente son costosas, específicas para cada tarea y frágiles.
3. Limitaciones de los Modelos de Recompensa Aprendidos: Los modelos de recompensa visual existentes suelen depender de observaciones estáticas de "antes-después". Esto conduce a una ambigüedad temporal, donde estados visualmente similares corresponden a diferentes progresos latentes debido a eventos de contacto ocultos, fases repetidas o subobjetivos reordenados. Además, estos modelos tienen dificultades para distinguir entre variaciones que preservan la semántica (por ejemplo, oclusiones que no afectan el progreso de la tarea) y fallos no válidos para la tarea (por ejemplo, agarrar el objeto incorrecto), particularmente bajo ejecución Fuera de Distribución (OOD).

Metodología

El artículo presenta Robo-Dopamine 2.0, un modelo de recompensa de proceso condicionado por la historia y consciente de OOD. Mantiene la interfaz de predicción por pares de trabajos anteriores, pero la mejora a través de tres componentes principales:

1. Formulación de Recompensa por Pares Condicionada por la Historia

El modelo predice el progreso relativo con signo entre dos estados $(X_b, X_a)$ dada una instrucción $c$, anclajes de la tarea y contexto temporal $C_{ba}$.

• Procedencia del Contexto:
  • Consultas Estándar/En Línea: Utiliza el historial de ejecución observado (paneles previos a la consulta y entre estados) para resolver la ambigüedad temporal.
  • Consultas OOD Sintéticas: Utiliza "paneles de referencia exitosos alineados con la fuente" de un episodio experto exitoso para proporcionar contexto, manteniendo los endpoints consultados como las observaciones editadas (contrafactuales). Esto permite al modelo aprender la semántica del fallo sin reemplazar los endpoints de fallo reales por unos exitosos.
• Estructura de Entrada: El modelo procesa paneles temporales ordenados (por ejemplo, cuadrículas de 3x3) junto con los anclajes de inicio/meta y el par de estados específico, preservando el orden cronológico de los eventos.

2. Espacio de Progreso con Signo Consciente de OOD

Para manejar fallos y robustez, los autores definen un espacio de progreso con signo unificado $\Phi$:

• Estados Positivos ($P$): Estados de ejecución válidos.
• Estados Robustos ($R$): Variaciones que preservan la semántica (por ejemplo, oclusiones, distractores) donde $\Phi(R) = \Phi(P)$.
• Estados Negativos ($N$): Fallos no válidos para la tarea (por ejemplo, interacción con el objeto incorrecto, no liberación). Estos se asignan un valor de progreso negativo $\Phi(N) = -g_i$, donde $g_i$ indexa la profundidad del fallo relativo a la fase de la fuente alineada.
• Objetivo de Salto con Signo (Signed Hop Target): El objetivo de entrenamiento $H_{ba}$ se normaliza basándose en la rama (positiva o negativa) de los endpoints. Esto permite al modelo aprender un espectro continuo desde el progreso válido hasta el fallo y la recuperación dentro de un único marco de regresión.

Currículo de Salto con Signo con Replay de Conciencia de Transición

Para optimizar el ordenamiento de progreso fino, se emplea una estrategia de aprendizaje por currículo:

• Etapa 1 (Geometría Global): Entrena en pares de "Gran Salto" (el 40% superior por diferencia de progreso absoluto) para aprender el ordenamiento de grano grueso entre éxito, robustez y fallo.
• Etapa 2 (Calibración Local): Entrena en pares de "Pequeño Salto" y de Salto Cero para refinar las distinciones de grano fino.
• Mecanismo de Replay: Durante la Etapa 2, el 25% del lote consiste en ejemplos de Gran Salto reproducidos. Esto asegura que el modelo retenga la comprensión geométrica global mientras refina la calibración local.

Marco de Recompensa de Bucle Cerrado

Durante la inferencia de RL en línea, el modelo construye paneles temporales a partir del prefijo de ejecución observado (sin información futura). Genera tres predicciones normalizadas:

1. Anclada hacia adelante: Desde el estado inicial al estado actual.
2. Anclada hacia atrás: Desde la meta al estado actual.
3. Incremental: Desde el estado anterior al estado actual.
   Estas se fusionan para estimar una función de potencial $\hat{\Phi}_t$, que se utiliza para dar forma a la señal de recompensa: $r_t = r_{task} + \gamma(\hat{\Phi}_{t+1} - \hat{\Phi}_t)$.

Principales Contribuciones

1. Marco Robo-Dopamine 2.0: Un marco de recompensa por pares que integra contexto condicionado por la historia (para consultas en línea y OOD sintéticas) con un espacio de progreso con signo capaz de modelar progreso válido, robustez, fallos y recuperación.
2. Currículo de Salto con Signo: Una estrategia de entrenamiento que aprende progresivamente el ordenamiento de ejecución global antes de la calibración de grano fino, utilizando un mecanismo de replay para mantener la consistencia geométrica.
3. Evaluación Exhaustiva: La construcción de un conjunto de datos de trayectorias OOD y un benchmark de cinco familias (Distribución Interna, Temporal, OOD-Negativo, OOD-Robusto, OOD-Temporal) para la evaluación de Consistencia de Orden Visual (VOC) a nivel de trayectoria.

Resultados

Evaluación Offline (Consistencia de Orden Visual)

• Contexto Temporal: El uso de paneles preconstruidos de 3x3 mejoró la VOC media de 0.967 (estático) a 0.986.
• Robustez OOD: La VOC de OOD-robusto mejoró de 0.906 a 0.958 con el modelo completo.
• Efectividad del Currículo: El entrenamiento de Salto con Signo con 25% de replay logró una VOC media de 0.9872, superando a un control de permutación de pool emparejado (0.9858) y a una variante sin replay (0.9866).
• Completitud de la Tarea: El modelo alcanzó un 96.1% de precisión de clasificación de completitud de tarea, superando bases sólidas incluyendo GPT-5.5 (81.1%) y RoboBrain 2.0 (61.7%).

Aprendizaje por Refuerzo de Ciclo Cerrado (Downstream RL)

• Simulación (RoboTwin): En tres tareas de manipulación, el modelo completo (C11: OOD + Historia) alcanzó un 86.8% de éxito medio. Esto superó la línea base de recompensa dispersa (85.8% tras 1,000 épocas) y las variantes de solo historia (75.1%) o solo OOD (80.6%), demostrando ganancias complementarias.
• Mundo Real (Inserciones Repetidas): En una tarea de "Insertar Cuadrado" con un brazo Franka dual de 4 intentos consecutivos, el modelo completo logró 71/80 inserciones exitosas y 15/20 completaciones de secuencia completa. Esto superó significativamente a la línea base de Evento Disperso (48/80 inserciones) y a la variante de solo historia (67/80), a pesar de usar menos episodios de entrenamiento (200 vs 300).

Significancia y Reivindicaciones

El artículo afirma que Robo-Dopamine 2.0 aborda la brecha crítica en el modelado de recompensa de proceso al resolver la ambigüedad temporal y permitir distinciones conscientes de fallos en escenarios OOD. Al unificar el progreso válido, la robustez y el fallo en una única interfaz por pares con signo, el modelo proporciona retroalimentación densa y fiable que mejora el aprendizaje de la política tanto en simulación como en entornos del mundo real. Los autores enfatizan que el enfoque condicionado por la historia es esencial para distinguir entre estados visualmente similares que representan diferentes etapas de ejecución o diferentes niveles de validez de la tarea, una capacidad de la que carecen los modelos estáticos basados en endpoints. Los resultados sugieren que combinar el contexto temporal con la supervisión consciente de OOD produce mejoras complementarias sobre el uso de cualquiera de estas técnicas de forma aislada.