Resumen Técnico: Recuperar, no Reentrenar (RECAP)

Declaración del Problema

Extender las políticas de Visión-Lenguaje-Acción (VLA) a nuevas tareas o a nuevos encarnaciones de robots (por ejemplo, de una mano humana a un brazo robótico específico) requiere típicamente la recolección de demostraciones teleoperadas costosas y específicas para cada tarea y la realización de un ajuste fino (fine-tuning) por tarea. Este proceso incurre en dos costos significativos:

1. Costo de Recolección de Datos: Los datos de robots teleoperados son lentos de adquirir (aproximadamente 18 veces más lentos que las demostraciones de manos humanas) y están limitados al hardware.
2. Costo de Computación: El ajuste fino de los modelos modernos de Mundo-Acción (WAM) o de grandes políticas VLA para cada nueva tarea es computacionalmente intensivo (por ejemplo, ~24 horas de GPU por tarea para la política Cosmos) y escala con el tamaño del modelo y la longitud del contexto.

Los autores argumentan que este costo de adaptación por tarea es evitable. En lugar de reentrenar, el conocimiento conductual de una fuente rica en datos y económica (la encarnación "pool", por ejemplo, manos humanas) puede transferirse a la encarnación objetivo (la "query") mediante un paradigma basado en la recuperación (retrieval).

Metodología: RECAP

El artículo propone RECAP (Política de Acción Condicionada por Recuperación), un marco que desplaza la adaptación de la optimización de parámetros a la recuperación de datos. La premisa central es que, si bien las encarnaciones difieren en su dinámica de ejecución, coinciden ampliamente en los requisitos de alto nivel de una tarea.

1. Fase de Entrenamiento

• Backbone: El método utiliza un Modelo de Mundo-Acción (WAM), específicamente la Política Cosmos, que trata las acciones y las observaciones visuales futuras como una única secuencia de video denotada.
• Condicionamiento Aumentado por Recuperación: La política se entrena una sola vez en demostraciones emparejadas de las encarnaciones de la consulta (robot objetivo) y del pool (por ejemplo, mano humana).
• Parametrización Residual: En lugar de predecir la secuencia de acciones completa, la política predice un residuo ($\Delta a$) sobre la trayectoria del pool recuperada.
  • $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
  • Esto obliga al modelo a aprender solo las correcciones específicas de la encarnación (dinámica, geometría de contacto) en lugar de todo el plan de movimiento.
• Objetivo Conjunto: El modelo se entrena con una pérdida de ajuste de flujo (flow-matching loss) que supervisa conjuntamente la acción predicha y el estado visual futuro (imagen). El objetivo de la imagen futura actúa como una señal de consistencia visual, asegurando que la trayectoria recuperada se alinee con la evolución física de la escena en el robot objetivo.

2. Adaptación en Tiempo de Prueba (Inferencia)

• Política Congelada: Una vez entrenada, los parámetros de la política permanecen congelados. No ocurren actualizaciones de gradiente para nuevas tareas.
• Pool de Recuperación Dinámico: Las nuevas tareas se gestionan añadiendo demostraciones relevantes de la encarnación del pool (por ejemplo, videos humanos) a un pool de recuperación.
• Recuperación Paso a Paso: En cada paso de control $t$, el sistema:
  1. Observa el estado actual de la consulta $s^{query}_t$.
  2. Recupera el fragmento de estado-acción más similar $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ del pool de la base de datos basado en un descriptor compuesto (objetivo de lenguaje, pose del objeto, propiocepción y características visuales).
  3. Introduce la observación actual y el fragmento recuperado en la política congelada.
  4. La política devuelve el siguiente fragmento de acción para el robot objetivo, condicionado al plan de alto nivel recuperado.

Contribuciones Clave

1. Paradigma de Adaptación en Tiempo de Prueba: Un método para adaptar políticas a nuevas tareas enteramente en el tiempo de prueba extendiendo un pool de recuperación con demostraciones económicas, manteniendo la política congelada.
2. Política Residual Condicionada por Recuperación en WAMs: Una arquitectura específica donde la recuperación suministra el movimiento grueso de alto nivel, y el WAM aprende solo la corrección específica de la encarnación. Los autores destacan que el objetivo de predicción de la imagen futura del WAM es excepcionalmente beneficioso aquí, proporcionando una señal de alineación visual que fortalece las acciones condicionadas por la recuperación.
3. Validación Empírica: Demostró ganancias consistentes sobre las líneas base de encarnación cruzada en tres entornos:
   • PushT (2D): Generalización a ángulos de meta no vistos.
   • RoboTwin 2.0 (Simulación): Manipulación multi-tarea y de doble brazo.
   • Robot Real: Transferencia de videos de manos humanas a un brazo robótico físico.

Resultados Experimentales

Benchmark PushT (Generalización de Encarnación Cruzada)

• Configuración: Un empujador de triángulo (objetivo) entrenado en ángulos de $\pm 45^\circ$, evaluado en 9 ángulos (7 no vistos). El pool consistió en demostraciones de un empujador de disco.
• Resultados:
  • Progresión del Pool: Expandir el pool de recuperación en el tiempo de prueba sin reentrenar mejoró monótonamente el éxito en ángulos no vistos, subiendo del 6.0% (sin recuperación) al 34.9% (pool completo).
  • Comparación de Backbone: La recuperación mejoró tanto la VLA estándar ($\pi0.5$) como los backbones WAM (Cosmos), pero la ganancia fue significativamente mayor para el WAM (25.1% vs 34.9%), confirmando la sinergia entre la recuperación y el objetivo de la imagen futura.
  • Mecanismo: El análisis de atención mostró que la política utiliza las capas iniciales para atender a la trayectoria recuperada y las capas posteriores para adaptar el plan a la dinámica del objetivo.

RoboTwin 2.0 Simulación

• Configuración: Objetivo (Aloha-Agilex) vs. Pool (UR5). Entrenado en 5 tareas emparejadas, evaluado en 5 tareas no vistas.
• Resultados:
  • Desempeño: RECAP logró un 31.5% de éxito en tareas no vistas, superando a la línea base más fuerte (Política Cosmos sin recuperación) con un 26.0% y a la "Solo Recuperación" (ejecución ingenua) con un 26.0%.
  • Crecimiento del Pool: Las tasas de éxito aumentaron monótonamente a medida que el pool crecía de 11 a 35 tareas, alcanzando el 31.5% con el pool completo.
  • Cualitativo: En tareas como "hand-over-mic", la recuperación ingenua falló (colisionando con objetos), mientras que RECAP ajustó con éxito la orientación del agarre.

Experimentos con Robot Real

• Configuración: Robot objetivo entrenado en "abrir gabinete" (25 demos emparejadas). Evaluado en tareas no contenidas: "colocar botella" y "cerrar gabinete".
• Resultados:
  • La línea base (entrenada solo en abrir gabinete) falló en las tareas no contenidas (0% y 10% de éxito), reproduciendo la trayectoria de entrenamiento.
  • RECAP, usando solo 10 demostraciones de mano humana por cada nueva tarea añadida al pool, logró un 80% de éxito en colocar la botella y un 30% en cerrar el gabinete.

Significancia y Reclamaciones

El artículo afirma que indexar datos de encarnación de pool más económicos en el despliegue puede sustituir la recolección de nuevas demostraciones del robot objetivo.

• Reducción de Costos: El método reemplaza el costo de ajuste fino de ~24 horas de GPU/tarea y el costo de teleoperación 18× más lento con un proceso de recuperación.
• Escalabilidad: Al congelar la política, el sistema puede absorber nuevas tareas simplemente añadiendo datos al pool de recuperación, evitando los costos acumulativos del ajuste fino tradicional.
• Sinergia con WAMs: El trabajo demuestra que los Modelos de Mundo-Acción, cuando se combinan con la recuperación, pueden aprovechar eficazmente la planificación "gruesa" de una encarnación para aprender la dinámica "fina" de otra, una capacidad que las políticas de solo acción estándar carecen.

Los autores reconocen limitaciones, señalando que el método requiere espacios de acción compartidos (por ejemplo, pose del efector final) y que los descriptores de recuperación actuales (que combinan lenguaje, pose y visión) pueden necesitar mayor refinamiento para escenarios más complejos o temporalmente desajustados. Sin embargo, los resultados sugieren un camino viable hacia políticas robóticas de propósito general que se adaptan mediante la recuperación en lugar del reentrenamiento.