Resumen Técnico: INSIGHT – Adquisición de Habilidades Autoguiada mediante VLAs Dirigibles

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han avanzado en la manipulación robótica de propósito general, pero permanecen fundamentalmente limitados por las habilidades presentes en sus datos de entrenamiento. La adquisición de nuevas habilidades de manipulación requiere típicamente demostraciones humanas costosas y un ajuste fino (fine-tuning) para cada tarea novedosa. Si bien el aprendizaje por refuerzo (RL) ofrece una alternativa, a menudo demanda una complejidad de muestreo prohibitiva y restricciones de seguridad en el mundo real. Además, los métodos existentes que utilizan Modelos de Visión-Lenguaje (VLM) o Modelos de Lenguaje Grande (LLM) como planificadores o agentes de codificación generalmente operan en tiempo de ejecución; componen habilidades predefinidas o generan trayectorias sin actualizar la política aprendida subyacente. En consecuencia, los robots no pueden expandir autónomamente su conjunto de capacidades para manejar escenarios novedosos (por ejemplo, un rover en Marte que necesita barrer escombros habiendo sido entrenado solo para recoger rocas) sin intervención humana.

Metodología: Marco de Trabajo INSIGHT

INSIGHT aborda estas limitaciones convirtiendo a los VLA en "dirigibles" (steerable) al nivel de la acción primitiva, permitiendo la adquisición autónoma de habilidades mediante un proceso de dos etapas.

Etapa 1: Segmentación Automática de Primitivas y Entrenamiento de VLA Dirigible

La primera etapa transforma las demostraciones estándar de teleoperación en una política VLA dirigible sin anotación manual.

• Definición de Primitiva: Una primitiva se define como un segmento de acción reutilizable caracterizado por un único modo de movimiento dominante (por ejemplo, traslación a lo largo de un eje, rotación o transición de estado del gripper) y una etiqueta de lenguaje natural (por ejemplo, "levantar hacia arriba", "cerrar gripper").
• Segmentación Automatizada: Un VLM recibe una descripción de la tarea y ejemplos de primitivas para generar una secuencia ordenada de primitivas esperadas. Estos planes generados por el VLM se alinean con los datos de demostración humana utilizando transiciones de estado del gripper (abierto/cerrado), magnitudes de movimiento del efector final y etiquetas de ejes dominantes.
• Ajuste Fino (Fine-Tuning): Las trayectorias segmentadas y etiquetadas se utilizan para ajustar un VLA preentrenado (usando LoRA). Cada segmento de primitiva se convierte en un episodio de entrenamiento separado condicionado por su etiqueta de lenguaje. Se añade un canal de progreso aprendido al espacio de acción para proporcionar señales de terminación para las primitivas individuales.
• Resultado: El resultado es un VLA que puede ser dirigido mediante lenguaje para ejecutar primitivas específicas, en lugar de solo instrucciones de tareas completas.

Etapa 2: Bucle de Adquisición de Habilidades Guiado por VLM

Dado un VLA dirigible con un vocabulario conocido de primitivas ($V$), INSIGHT adquiere autónomamente las habilidades faltantes para tareas novedosas.

1. Identificación de Brechas de Primitivas: Para una tarea novedosa, un planificador VLM descompone la tarea en una secuencia de primitivas. Cualquier primitiva $p_i$ en el plan que no esté en el vocabulario actual $V$ es marcada como una "brecha de primitiva".
2. Parametrización y Ejecución: Para cada brecha, el VLM propone parámetros de control de bajo nivel, específicamente un eje de movimiento (traslación $\{dx, dy, dz\}$ o rotación $\{dr_x, dr_y, dr_z\}$) y una magnitud con signo. El robot ejecuta el plan: las primitivas conocidas son manejadas por el VLA dirigible, mientras que las brechas son ejecutadas por un controlador de bajo nivel utilizando los parámetros propuestos por el VLM.
3. Evaluación de Éxito e Integración: Un oráculo VLM analiza la escena antes y después de la ejecución para verificar el éxito de la tarea. Las ejecuciones exitosas de la nueva primitiva se etiquetan automáticamente, se almacenan y se añaden al conjunto de datos de entrenamiento.
4. Reentrenamiento: El VLA se reentrena con el conjunto combinado de datos originales y las nuevas primitivas adquiridas. Esto expande el vocabulario $V$, permitiendo al robot ejecutar la tarea completa compuesta de forma autónoma en iteraciones futuras.

Contribuciones Clave

1. Pipeline de Segmentación Automática de Primitivas: Un método para descomponer demostraciones de teleoperación en primitivas etiquetadas utilizando la descomposición de planes de VLM y pistas cinemáticas, eliminando la necesidad de anotación manual y permitiendo la dirigibilidad a nivel de primitiva.
2. Volante de Datos Guiado por VLM (VLM-Guided Data Flywheel): Un sistema de bucle cerrado donde el VLM identifica las primitivas faltantes para tareas novedosas, genera autónomamente demostraciones exitosas mediante control de bajo nivel y reentrena el VLA para integrar estas nuevas capacidades sin más demostraciones humanas.
3. Adquisición de Habilidades Composicionales: Una demostración de que las primitivas adquiridas pueden componerse para resolver tareas complejas de largo horizonte, permitiendo efectivamente el aprendizaje continuo y de por vida.

Resultados Experimentales

El marco fue evaluado a través de cinco tareas en simulación (entorno LIBERO con un Franka Panda) y en hardware del mundo real (UFactory xArm).

• Simulación (Giro de Bloque): Partiendo solo de demostraciones de recoger y colocar (pick-and-place), INSIGHT adquirió una primitiva de "girar bloque". Logró un 75% de éxito en la tarea de giro de bloque tras 246 ejecuciones de la primitiva adquirida. En contraste, un baseline de Aprendizaje por Refuerzo de Actor-Crítico Suave (SAC) con el mismo presupuesto computacional logró un 0% de éxito en el giro.
• Simulación (Cerrar Cajón): Entrenado solo con demostraciones de apertura de cajón, INSIGHT adquirió una primitiva de "empujar cajón cerrado" desde un estado inicial fuera de la distribución (OOD) (cajón ya abierto). Logró un 100% de éxito cerrando el cajón mientras mantenía la capacidad de abrirlo.
• Mundo Real (Girar y Verter):
  • Girar: INSIGHT logró un 92% de éxito de extremo a extremo al abrir la tapa de una botella, comparado con el 32% de un baseline de Code-as-Policies (CaP-X) y el 0% de un VLA ajustado finamente estándar ($\pi0.5$).
  • Verter: INSIGHT logró un 96% de éxito al verter granos, frente al 16% de CaP-X.
  • Composición: Para una tarea compleja de 14 primitivas de "girar y luego verter", INSIGHT logró un 80% de éxito de extremo a extremo, superando significativamente a CaP-X (4%).
  • Eficiencia: INSIGHT requirió sustancialmente menos tiempo de reloj (wall-clock time) por intento que CaP-X (por ejemplo, 13.6s vs 41.5s para girar) porque ejecuta primitivas aprendidas en lugar de razonar a través de cada paso en tiempo de ejecución.
• Mundo Real (Barrido): A partir de solo demostraciones de recoger (scooping), INSIGHT adquirió una primitiva de empuje lateral para barrer escombros, teniendo éxito en 5/5 ensayos de evaluación.
• Retención de Habilidades: En todos los experimentos, el VLA unificado mantuvo el 100% del rendimiento en sus habilidades base originales tras adquirir nuevas primitivas.

Significancia y Reivindicaciones

El artículo afirma que la dirigibilidad de las primitivas proporciona una base práctica para la adquisición continua de habilidades en políticas VLA. Al descomponer las habilidades en primitivas composicionales y dirigibles, INSIGHT permite a los robots:

• Identificar exactamente qué capacidades faltan para una nueva tarea.
• Adquirir autónomamente esas habilidades faltantes específicas.
• Integrar nuevas habilidades en una política unificada sin el olvido catastrófico de las habilidades previas.

Los autores posicionan esto como un cambio de tratar a los VLM meramente como planificadores en tiempo de ejecución a usarlos como agentes activos en un bucle de adquisición de datos que expande persistentemente el conjunto de habilidades del robot. Este enfoque ofrece un camino hacia robots que pueden adaptarse a entornos novedosos (como el ejemplo del rover en Marte) sin el costo prohibitivo de recolectar nuevas demostraciones humanas para cada nuevo comportamiento.

Limitaciones señaladas por los autores:

• La adquisición de primitivas está actualmente restringida a movimientos de un solo eje.
• El sistema filtra las ejecuciones exitosas; incorporar el análisis de fallos podría mejorar la eficiencia de muestreo.
• Aún se requiere intervención humana para los reinicios del entorno entre ejecuciones.
• El método aún no ha sido probado en embodiment de altos grados de libertad (high-DOF) como humanoides o manipuladores móviles.