CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation

Resumen Técnico: CORE – Regularidades de Resultados Comunes a partir de Demostraciones Visuales Libres de Acción

Planteamiento del Problema

El aprendizaje por imitación para robots enfrenta actualmente un cuello de botella de escalabilidad: las políticas de alto rendimiento suelen requerir grandes cantidades de demostraciones costosas y específicas para cada robot (por ejemplo, teleoperación o enseñanza cinestésica). Sin embargo, las demostraciones visuales libres de acción, como los videos de humanos en internet, son abundantes y ricas en prioridades de la tarea, pero son difíciles de utilizar directamente. Estos videos carecen de etiquetas de acción ejecutables por el robot y sufren de brechas significativas de "embodiment" (encarnación) en cuanto a morfología, espacios de acción e interfaces de control.

Además, los métodos existentes que intentan condicionar las políticas en objetivos de la tarea suelen depender de instrucciones en lenguaje natural. Aunque el lenguaje transmite la intención de alto nivel (por ejemplo, "apilar los cuencos"), frecuentemente falla al especificar las restricciones geométricas, espaciales y de contacto precisas necesarias para una ejecución exitosa en tareas de manipulación con alto contacto. Esta falta de especificación puede conducir a políticas subóptimas que no logran alcanzar los estados terminales necesarios.

Metodología: El Marco de Trabajo CORE

Los autores proponen CORE (Common Outcome Regularities - Regularidades de Resultados Comunes), un marco de aprendizaje de políticas que extrae regularidades estructurales compartidas de los estados terminales exitosos en demostraciones visuales libres de acción, en lugar de intentar transferir acciones explícitas o depender únicamente del lenguaje. CORE opera en tres etapas distintas:

1. Etapa I: Aprendizaje de Representación de Resultados Terminales
   El marco entrena un codificador de resultados terminales ($f_\phi^z$) utilizando demostraciones visuales libres de acción. El codificador se optimiza con un objetivo contrastivo terminal para agrupar observaciones terminales de demostraciones exitosas de la misma tarea, mientras separa resultados no terminales o no relacionados. Esto se ve aumentado por dos tareas auxiliares:

   • Regresión de Tiempo hacia el Objetivo ($L_{ttg}$): Incentiva a que la representación sea consciente del progreso temporal hacia la meta.
   • Clasificación Terminal ($L_{term}$): Mejora la discriminación entre estados terminales y no terminales.
     El objetivo es aprender representaciones que se centren en las estructuras terminales compartidas (configuraciones de objetos, relaciones espaciales) en lugar de en los detalles de movimiento específicos de la trayectoria.

2. Etapa II: Construcción de Prototipos de Objetivo
   Las representaciones (embeddings) terminales exitosas se agregan para formar un prototipo de objetivo visual ($z_{goal}$). Para asegurar la robustez, el método agrupa los embeddings terminales exitosos mediante K-Means y selecciona los modos dominantes (Top-K) para computar una condición de objetivo estática a nivel de tarea. Esta agregación suprime observaciones terminales ruidosas o poco comunes, produciendo una representación estable del estado físico final deseado.

3. Etapa III: Inyección de Objetivo Agnóstica al Backbone
   Durante el entrenamiento y la inferencia de la política, la observación actual se codifica en un embedding de resultado ($z_t$). Este se concatena con el prototipo de objetivo precomputado ($z_{goal}$) para formar una característica de objetivo global ($g_t = [z_t; z_{goal}]$). Esta característica se inyecta en el backbone de la política del robot (por ejemplo, Diffusion Policy, MP1) mediante un operador de condicionamiento. La política es entonces guiada para generar fragmentos de acción (action chunks) que minimicen la distancia entre el estado actual y el estado terminal deseado. Este módulo está diseñado para ser compatible con diversos backbones de política, incluyendo modelos basados en difusión y de flujo.

Contribuciones Clave

• Formulación del Aprendizaje a Nivel de Resultado: El artículo redefine el aprendizaje de demostraciones visuales como la extracción de Regularidades de Resultados Comunes. En lugar de luchar por mapear acciones explícitas a través de diferentes embodiments, CORE extrae estructuras compartidas directamente de los estados terminales exitosos.
• Marco de Trabajo de Tres Etapas: Los autores proponen un nuevo pipeline que convierte datos visuales libres de acción en condiciones de objetivo visual robustas mediante el aprendizaje de representación terminal y la construcción de prototipos. El diseño es agnóstico al backbone, lo que permite una integración fluida en diversas políticas descendentes.
• Superioridad sobre el Condicionamiento por Lenguaje: El trabajo demuestra que los prototipos de objetivos visuales proporcionan restricciones geométricas y físicas más concretas que las instrucciones de texto, particularmente para tareas que requieren un alineamiento preciso del estado terminal.

Resultados Experimentales

Los autores evaluaron CORE en dos entornos de simulación (Meta-World y RoboTwin 2.0) y en una configuración de brazo robótico en el mundo real (ARX R5).

• Meta-World: CORE mejoró la tasa de éxito promedio del backbone MP1 en un +3.9% (del 81.7% al 85.6%) y del backbone DP3 en un +2.5% (del 81.5% al 84.0%). Las mejoras fueron más pronunciadas en tareas "Hard" (difíciles) y "Very Hard" (muy difíciles). Las variantes condicionadas por texto mostraron ganancias insignificantes en comparación.
• RoboTwin 2.0: CORE produjo mejoras significativas, impulsando el backbone MP1 en un +11.1% (al 79.4%) y el DP3 en un +4.8% (al 82.3%). En cada tarea evaluada, al menos una política integrada con CORE logró el mejor resultado.
• Mundo Real: En un robot físico realizando tareas de alto contacto (por ejemplo, manipulación de cajones, apilamiento), CORE mejoró la tasa de éxito del backbone MP1 en un +17.0% (del 69.0% al 85.0%) y del DP3 en un +17.0% (del 65.0% al 82.0%). Las líneas base condicionadas por texto proporcionaron mejoras insignificantes en el entorno real.
• Estudios de Ablación: Eliminar las pérdidas auxiliares ($L_{ttg}, L_{term}$) o el embedding de resultado actual ($z_t$) degradó significativamente el rendimiento, confirmando la necesidad del diseño completo de tres etapas. El estudio también mostró que aprender un codificador terminal especializado supera el uso de codificadores visuales de propósito general congelados (por ejemplo, Uni3D).

Significado y Reivindicaciones

El artículo sostiene que el desafío central en la utilización de videos humanos no es simplemente la disponibilidad de datos, sino la extracción de supervisión que sea utilizable por las políticas de los robots a pesar de las brechas de embodiment. CORE aborda esto desplazando la representación del objetivo de una "intención de lenguaje subespecificada" a "condiciones de objetivo a nivel de resultado inducidas a partir de observaciones exitosas".

Los autores afirman que, al centrarse en las Regularidades de Resultados Comunes, el marco permite que los robots aprovechen la abundante información humana libre de acción sin necesidad de recuperar acciones explícitas o cerrar directamente las brechas morfológicas. Los resultados sugieren que los prototipos de objetivos visuales ofrecen una señal más directa y físicamente fundamentada para la finalización de tareas que el lenguaje, permitiendo políticas de manipulación más robustas incluso con datos de demostración específicos para el robot limitados.