Resumen Técnico: Imagine2Real

Declaración del Problema

La Interacción Humanoide-Objeto (HOI) de cuerpo completo está actualmente limitada por la escasez de datos de interacción 3D de alta fidelidad. Si bien los modelos generativos de video ofrecen una alternativa prometedora para proporcionar priores visuales y físicos, los métodos existentes que intentan aprovecharlos para HOI enfrentan dos desafíos críticos:

1. Desalineación de Representación: La extracción de movimiento 3D a partir de videos 2D generalmente depende de priores geométricos fuertes (por ejemplo, modelos CAD explícitos), los cuales rara vez están disponibles en entornos del mundo real. Además, los enfoques existentes suelen estimar los movimientos del robot y del objeto de forma independiente utilizando herramientas separadas, lo que genera discrepancias espaciales y de profundidad que resultan en movimientos de referencia de baja calidad y fallos de seguimiento.
2. Complejidad de la Reasignación (Retargeting): El seguimiento de movimiento tradicional requiere señales densas de bajo nivel (por ejemplo, posiciones de las articulaciones) que deben reasignarse explícitamente a una encarnación humanoide específica. En escenarios de HOI, este proceso es extremadamente complejo, requiriendo una deformación intensiva para alinear las mallas del robot y del objeto, lo cual amplifica inherentemente los errores de estimación provenientes de la fuente de video. Por el contrario, los métodos que rastrean puntos clave dispersos a menudo fallan en producir patrones de marcha naturales debido a la falta de información a nivel de articulación.

Metodología

Los autores proponen Imagine2Real, un marco de trabajo HOI de cero disparos diseñado para lograr una interacción flexible y libre de geometría unificando los movimientos del robot y del objeto, y aprovechando un Modelo Fundacional de Comportamiento (BFM). El marco opera mediante un pipeline "de video a movimiento a realidad" que involucra tres componentes centrales:

1. Representación Unificada de Trayectorias de Puntos 4D

Para resolver la desalineación de la representación, el marco evita depender de priores geométricos. En su lugar, trata tanto los movimientos del robot como los del objeto como una trayectoria unificada de puntos 4D.

• Síntesis de Video: Dada una imagen inicial y una instrucción de texto, un modelo generador de video sintetiza un video de interacción.
• Extracción: Utilizando segmentación (SAM3) y seguimiento de puntos (SpaTrackerV2), el sistema extrae trayectorias de puntos 4D para regiones críticas dispersas: la base del robot, las manos y el objeto objetivo.
• Alineación: Al representar a ambas entidades como trayectorias de puntos dentro de un marco común, el método asegura la alineación espacial sin requerir modelos CAD explícitos ni pipelines de estimación independientes.

2. Rastreador de Puntos Clave Basado en Modelo Fundacional de Comportamiento (BFM)

Para superar la complejidad de la reasignación y mantener patrones de marcha naturales con señales dispersas, el marco utiliza un Rastreador de Puntos Clave construido sobre un BFM preentrenado.

• Backbone BFM: Un BFM se preentrena primero en datos de movimiento propioceptivo a gran escala (~68.5 horas) para construir un espacio latente de movimiento compacto. Este modelo internaliza la dinámica directa y las transiciones de movimiento naturales.
• Seguimiento Disperso: El rastreador no reaprende un controlador de cuerpo completo. En su lugar, se condiciona sobre un movimiento de referencia disperso (base, manos, objeto) y aplica un planificador residual latente sobre el backbone BFM congelado.
• Mecanismo: El predictor congelado genera un prior latente basado en la historia propioceptiva para asegurar una locomoción y un equilibrio naturales. El planificador luego emite un residual latente de baja dimensión para dirigir al robot hacia los objetivos de seguimiento dispersos. Esto permite al sistema eludir el proceso de reasignación que amplifica errores, preservando al mismo tiempo la estabilidad física.

3. Estrategia de Entrenamiento Progresivo

Para abordar la escasez de datos, el marco emplea una estrategia de entrenamiento progresivo de tres etapas:

1. Backbone BFM: Entrenado en movimientos diversos de cuerpo completo para establecer un prior de movimiento robusto.
2. Rastreador de Puntos Clave: Entrenado en datos de locomoción-manipulación (~8.86 horas) para aprender a rastrear puntos dispersos mientras mantiene el equilibrio.
3. Adaptador de Interacción: Ajustado finamente en datos específicos de HOI (~0.43 horas) para aprender acciones residuales a nivel de articulación para la manipulación de objetos. Este adaptador cierra la brecha entre el seguimiento cinemático y el contacto físico, permitiendo una manipulación precisa sin ingeniería de recompensas compleja.

4. Pipeline de Despliegue en el Mundo Real

El bucle de despliegue involucra:

• Generación de Video: Sintetizar un video de interacción condicionado por texto.
• Extracción de Trayectoria: Convertir los píxeles del video en trayectorias de puntos 4D estables.
• Calibración de Captura de Movimiento (Mocap): Utilizar un sistema de captura de movimiento (mocap) para resolver la ambigüedad de escala inherente a la generación de video monoculular. El sistema captura posiciones globales iniciales para escalar y calibrar las trayectorias extraídas a dimensiones del mundo real antes de ejecutar la política en un robot humanoide Unitree G1.

Contribuciones Clave

1. Representación Unificada de Trayectorias de Puntos 4D: Una representación novedosa para HOI que elimina la dependencia de priores geométricos y resuelve la desalineación de movimiento entre robots y objetos.
2. Rastreador de Puntos Clave Basado en BFM: Un mecanismo de seguimiento que se centra exclusivamente en puntos clave dispersos críticos para la interacción (base, manos, objeto). Al utilizar el espacio latente del BFM como dominio de búsqueda, permite una interacción flexible mientras garantiza patrones de marcha estables y naturales sin reasignación compleja.
3. Marco de Entrenamiento Progresivo: Una estrategia que utiliza eficazmente conjuntos de datos multiescala (desde datos no interactivos a gran escala hasta datos específicos de HOI) para lograr una HOI robusta de cero disparos, eliminando la necesidad de mecanismos diseñados a mano como recompensas de contacto complejas o inicialización de estados físicos.

Resultados Experimentales

Los autores evaluaron el marco mediante implementaciones Sim2Sim y de cero disparos en el mundo real:

• Naturalidad del Movimiento: En estudios de ablación, el enfoque basado en BFM superó significativamente al seguimiento directo en el espacio de las articulaciones y a las líneas base DAgger en términos de suavidad de la acción y naturalidad de la marcha (menor $E_{mpjae}$, $A_{rate}$ y $A_{smooth}$), demostrando que la búsqueda en el espacio latente produce movimientos más físicamente plausibles.
• Éxito de la Tarea: El marco logró altas tasas de éxito en tareas de HOI de cuerpo completo:
  • Transporte de Cajas: 82.65% de tasa de éxito con el Adaptador de Interacción (vs. 0% sin él).
  • Empuje de Cajas: 64.91% de tasa de éxito con el Adaptador (vs. 29.82% sin él).
  • Los errores de seguimiento para manos, base y objetos se mantuvieron dentro de una precisión a nivel de centímetros.
• Despliegue de Cero Disparos: El sistema ejecutó con éxito diversas tareas físicas en un robot Unitree G1 real, incluyendo levantar varias cajas y realizar interacciones semánticamente ricas (por ejemplo, golpear un pilar de "Iron Man"), demostrando la eficacia del pipeline de video a movimiento a realidad.

Significado y Limitaciones

El artículo afirma que Imagine2Real representa un paso significativo hacia el control humanoide generalizable al desacoplar el aprendizaje de interacción de la necesidad de conjuntos de datos 3D masivos y específicos de la tarea. Al aprovechar priores generativos de video y una representación unificada de puntos, el marco permite que los robots aprendan interacciones complejas a partir de pistas visuales dispersas mientras mantienen la estabilidad física.

Sin embargo, los autores reconocen las limitaciones actuales:

• Dependencia de Mocap: El despliegue en el mundo real depende actualmente de sistemas externos de captura de movimiento, que son susceptibles a la oclusión de marcadores durante tareas de contacto cercano.
• Pipeline de Lazo Abierto: El sistema actual es de lazo abierto. Si bien solicitar iterativamente al modelo de video ofrece una aproximación pseudo de lazo cerrado, un sistema de lazo cerrado real requiere un ajuste fino conjunto del generador de video y el rastreador de movimiento utilizando retroalimentación física, lo cual sigue siendo un desafío debido a la naturaleza de código cerrado de los modelos de video de primer nivel y la falta de consistencia física en las alternativas de código abierto.