Resumen Técnico: VLK – Aprendizaje de Loco-Manipulación Humanoide a partir de Interacciones Sintéticas en Escenas Reconstruidas

Declaración del Problema

La loco-manipulación humanoide basada en la percepción requiere el mapeo de observaciones visuales egocéntricas de alta dimensión e instrucciones de lenguaje natural hacia comportamientos cinemáticos de cuerpo completo coordinados. Un cuello de botella fundamental para escalar esta capacidad es la falta de conjuntos de datos a gran escala que contengan la tupla completa de: (1) observaciones visuales egocéntricas, (2) instrucciones de tareas y (3) trayectorias cinemáticas de cuerpo completo compatibles con el robot.

• La teleoperación en el mundo real proporciona datos de alta calidad, pero es costosa y difícil de escalar a través de diversos escenarios y objetos.
• La captura de movimiento humano ofrece referencias cinemáticas ricas, pero carece de las vistas egocéntricas correspondientes del robot.
• Los conjuntos de datos de video egocéntrico proporcionan experiencia visual, pero carecen de la cinemática o las acciones del robot emparejadas.

En consecuencia, no existe una fuente actual que proporcione la supervisión de visión-lenguaje-cinemática (VLK) necesaria para el aprendizaje de políticas escalable.

Metodología

Los autores proponen un pipeline que genera supervisión VLK emparejada sintéticamente dentro de escenas interiores reconstruidas a escala métrica. El sistema desacopla la generación de activos del mundo, la síntesis de comportamiento y el renderizado visual para superar la escasez de datos.

1. Pipeline de Generación de Datos Sintéticos

El pipeline opera en tres etapas para producir 48,000 trayectorias emparejadas sin intervención humana:

• Reconstrucción de Escenas y Anotación: Los entornos interiores se reconstruyen a partir de escaneos de iPhone 14 Pro utilizando 3D Gaussian Splatting (3DGS) para preservar el detalle fotorealista y la escala métrica. Se anotan cajas delimitadoras (bounding boxes) 3D semánticas y regiones transitables para definir las restricciones de la síntesis de movimiento.
• Síntesis de Movimiento del Robot: Utilizando las restricciones de la escena anotada, el sistema sintetiza trayectorias del Unitree G1 para dos familias de tareas:
  • Navegación dirigida a objetos: Entrenada con movimientos de BONES-SEED.
  • Interacción con objetos: Entrenada con secuencias de OMOMO retargeteadas a la morfología del G1 mediante OmniRetarget.
  • Un modelo de difusión condicional genera trayectorias acopladas G1-objeto, condicionadas por instrucciones de la tarea, estados iniciales, geometría del objeto y etiquetas de contacto de la muñeca deseadas.
• Renderizado de Vista Egocéntrica: Las trayectorias sintetizadas del G1 se reproducen en Isaac Sim dentro de las escenas reconstruidas en 3DGS. Una cámara virtual ZED 2i (calibrada para el robot físico) renderiza observaciones RGB emparejadas. Se aplica randomización de dominio (iluminación, extrínsecos de la cámara, distancia focal) para mejorar la robustez ante brechas visuales de sim-to-real.

2. Política de Visión-Lenguaje-Cinemática (VLK)

El componente central de aprendizaje es una política que predice trayectorias cinemáticas de cuerpo completo de corto horizonte.

• Entrada: Imagen RGB egocéntrica actual ($o_t$), instrucción de la tarea ($\ell$) y estado cinemático actual del robot ($x_t$).
• Salida: Una trayectoria futura ($\hat{x}_{t+1:t+H}$) de longitud $H=30$ (1 segundo a 30 Hz) y etiquetas binarias de contacto muñeca-objeto.
• Arquitectura y Entrenamiento: La política se inicializa a partir de un modelo $\pi_0.5$ preentrenado y se ajusta utilizando una formulación de concordancia de flujo (flow-matching) con un objetivo de predicción $x_0$. Se aplican pérdidas auxiliares para el contacto pie-suelo, consistencia de la trayectoria, precisión de la cinemática directa y regularización de deslizamiento del pie.
• Representación de Estado: El estado cinemático incluye desplazamiento planar de la raíz, yaw, altura, orientación de la raíz en 6D, ángulos de las articulaciones (codificados mediante seno/coseno para evitar discontinuidades) y etiquetas de contacto.

3. Seguimiento de Cuerpo Completo y Despliegue

• Ejecución: Las predicciones de la política VLK sirven como referencias de alto nivel para un seguidor de cuerpo completo sensible al contacto (basado en SceneBot). El seguidor convierte la cinemática predicha en objetivos PD de nivel de articulación para el Unitree G1 físico.
• Sistema en Tiempo Real: El despliegue utiliza un sistema VLA en tiempo real con Triton como backend de inferencia. En una RTX 5090, la latencia de extremo a extremo es estable en 31 ms. Para manejar el desenfoque de movimiento y asegurar la continuidad, el sistema emplea la selección de fotogramas basada en la nitidez y fragmentos de acción superpuestos.

Contribuciones Clave

1. Generación de Supervisión VLK: Un nuevo pipeline que sintetiza 48,000 trayectorias emparejadas (imágenes egocéntricas, lenguaje y cinemática) en escenas reconstruidas con 3DGS, abordando el cuello de botella de datos para la loco-manipulación humanoide.
2. Síntesis de Datos Desacoplada: Un método que aprovecha información privilegiada de la escena (por ejemplo, poses de objetos, geometría de colisión) para facilitar la generación de comportamiento mientras se renderizan las observaciones a posteriori, permitiendo una escalabilidad masiva sin demostraciones humanas.
3. Transferencia Sim-to-Real: Demostración de que una política entrenada enteramente en escenas reconstruidas sintéticas puede realizar con éxito la loco-manipulación basada en la percepción en un Unitree G1 físico en entornos del mundo real.
4. Seguimiento Sensible al Contacto: Integración de etiquetas de contacto binarias predichas en el bucle de seguimiento de cuerpo completo para estabilizar el transporte de objetos durante la manipulación.

Resultados Experimentales

El sistema fue evaluado en un Unitree G1 en dos entornos (laboratorio y apartamento) con diferentes disposiciones de muebles.

• Tasas de Éxito (Mundo Real):
  • Navegación: Logró un éxito casi perfecto (19/20 a 20/20) para las tareas de "Caminar hacia" (Walk To) y "Girar" (Turn Around).
  • Manipulación de Suelo: Alto éxito al recoger y colocar cajas desde el suelo (16/20 a 20/20).
  • Manipulación de Superficie: Tasas de éxito más bajas al colocar cajas sobre superficies (8/20 a 15/20), atribuidas a la cobertura limitada de alturas de superficie de soporte en los datos de interacción retargeteados.
• Simulación vs. Realidad: El sistema logró altas tasas de éxito en la simulación MuJoCo (con renderizado de IsaacSim), validando el rendimiento de bucle cerrado antes del despliegue en el mundo real.
• Ablación de Volumen de Datos: El rendimiento escala con la cantidad de datos sintetizados. Mientras que la navegación es robusta incluso con datos limitados, las tareas de manipulación (específicamente "Pick Surface") mostraron una mejora significativa, pasando de un 0% de éxito con el 10% del volumen de datos a un 46% con el conjunto de datos completo.
• Randomización de Dominio: La randomización visual de dominio fue crítica para la transferencia sim-to-real. Eliminarla redujo el éxito de la marcha del 90% al 41% bajo perturbaciones visuales.

Significado y Reivindicaciones

El artículo afirma que la síntesis de interacciones compatibles con el robot dentro de escenas reconstruidas proporciona una supervisión efectiva para la loco-manipulación humanoide basada en la percepción sim-to-real.

Los autores posicionan este trabajo como una solución al cuello de botella de datos que ha obstaculizado el aprendizaje de políticas escalables. Al conectar soluciones parciales —3DGS para activos de mundo realistas y seguimiento de cuerpo completo para la ejecución de comportamiento— demuestran un pipeline de "Real-to-Sim-to-Real" viable. Los resultados sugieren que generar interacciones sintéticas en entornos reconstruidos es un camino prometedor hacia el control humanoide escalable basado en la percepción, particularmente para tareas que involucran la navegación y el transporte de objetos grandes.

Limitaciones Reconocidas:
El sistema actual está limitado por la cobertura del conjunto de datos OMOMO, lo que lo hace más adecuado para el transporte bimanual de objetos tipo caja que para el agarre de artículos pequeños (ej. tazas, herramientas). Además, el seguidor sensible al contacto estabiliza la manipulación de objetos grandes pero no aborda el agarre preciso de objetos. Extender esto a la manipulación de objetos pequeños requeriría datos de interacción más ricos y controladores de bajo nivel especializados.