Resumen Técnico: LEGS – Ajuste Fino de VLA para Locomoción-Manipulación de Humanoides sin Teleoperación

Declaración del Problema

El entrenamiento de políticas de Visión-Lenguaje-Acción (VLA) para la locomoción-manipulación de humanoides está actualmente limitado por el alto costo y la complejidad de la recolección de demostraciones mediante teleoperación humana. Los enfoques existentes enfrentan compromisos significativos:

• Teleoperación: Vincula la recolección de datos al trabajo del operador y al tiempo de actividad del robot, escalando pobremente debido a la fatiga y requiriendo captura por cada escena.
• Retargeting de Demostraciones Humanas: Elimina al robot del bucle, pero aún requiere una captura egocéntrica humana costosa y por cada escena.
• Brechas de Simulación: Los simuladores convencionales basados en mallas introducen un desfase visual "sim-to-real". Incluso los procesos que utilizan SAM3D para la reconstrucción de objetos sufren de desajustes de sombreado de materiales, iluminación simplificada y aliasing, lo que sesga el codificador visual y dificza la transferencia efectiva a robots reales.

El desafío central es generar datos de alta fidelidad y etiquetados de locomoción-manipulación sin teleoperación humana que puedan ajustar eficazmente modelos VLA preentrenados para una transferencia zero-shot a hardware humanoide real.

Metodología: El Marco LEGS

Los autores proponen LEGS (Locomotion via Embodied Gaussian Splatting), un simulador híbrido diseñado para cerrar la brecha visual sim-to-real mientras desacopla la generación de movimiento de la apariencia de la escena.

1. Arquitectura de Renderizado Híbrido

LEGS compone un primer plano de malla dinámica sobre un fondo de Gaussian Splatting 3D (3DGS) estático y fotorrealista:

• Fondo (3DGS): Reconstruido a partir de un video breve (1–2 minutos) tomado con la mano de la escena objetivo utilizando COLMAP y optimización 3DGS. Esto proporciona vistas de nuevos ángulos con errores de renderizado minimizados frente a fotografías reales, eliminando efectivamente la brecha visual para entornos estáticos.
• Primer Plano (Malla): Consiste en el robot (URDF) y objetos/objetos manipulables (reconstruidos vía SAM3D desde una sola imagen). Estos se rasterizan y se componen por profundidad sobre el fondo 3DGS.
• Calibración de Color: Para alinear el compuesto con la cámara de despliegue, LEGS emplea una calibración determinista de dos etapas:
  1. Escala por malla ($R$): Una escala diagonal en RGB lineal que iguala la media renderizada de cada malla con el escaneo manual dentro de su máscara SAM, corrigiendo los errores de regresión de albedo de SAM3D (por ejemplo, restaurando el gris lavado a negro).
  2. Matriz Global ($M$): Una matriz de corrección de color de $3\times3$, ajustada mediante mínimos cuadrados en un ColorChecker, que desplaza el fondo 3DGS para coincidir con el espacio de color de la cámara de despliegue.

2. Física y Control

• Backend de Física: Utiliza MuJoCo a 500 Hz para resolver la dinámica sobre la geometría de la malla, separada del proceso de renderizado.
• Controlador: Emplea SONIC, un controlador de cuerpo completo de bajo nivel entrenado por RL. Acepta un flujo de comandos de 18 dimensiones (pose SE(3) de la muñeca de 6D + pose/agarre de la parte superior del cuerpo de 14D + comando de la base de 4D). El mismo binario se ejecuta en simulación y en el robot real, asegurando que el despliegue no requiera cambios en la política.

3. Generación de Datos Procedurales

LEGS reemplaza la teleoperación humana con un generador de primitivas de movimiento procedural:

• Desacoplamiento: El movimiento se registra como un flujo de comandos independiente de las entradas de renderizado.
• Primitivas: Las tareas se descomponen en movimientos de alto nivel (Caminar, Recoger, Colocar), compuestos de primitivas de nivel inferior con argumentos a nivel de escena (pose objetivo, identidad del objeto).
• Verificación: Los episodios solo se guardan si los controles de verificación pasan.
• Re-renderizado: Debido a que el movimiento está desacoplado de la apariencia, el mismo conjunto de datos puede re-renderizarse bajo nuevos fondos, mallas de objetos y condiciones de cámara al costo de GPU únicamente, sin necesidad de nueva recolección de movimiento.

Contribuciones Clave

1. Pipeline de Datos sin Teleoperación: Un simulador procedural que genera datos de locomoción-manipulación etiquetados enteramente en simulación sin ninguna demostración recolectada por humanos (teleoperación, semillas de demostración o video humano).
2. Renderizado Fotorrealista para Transferencia: Demuestra que la combinación de fondos 3DGS con primeros planos de malla y calibración de color supera significativamente a los baselines de solo malla, probando que el fotorrealismo es un habilitador clave para la transferencia de sintético a real.
3. Aumentación Escalable: Un flujo de trabajo masivamente paralelizable que adapta el sistema a nuevas escenas y objetos mediante el re-renderizado de datos de movimiento existentes. Esto reduce el costo marginal de adaptar el sistema a una nueva condición de apariencia de >1.5 horas de labor humana a ~0.1 horas de tiempo de GPU.
4. Evaluación Extensa en Robot Real: Validación a través de tres backbones VLA de última generación ($\psi_0$, $\pi_{0.5}$, GR00T N1.6) y tres tareas de dificultad creciente en un robot Unitree G1, totalizando 1,110 ensayos.

Resultados Experimentales

Los autores evaluaron LEGS en tres tareas de recoger y colocar (pick-and-place) en un Unitree G1:

• Tarea 1: Solo manipulación (sin locomoción).
• Tarea 2: Locomoción-manipulación (caminar hacia la mesa, recoger, colocar).
• Tarea 3: Locomoción-manipulación compleja (caminar, recoger, girar, caminar hacia una mesa baja, agacharse, colocar).

Hallazgos Clave:

• LEGS vs. Teleoperación: Una política ajustada puramente con datos de LEGS (200 episodios) igualó o superó a una política ajustada con teleoperación humana (50 episodios) en todas las tareas y backbones. Notablemente, en la difícil Tarea 3, los baselines de teleoperación colapsaron al 0% de éxito en todos los backbones, mientras que LEGS logró 2–6/10 de éxito.
• LEGS vs. Baseline de Solo Malla: LEGS superó significativamente a un baseline de solo malla (SAM3D) que carecía del fondo 3DGS y la calibración de color. El baseline de solo malla promedió un 33% de éxito frente al 67% de LEGS, con la brecha ampliándose durante las etapas de manipulación de corto alcance (recoger/colocar).
• Igualdad de Presupuesto: Incluso con un presupuesto igualado de 50 episodios, LEGS (50) igualó o superó a Teleop (50), confirmando que las ganancias no se debieron únicamente al volumen de datos.
• Adaptación al Cambio de Apariencia: Cuando se probó con variaciones de objetos y escenas fuera de la distribución (por ejemplo, cambiar naranja por manzana, mesa por mesa azul):
  • Los baselines entrenados con datos por defecto (Teleop, SAM3D, LEGS) fallaron por completo (0–1/10 de éxito).
  • LEGS-AUG, que re-renderizó los datos de movimiento a la nueva apariencia, mantuvo altas tasas de éxito (hasta 100% en la Tarea 1), superando al baseline SAM3D-AUG re-renderizado. Esto confirma que el re-renderizado permite la adaptación, mientras que el fotorrealismo asegura la precisión.

Significado y Reivindicaciones

El artículo afirma que el renderizado fotorrealista y la generación de movimiento procedural son sustitutos suficientes para la teleoperación humana en el paso de recolección de datos.

• Transferencia Zero-Shot: LEGS permite el ajuste fino de modelos VLA preentrenados para transferir a robots reales de forma zero-shot, superando a los modelos entrenados con datos de teleoperación del mundo real.
• Eficiencia de Costos: El enfoque desplaza la adaptación de datos de un problema ligado al operador a uno ligado al cómputo, reduciendo el costo de adaptar el sistema a nuevas escenas en más de 15 veces en comparación con la teleoperación.
• Generalizabilidad: El éxito a través de tres backbones VLA distintos sugiere que los beneficios son inherentes al pipeline de datos y no dependientes de una arquitectura de modelo específica.

Los autores reconocen limitaciones, incluyendo la sensibilidad a cambios de iluminación fuera de la distribución del escaneo original, la degradación en superficies altamente reflectantes/transparentes y la suposición de fondos estáticos. Sin embargo, concluyen que LEGS proporciona un camino robusto y escalable para el entrenamiento de políticas de locomoción-manipulación de humanoides sin los costos prohibitivos de la recolección de datos en el mundo real.