$Ψ_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation

El modelo de fundación abierto $\Psi_0$ logra un rendimiento superior en tareas de locomanipulación de humanoides mediante un paradigma de entrenamiento en dos etapas que decopla el aprendizaje, pre-entrenando en videos humanos egocéntricos de alta calidad y ajustando posteriormente con datos reales de robots, superando así a enfoques anteriores que utilizan volúmenes de datos mucho mayores.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot humanoide (un robot con forma de humano) a hacer tareas complejas en una cocina, como abrir una nevera, sacar un vaso, llenarlo de agua y limpiar la mesa. Hacer esto es como intentar enseñarle a un niño a cocinar, pero el niño tiene piernas de acero y manos que no son exactamente como las nuestras.

Aquí te explico el paper Ψ0 (Psi-Zero) como si fuera una historia de cómo entrenamos a este robot, usando analogías sencillas:

1. El Problema: "El Robot no es un Humano"

Antes de Ψ0, los científicos intentaban enseñar a los robots mezclando dos cosas:

• Videos de humanos (abundantes y baratos).
• Datos de robots reales (muy caros y difíciles de conseguir).

El problema es que mezclarlos directamente es como intentar enseñar a un pez a volar usando un manual de pájaros. Aunque el robot vea al humano, su cuerpo se mueve de forma diferente (sus articulaciones, su peso, su equilibrio). Si entrenas al robot con todo mezclado, se confunde y aprende mal. Es como si le dieras al robot un "diccionario" donde las palabras significan cosas distintas para él y para el humano.

2. La Solución de Ψ0: "El Método de los Tres Pasos"

En lugar de mezclar todo, Ψ0 usa un entrenamiento en tres etapas, como un sistema educativo muy bien organizado:

Paso 1: La Universidad de Observación (Pre-entrenamiento)

• Qué hacemos: Le mostramos al robot 800 horas de videos de humanos haciendo cosas (desde la perspectiva de sus propios ojos, como si llevaran gafas de realidad virtual).
• La Analogía: Imagina que el robot es un estudiante brillante que nunca ha tocado una herramienta, pero pasa meses viendo videos de chefs, carpinteros y jardineros. Aprende la lógica de las cosas: "Para abrir una puerta, hay que empujar", "Para llenar un vaso, hay que inclinarlo".
• El Truco: No le enseñamos a mover sus propias piernas todavía. Solo le enseñamos a entender qué se debe hacer y qué se ve. Aprende el "idioma" de las acciones humanas.

Paso 2: El Entrenamiento de Especialista (Post-entrenamiento)

• Qué hacemos: Ahora que el robot entiende la lógica, le enseñamos a usar su propio cuerpo. Usamos solo 30 horas de datos reales de robots reales moviéndose.
• La Analogía: Ahora el robot va al gimnasio. Ya sabe qué quiere hacer (gracias al Paso 1), pero ahora necesita aprender cómo mover sus músculos de acero específicos para lograrlo. Aquí aprende a controlar sus 43 articulaciones (brazos, manos, piernas, torso) con precisión quirúrgica.
• La Magia: Como ya sabe la teoría, necesita muy poca práctica real para dominar la técnica. Es como un pianista que ya sabe leer partituras; solo necesita unos días para acostumbrarse a un piano nuevo.

Paso 3: El "Modo Realidad" (Chunking en Tiempo Real)

• El Problema: Los cerebros de IA son grandes y tardan un poco en pensar (como 160 milisegundos). Si el robot piensa mientras camina, podría tropezar o moverse a tirones (como un video con lag).
• La Solución: Usamos una técnica llamada "Chunking" (Fragmentación en tiempo real).
• La Analogía: Imagina que el robot no espera a pensar en el siguiente movimiento antes de hacer el actual. En su lugar, piensa en una "lista de tareas" (un bloque de movimientos) mientras ejecuta el anterior. Es como un conductor que ya tiene la siguiente curva planeada en su mente mientras gira el volante en la actual. Esto hace que el movimiento sea suave y fluido, sin pausas ni tirones.

3. El Resultado: ¿Por qué es tan bueno?

Los resultados son impresionantes. Ψ0 logra ser 40% mejor que los robots más avanzados del mundo, incluso usando 10 veces menos datos reales de robots.

• Otros robots: Necesitan miles de horas de datos reales costosos y a menudo fallan en tareas largas.
• Ψ0: Con solo 30 horas de datos reales (y mucha teoría humana), puede:
  • Sacar una bandeja de una lata de chips.
  • Empujar un carrito de compras.
  • Llenar un vaso de agua.
  • Doblar una toalla.
  • Y todo esto en una sola secuencia larga sin confundirse.

4. La Innovación Oculta: "El Controlador de Teleoperación"

Para conseguir esos 30 horas de datos reales, los autores crearon un sistema especial para controlar el robot a distancia (teleoperación).

• La Analogía: Imagina que eres un "piloto" usando guantes especiales y un casco de realidad virtual. No mueves el robot directamente (eso sería inestable). En su lugar, tú mueves tus manos y caminas, y el sistema traduce tus movimientos a:
  • Manos: Guantes de alta precisión para mover los dedos del robot.
  • Cuerpo: Un sistema que te permite caminar y girar, pero el robot mantiene su equilibrio automáticamente (como un patinador que nunca se cae, aunque tú te muevas rápido).

En Resumen

Ψ0 es como un robot que primero lee millones de libros (videos de humanos) para entender el mundo, luego va a un curso intensivo corto (datos reales) para aprender a usar su propio cuerpo, y finalmente aprende a pensar mientras actúa para no tropezar.

La lección principal del paper es: No necesitas más datos, necesitas los datos correctos. Es mejor aprender la teoría de los humanos y luego practicar un poco con el robot, que intentar mezclar todo y esperar que el robot adivine cómo moverse.

¡Y lo mejor de todo! El equipo ha decidido regalar todo (el código, los datos y el modelo) a la comunidad, para que todos puedan construir robots más inteligentes en el futuro.

Resumen técnico

Resumen Técnico: Ψ0 (Psi-Zero)

1. El Problema

Los robots humanoides han avanzado significativamente en el control de movimiento completo (locomoción), pero su capacidad para realizar tareas de loco-manipulación (combinar movimiento del cuerpo con manipulación dexterosa de objetos) sigue siendo un desafío mayor.

• Limitaciones de los enfoques actuales: La mayoría de los métodos existentes intentan resolver esto mediante el entrenamiento conjunto (co-training) de grandes cantidades de datos humanos y de robots.
• La causa del fracaso: Los autores argumentan que esta estrategia es subóptima debido a las disparidades kinemáticas y de movimiento fundamentales entre los humanos y los robots humanoides (diferencias en frecuencia de acción, dinámica y grados de libertad).
• Consecuencia: A pesar de usar volúmenes masivos de datos, la eficiencia de los datos y el rendimiento del modelo siguen siendo insatisfactorios. Los modelos monolíticos que intentan aprender dos distribuciones de acción fundamentalmente diferentes a la vez no logran un control robusto en tareas complejas y de largo horizonte.

2. Metodología: Ψ0

Ψ0 es un modelo fundacional de código abierto diseñado para la loco-manipulación humanaide. Su innovación central es un paradigma de entrenamiento por etapas que desacopla el aprendizaje para maximizar la utilidad de fuentes de datos heterogéneas.

Arquitectura del Modelo (Sistema de 3 Capas):

1. Sistema 2 (Backbone VLM): Un modelo de visión-idioma (basado en Qwen3-VL-2B-Instruct) pre-entrenado para entender instrucciones y representaciones visuales.
2. Sistema 1 (Experto de Acción): Un transformador de difusión multimodal (MM-DiT) basado en flujo (flow-based) que predice secuencias de acciones en el espacio de las articulaciones del robot.
3. Sistema 0 (Controlador Inferior): Una política basada en Aprendizaje por Refuerzo (RL) que controla la parte inferior del cuerpo (piernas y torso) para mantener el equilibrio y la locomoción.

El Receta de Entrenamiento (3 Etapas):

• Etapa 1: Pre-entrenamiento del VLM con Video Egocéntrico Humano:

  • Se utiliza el dataset EgoDex (~800 horas de video humano de primera persona) para pre-entrenar el backbone del VLM.
  • Objetivo: Aprender priores de movimiento de tareas y representaciones visuales alineadas con la manipulación, sin la sobrecarga computacional de predecir secuencias largas.
  • Técnica: Se utiliza un tokenizador FAST para convertir acciones continuas en tokens discretos, permitiendo la predicción autoregresiva de un solo paso de acción a la vez.

• Etapa 2: Post-entrenamiento del Experto de Acción con Datos de Robot:

  • Se congela el VLM y se entrena desde cero un experto de acción (MM-DiT) utilizando datos de robot humanoide de alta calidad (dataset Humanoid Everyday, ~30 horas).
  • Objetivo: Aprender el control preciso de las articulaciones del robot en el espacio de las articulaciones (joint space), adaptándose a la morfología específica del robot.
  • Innovación: El MM-DiT utiliza un mecanismo de atención conjunta y modulación dual para fusionar eficientemente las características visuales/lingüísticas del VLM con las características de acción, superando a los cabezales DiT simples.

• Etapa 3: Ajuste Fino (Fine-Tuning) en Tareas Específicas:

  • Se utiliza una pequeña cantidad de datos de teleoperación en el dominio específico para ajustar el experto de acción, permitiendo una adaptación rápida a nuevas tareas de largo horizonte.

Tecnología de Despliegue: Chunking de Acción en Tiempo Real (RTC)
Para mitigar la latencia de inferencia de modelos grandes (que causan pausas y vibraciones en el robot), Ψ0 implementa Chunking de Acción en Tiempo Real durante el entrenamiento.

• El modelo se entrena para predecir bloques de acciones futuras condicionados a los bloques anteriores, simulando retrasos de inferencia durante el entrenamiento.
• Esto permite una transición suave entre bloques de acción sin pausas, eliminando el "jitter" (vibración) en el control del robot.

3. Contribuciones Clave

1. Paradigma de Entrenamiento Desacoplado: Demostración de que separar el aprendizaje de priores de movimiento (datos humanos) del control de articulaciones (datos de robot) es superior al entrenamiento conjunto monolítico.
2. Eficiencia de Datos: Lograr un rendimiento superior utilizando solo ~800 horas de video humano y ~30 horas de datos de robot real, superando a modelos entrenados con más de 10 veces esa cantidad de datos.
3. Pipeline de Teleoperación Personalizado: Desarrollo de un sistema de teleoperación de cuerpo completo que separa el seguimiento de la parte superior del cuerpo (guantes MANUS y VR) de los comandos de locomoción (controladores RL), permitiendo a un solo operador controlar al robot de manera estable.
4. Arquitectura MM-DiT: Implementación de un experto de acción basado en flujo que fusiona mejor las características visuales y de acción que los enfoques DiT tradicionales.
5. Código Abierto Completo: Liberación del ecosistema completo, incluyendo el pipeline de procesamiento de datos, el modelo fundacional y el motor de inferencia en tiempo real.

4. Resultados Experimentales

Los autores evaluaron Ψ0 en 8 tareas de loco-manipulación dexterosa de largo horizonte en el mundo real (ej. abrir una nevera, limpiar un plato, cargar objetos, caminar y manipular simultáneamente) utilizando un robot Unitree G1.

• Rendimiento Superior: Ψ0 superó a todos los modelos de referencia (baselines) de última generación, incluyendo GR00T N1.6, π0.5, EgoVLA y H-RDT.
• Métrica Clave: Logró una tasa de éxito general un 40% superior a la del segundo mejor modelo (GR00T N1.6), a pesar de usar significativamente menos datos de robot.
• Estabilidad: Gracias al Real-Time Chunking, el robot ejecutó tareas complejas sin vibraciones ni pausas visibles, algo donde otros modelos fallaban o mostraban inestabilidad.
• Estudios de Ablación: Se confirmó que:
  • El pre-entrenamiento en video humano es crucial (sin él, el rendimiento cae drásticamente).
  • El MM-DiT supera a los cabezales DiT simples.
  • El RTC mejora la estabilidad física y la tasa de éxito.

5. Significado e Impacto

Este trabajo establece un nuevo estándar para el desarrollo de robots humanoides inteligentes:

• Cambio de Paradigma: Sugiere que la "escalabilidad" en robótica no se trata solo de aumentar el volumen de datos de teleoperación (que es costoso y difícil de escalar), sino de escalar los datos correctos de la manera correcta.
• Viabilidad Económica: Demuestra que es posible entrenar modelos fundacionales robustos para humanoides utilizando datos humanos baratos y abundantes, complementados con una cantidad mínima de datos reales de robots.
• Aceleración de la Investigación: Al ser de código abierto, Ψ0 proporciona una base sólida para que la comunidad investigue y desarrolle capacidades de manipulación dexterosa más avanzadas, acelerando la llegada de humanoides capaces de realizar tareas cotidianas complejas.

En resumen, Ψ0 resuelve el problema de la brecha de embodiment (forma del cuerpo) entre humanos y robots mediante una arquitectura modular y una estrategia de entrenamiento inteligente, logrando un control de cuerpo completo robusto y eficiente con recursos de datos limitados.