Ego-Vision World Model for Humanoid Contact Planning

Este trabajo presenta un marco de planificación de contacto para humanoides que combina un modelo de mundo aprendido en espacio latente con control predictivo basado en muestreo y una función de valor sustituta, logrando una planificación de contacto robusta y eficiente en tiempo real a partir de datos offline sin demostraciones.

Lo esencial

Imagina que un robot humanoide es como un niño que acaba de aprender a caminar. Su mayor desafío no es solo no caerse, sino aprender a usar el mundo que lo rodea para ayudarse, tal como lo hacemos nosotros los humanos.

Si te empujan, te agarras de una pared. Si viene algo volando hacia tu cara, lo bloqueas con la mano. Si hay un arco bajo, te agachas. La mayoría de los robots antiguos intentan evitar cualquier contacto, como si el mundo fuera un campo minado. Este paper propone cambiar esa mentalidad: enseñar al robot a "abrazar" el contacto para ser más inteligente y ágil.

Aquí te explico cómo lo lograron, usando una analogía sencilla:

1. El Problema: "Aprender a tocar el piano sin ver las teclas"

Antiguamente, para que un robot aprendiera a hacer esto, había dos opciones difíciles:

• Opción A (Optimización matemática): Como intentar resolver un rompecabezas gigante en tiempo real. Si el robot se equivoca un milímetro, todo el plan falla. Es muy rígido y lento.
• Opción B (Aprendizaje por ensayo y error "en vivo"): Como un niño que aprende a andar en bicicleta cayéndose miles de veces. Funciona, pero es muy lento, peligroso y requiere millones de intentos. Además, si aprende a hacer una cosa, suele olvidar cómo hacer la otra.

2. La Solución: El "Simulador de Sueños" (El Modelo del Mundo)

Los autores crearon un sistema que le permite al robot soñar despierto antes de actuar.

Imagina que el robot tiene un "segundo cerebro" que es un experto en predecir el futuro. En lugar de mirar el mundo real (que es ruidoso y confuso), este cerebro crea una versión simplificada y comprimida de la realidad (como un mapa mental o un sueño).

• Entrenamiento sin maestros: A diferencia de otros métodos que necesitan que un humano les enseñe paso a paso (como un tutor), este robot aprendió mirando un montón de videos grabados de un robot moviéndose al azar en una simulación. Nadie le dijo "haz esto", solo le mostraron "mira qué pasa si hago esto".
• El truco del "Latente": En lugar de intentar predecir cada píxel de una imagen (lo cual es como intentar memorizar cada gota de agua de un río), el robot aprende a predecir la esencia de la situación. Es como si en lugar de ver el color exacto de la pared, entendiera "es una pared sólida a mi izquierda".

3. El Planificador: El "Capitán con Brújula"

Una vez que el robot tiene su "sueño" o modelo del mundo, necesita decidir qué hacer. Aquí entra la Planificación Predictiva (MPC).

Imagina que el robot es un capitán de barco en medio de una tormenta:

1. Mira el mapa (El Modelo): El robot proyecta en su mente: "Si levanto la mano derecha, ¿qué pasará en los próximos 4 segundos? ¿Chocaré? ¿Me equilibraré?".
2. La Brújula Mágica (Función de Valor): Aquí está la innovación clave. En lugar de solo mirar el mapa, el robot tiene una brújula interna que le dice qué tan "bueno" es un futuro.
   • Analogía: Imagina que estás jugando a un videojuego y tienes un mapa que te muestra dónde está el tesoro (puntos altos) y dónde están los monstruos (puntos bajos). El robot no solo ve el camino, sino que siente una "fuerza magnética" que lo empuja hacia las acciones seguras y rentables.
3. Prueba y Error Mental: El robot prueba miles de caminos diferentes en su "sueño" (en su mente) en una fracción de segundo. Elige el mejor, ejecuta solo el primer paso en la vida real, y luego vuelve a soñar de nuevo para corregir el rumbo.

4. ¿Qué logró este robot? (Los Resultados)

Lo probaron en un robot humanoide real (un Unitree G1) y logró hazañas que antes eran muy difíciles:

• El "Salvavidas": Si alguien lo empuja, sabe apoyarse en la pared para no caerse.
• El "Guardián": Si le lanzan una pelota, sabe bloquearla con la mano.
• El "Acrobata": Si hay un arco bajo, sabe agacharse para pasar sin golpearse la cabeza.

Lo más impresionante es que aprendió todo esto con muy pocos datos (mucho más eficiente que los métodos anteriores) y puede hacer todas estas tareas al mismo tiempo sin confundirse.

En resumen

Este paper es como enseñarle a un robot a pensar antes de actuar. En lugar de reaccionar ciegamente o caer miles de veces para aprender, el robot usa un "simulador mental" entrenado con datos viejos para predecir el futuro, y una "brújula interna" para elegir la mejor acción.

Es el paso de un robot que es un "niño torpe que tropieza" a un "adulto ágil que sabe usar su entorno para mantenerse en pie". ¡Y lo hizo sin que nadie le enseñara paso a paso!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Ego-Vision World Model for Humanoid Contact Planning" en español, estructurado según los puntos solicitados:

1. El Problema

La autonomía de los robots humanoides en entornos no estructurados requiere ir más allá de la simple evitación de colisiones; es necesario explotar el contacto físico de manera intencional (por ejemplo, apoyarse en una pared para mantener el equilibrio, bloquear objetos entrantes o agacharse para pasar bajo obstáculos).

Los enfoques existentes presentan limitaciones significativas:

• Planificación basada en optimización: Tradicionalmente modela las interacciones físicas explícitamente, pero lucha con la complejidad de la planificación de contactos en tiempo real, es sensible a imprecisiones del modelo y tiene altos costos computacionales.
• Aprendizaje por Refuerzo (RL) en línea (On-policy): Métodos como PPO han tenido éxito en simulación, pero son ineficientes en cuanto a muestras (requieren millones de interacciones), tienen dificultades para el aprendizaje multi-tarea y dependen de datos sintéticos que no siempre se transfieren bien a la realidad, especialmente con entradas visuales.
• Desafíos específicos: La escasez de recompensas por contacto, el ruido de los sensores y la observabilidad parcial (las fuerzas de contacto no se miden directamente) dificultan la planificación robusta.

2. Metodología

El autores proponen un marco híbrido que combina un Modelo del Mundo Aprendido con un Control Predictivo Basado en Muestreo (MPC) guiado por valores. El sistema opera en un espacio latente comprimido en lugar de píxeles brutos.

Componentes Clave:

• Recolección de Datos Offline: Se genera un dataset sin demostraciones humanas. Un controlador de bajo nivel (entrenado con PPO en simulación) ejecuta acciones de alto nivel aleatorias (posición del efector final y altura del cuerpo) en un entorno simulado con tres tipos de objetos: pelota, pared y arco. El robot recolecta trayectorias de imágenes de profundidad ego-céntricas y señales propioceptivas.
• Modelo del Mundo Visual (Ego-Vision World Model):
  • Utiliza una arquitectura inspirada en Dreamer y JEPA, pero adaptada a la robótica.
  • Codificador/Decodificador: Mapea observaciones (imagen + propiocepción) a un estado latente estocástico ($z_t$) y mantiene un estado latente determinista de dinámica ($h_t$) mediante una red recurrente (RNN).
  • Cabezas de Predicción: Además de reconstruir la observación, el modelo predice:
    1. Probabilidad de terminación ($\hat{d}_t$): Probabilidad de fallo (ej. caída).
    2. Función de Valor Surrogada ($\hat{Q}_t$): Estima el retorno acumulado esperado para una acción dada, actuando como una guía densa para la planificación.
  • Entrenamiento: Se minimiza una pérdida compuesta por reconstrucción, pérdida de predicción de incrustación conjunta (para evitar colapso del espacio latente) y pérdida de valor (MSE contra estimadores Monte Carlo).
• MPC Guiado por Valores (Value-Guided Sampling MPC):
  • En lugar de maximizar ciegamente una función de valor aprendida (que puede tener sesgos), el sistema utiliza el modelo del mundo para realizar predicciones a horizonte abierto sobre múltiples secuencias de acciones candidatas.
  • Evalúa estas secuencias utilizando la función de valor surrogada ($\hat{Q}$) y la señal de terminación.
  • Utiliza el Método de Entropía Cruzada (CEM) para optimizar la secuencia de acciones.
  • Solo se ejecuta la primera acción de la secuencia óptima y se replanifica en cada paso, permitiendo reactividad ante perturbaciones.

3. Contribuciones Clave

1. Modelo del Mundo Visual Escalable: Un modelo que captura la dinámica de tareas de contacto diversas, entrenado exclusivamente con datos offline sin demostraciones, capaz de generalizar a tareas no vistas.
2. Planificación desde Píxeles con Guía de Valor: Introducción de un marco MPC que utiliza una función de valor aprendida para guiar el muestreo de acciones, superando la ineficiencia de la optimización basada en recompensas escasas.
3. Planificación de Contacto Ágil y Robusta en el Mundo Real: Validación en un robot humanoide físico (Unitree G1) que demuestra capacidades de contacto complejas (equilibrio, bloqueo, paso bajo obstáculos) utilizando solo imágenes de profundidad ego-céntricas y feedback propioceptivo.

4. Resultados

• Eficiencia de Muestras: El método propuesto logra un rendimiento superior utilizando solo 0.5 millones de pasos de datos offline. En comparación, PPO (RL en línea) requiere significativamente más datos y tiempo de entrenamiento, especialmente en tareas con cambios visuales complejos (como "Travesía del Arco").
• Capacidad Multi-tarea: Un único modelo entrenado en un dataset mixto de todas las tareas logra un rendimiento comparable o superior a modelos especializados en tareas individuales, evitando el olvido catastrófico típico del RL en línea.
• Validación en Hardware Real: El sistema se desplegó en un robot Unitree G1 a 25 Hz, logrando:
  • Apoyo en la pared: Recuperar el equilibrio tras una perturbación empujando contra la pared.
  • Bloqueo de objetos: Interceptar una pelota o una caja (incluso cajas no vistas durante el entrenamiento) con las manos.
  • Travesía de arcos: Agacharse y pasar bajo arcos de baja altura sin colisionar con la cabeza.
• Análisis de Diseño: Se demostró que un horizonte de planificación de N=4 es el óptimo (equilibrio entre sesgo y varianza), y que el uso de una función de valor surrogada es superior a usar recompensas directas o métodos TD-MPC tradicionales en este contexto offline.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la autonomía robusta de humanoides en entornos reales. Al demostrar que es posible aprender comportamientos de contacto complejos y dinámicos sin necesidad de demostraciones humanas costosas ni millones de interacciones en línea, el marco propuesto:

• Reduce drásticamente la barrera de entrada para la implementación de robots humanoides en entornos no estructurados.
• Proporciona una solución escalable para la planificación multi-tarea, permitiendo que un solo modelo maneje una variedad de interacciones físicas.
• Establece un nuevo paradigma donde la "intuición física" (predicción de trayectorias y estados futuros) se integra directamente en la planificación de control, permitiendo a los robots reaccionar de manera segura y eficiente ante perturbaciones y objetos dinámicos.

El código y el dataset están disponibles públicamente, fomentando la reproducibilidad y el avance futuro en la planificación de contacto basada en visión.