NovaPlan: Zero-Shot Long-Horizon Manipulation via Closed-Loop Video Language Planning

El artículo presenta NovaPlan, un marco jerárquico que combina la planificación de lenguaje visual en bucle cerrado con la ejecución robótica geométricamente fundamentada para lograr la manipulación de largo alcance sin necesidad de demostraciones previas ni entrenamiento, permitiendo la recuperación autónoma de errores mediante la generación y análisis de videos.

Lo esencial

Imagina que le pides a un robot que haga una tarea muy complicada, como construir una torre de bloques de colores o encontrar un juguete escondido dentro de un cajón cerrado. Si le das una instrucción simple, el robot suele quedarse atascado porque no sabe por dónde empezar ni qué hacer si se equivoca.

NovaPlan es como darle al robot un "cerebro de director de cine" y unos "ojos de mago" para que pueda resolver estos problemas sin haberlos practicado antes.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Director de Cine (El Planificador)

En lugar de darle al robot una lista de instrucciones técnicas (como "mover el brazo 5 cm a la derecha"), NovaPlan le pide a una Inteligencia Artificial (el "Director") que imagine una película de cómo se resolvería el problema.

• La analogía: Piensa en que le pides a un director de cine: "Haz una película donde un robot apila bloques". El director no solo escribe el guion, sino que genera el video de la película.
• Lo genial: El robot puede ver la película antes de mover un solo músculo. Si en la película el robot se cae o rompe algo, el director dice: "¡Esa escena no sirve! Vamos a rodar otra". Esto permite al robot planificar y corregir en su mente antes de actuar en la vida real.

2. Los Ojos de Magia (El Plan de Cierre)

Muchos robots fallan porque si algo se tapa (oculta) o se mueve, se pierden. NovaPlan tiene un truco especial: no solo mira el objeto, sino también la mano humana.

• La analogía: Imagina que estás intentando agarrar una moneda que se ha caído detrás de un sofá. Si solo miras la moneda, no la ves. Pero si miras dónde está tu mano intentando agarrarla, sabes exactamente dónde está la moneda.
• Cómo lo hace el robot: NovaPlan genera videos donde una mano humana interactúa con los objetos. El robot mira esa mano. Si el objeto se tapa, el robot sigue la mano. Si la mano se tapa, sigue el objeto. Es como tener dos mapas de navegación y cambiar entre ellos automáticamente para no perderse.

3. El Mecánico de Reparación (Recuperación de Errores)

En el mundo real, las cosas salen mal. Un bloque se resbala, un cajón se atasca. Los robots tradicionales suelen quedarse paralizados o repetir el error una y otra vez.

• La analogía: Imagina que estás cocinando y se te cae un huevo. Un robot normal seguiría intentando romper el huevo en el suelo. NovaPlan es como un chef experto que dice: "Ups, se cayó. No importa, voy a empujarlo suavemente con el dedo para que caiga en la sartén".
• El truco: Si el robot falla, el "Director" (la IA) ve el error, imagina una escena de reparación (como empujar el objeto con el dedo en lugar de agarrarlo) y genera un nuevo video de cómo arreglarlo. El robot entonces ejecuta esa nueva acción de "reparación" automáticamente.

¿Qué logra NovaPlan?

Gracias a esta combinación de imaginar películas, seguir manos y objetos y arreglar errores sobre la marcha, NovaPlan puede:

1. Hacer tareas largas: Puede construir torres de 4 bloques o buscar objetos en cajones sin que nadie le haya enseñado cómo hacerlo antes (es "cero disparos", o sea, aprende al instante).
2. Ser flexible: Si el mundo cambia (alguien mueve un bloque), el robot se adapta y sigue el plan.
3. Ser preciso: Logra ensamblar piezas complejas con una precisión milimétrica, algo que antes requería años de entrenamiento específico.

En resumen:
NovaPlan es como darle a un robot un guionista, un director de cine y un mecánico en uno solo. En lugar de ser una máquina tonta que repite movimientos, se convierte en un agente inteligente que imagina el futuro, sigue pistas visuales y se levanta cuando se cae, todo sin necesidad de que un humano le enseñe paso a paso. ¡Es como darle al robot la capacidad de soñar despierto para resolver problemas reales!

Resumen técnico

Resumen Técnico: NovaPlan

1. El Problema

La manipulación robótica de largo horizonte (tareas complejas que requieren múltiples pasos secuenciales) presenta un desafío fundamental: integrar el razonamiento semántico de alto nivel con la interacción física de bajo nivel.

• Limitaciones actuales: Los modelos de visión-idioma (VLM) y los modelos generadores de video pueden descomponer tareas e imaginar resultados, pero a menudo carecen de la "anclaje físico" necesario para la ejecución real.
• Brecha de encarnación (Embodiment Gap): Los métodos que predicen acciones directamente a partir de videos suelen fallar debido a discrepancias estructurales entre el movimiento sintetizado y la morfología del robot.
• Fragilidad: Los enfoques basados en video sufren de inconsistencias temporales, alucinaciones y fallos en la ejecución debido a oclusiones, imprecisiones en la profundidad o distorsiones geométricas. Además, las estrategias de planificación rígidas no pueden recuperarse autónomamente de fallos en tiempo de ejecución.

2. Metodología: NovaPlan

NovaPlan es un marco jerárquico que unifica la planificación de video-idioma en bucle cerrado con una ejecución robótica geométricamente fundamentada. El sistema opera sin demostraciones previas ni entrenamiento específico para la tarea (Zero-Shot).

El proceso se divide en dos niveles principales:

A. Planificador de Alto Nivel (Cierre de Bucle y Verificación)

1. Descomposición de Tareas: Un VLM (Modelo de Lenguaje-Visión) actúa como árbitro, descomponiendo instrucciones de alto nivel y observaciones visuales en una secuencia de subtareas basadas en lenguaje.
2. Generación y Rollout de Video: Un modelo generador de video simula múltiples planes candidatos para cada acción propuesta, visualizando los resultados físicos.
3. Validación y Selección: El VLM evalúa los videos generados basándose en cuatro métricas clave:
   • Objetivo: ¿Se manipula el objeto correcto?
   • Física: ¿La interacción sigue leyes físicas plausibles (gravedad, rigidez)?
   • Movimiento: ¿La dirección y magnitud del flujo coinciden con el comando?
   • Resultado: ¿El estado final coincide con el sub-objetivo deseado?
4. Verificación y Recuperación: Tras cada paso de ejecución, el sistema compara el estado real con el estado objetivo del video. Si falla, el VLM analiza el error (ej. "deslizamiento de agarre") y genera un plan de recuperación autónomo (re-planificación local).

B. Planificador de Bajo Nivel (Ejecución y Flujo Híbrido)
Para convertir los videos en acciones de robot ejecutables, NovaPlan utiliza un mecanismo de flujo híbrido que alterna dinámicamente entre dos representaciones:

1. Flujo de Objetos (Object Flow): Rastrea puntos clave 3D del objeto objetivo. Es útil cuando el objeto es visible. Utiliza estimación de profundidad métrica y algoritmos de optimización (como Kabsch) para obtener la trayectoria 6-DoF.
2. Flujo de Manos (Hand Flow): Cuando el objeto está ocluido o el flujo de objetos es inestable, el sistema cambia al seguimiento de la mano humana generada en el video.
   • Calibración Geométrica: Dado que los videos generados pueden tener errores de escala y deriva proyectiva, NovaPlan aplica un procedimiento de calibración de doble ancla:
     • Ancla 1 (Inicio del contacto): Ajusta la escala global para asegurar que la mano toque el objeto.
     • Ancla 2 (Fin del contacto): Compensa la deriva proyectiva durante el movimiento.
   • Esta mano actúa como un prior cinemático robusto, permitiendo al robot ejecutar acciones incluso si el objeto está oculto.

C. Corrección No Prehensil
Para tareas donde el objeto queda atascado, NovaPlan puede generar videos de recuperación que implican empujar o "pinchar" (poke) el objeto con un dedo, en lugar de volver a agarrarlo. El sistema calibra geométricamente el punto de contacto específico (ej. dedo índice) para asegurar que la acción de empuje sea físicamente viable.

3. Contribuciones Clave

• Arquitectura de Planificación en Bucle Cerrado: Integra VLM para verificación y generación de video, permitiendo la planificación y recuperación de largo horizonte sin entrenamiento previo.
• Mecanismo de Seguimiento Híbrido: Un sistema que cambia dinámicamente entre el flujo de objetos y el flujo de manos basado en la evaluación de la calidad del video, la estimación de profundidad y la fiabilidad del seguimiento.
• Calibración Geométrica: Un método para anclar las "manos generadas" en trayectorias de robot ejecutables, resolviendo inconsistencias de escala y distorsión en los videos sintéticos.
• Rendimiento Zero-Shot: Demostración de capacidad para resolver tareas de ensamblaje complejas y comportamientos de recuperación de errores (como empujar objetos) sin ninguna demostración humana previa.

4. Resultados Experimentales

El sistema se evaluó en tres tareas de largo horizonte y en el Functional Manipulation Benchmark (FMB):

• Tareas de Largo Horizonte: En tareas como apilamiento de bloques (4 capas), clasificación por color y búsqueda de objetos ocultos, NovaPlan superó a modelos basados en VLA (como $\pi_0.5$) y planificadores basados en VLM (como MOKA).
  • Ejemplo: En el apilamiento de 4 bloques, NovaPlan logró un 70% de éxito, mientras que los métodos basados solo en flujo de objetos caían al 30% debido a inestabilidad en la oclusión.
• Benchmark FMB: NovaPlan logró ensamblar piezas con precisión milimétrica y recuperar errores mediante empujes no prehensiles, algo que los modelos baselines no lograron en modo zero-shot.
• Recuperación de Errores: El sistema demostró capacidad para "improvisar" soluciones ante fallos (ej. un agarre fallido) re-planificando localmente para restaurar el estado objetivo.

5. Significado e Impacto

NovaPlan representa un avance significativo hacia la robótica de propósito general. Al cerrar la brecha entre la simulación visual (imaginación) y la ejecución física real mediante un bucle de verificación y corrección, permite a los robots:

1. Generalizar: Resolver tareas complejas sin necesidad de recopilar grandes cantidades de datos de entrenamiento específicos.
2. Ser Robustos: Recuperarse autónomamente de fallos en entornos no estructurados.
3. Superar Limitaciones de Visión: Utilizar la mano humana como referencia cinemática para superar problemas de oclusión que afectan a los métodos puramente basados en objetos.

Este trabajo sugiere que la integración de modelos generativos de video dentro de un marco de control robótico fundamentado geométricamente es una vía escalable para lograr una manipulación robótica avanzada y adaptable.