Open-World Task and Motion Planning via Vision-Language Model Genereated Constraints

El artículo presenta OWL-TAMP, un enfoque que integra Modelos Visuales-Lingüísticos (VLMs) en sistemas de Planificación de Tareas y Movimientos (TAMP) para generar restricciones que permiten a los robots resolver problemas de manipulación a largo plazo en entornos abiertos a partir de objetivos en lenguaje natural.

Lo esencial

¡Hola! Imagina que quieres enseñarle a un robot a cocinar o a ordenar tu habitación, pero le das una instrucción muy vaga y creativa, como: "Pon el plátano cerca de donde están las otras frutas, pero asegúrate de que no choque con la caja de leche".

Aquí está el problema:

1. Los "Cerebros" de IA (VLMs): Son como genios creativos que entienden perfectamente el lenguaje y la lógica común. Si les dices "pon el plátano cerca", ellos saben qué significa "cerca". Pero son malísimos en matemáticas y geometría; no saben calcular exactamente dónde poner la mano para agarrar el plátano sin chocar con nada.
2. Los "Planificadores" (TAMP): Son como matemáticos muy estrictos y expertos en geometría. Saben exactamente cómo mover el brazo para no chocar, pero son muy rígidos. Si no tienen una regla predefinida para "cerca" (como "a 5 centímetros de distancia"), se quedan paralizados. No entienden el lenguaje natural.

La solución de este paper: OWL-TAMP

Los autores crearon un sistema llamado OWL-TAMP que actúa como un traductor y mediador entre estos dos mundos. Imagina que OWL-TAMP es un arquitecto jefe que tiene dos asistentes:

1. El Asistente Creativo (El VLM)

Cuando el robot recibe la orden, OWL-TAMP le pregunta a su "Asistente Creativo" (una IA de visión y lenguaje):

• "Oye, el usuario quiere poner el plátano cerca de las manzanas. ¿Qué pasos generales debo seguir?"
• El Asistente responde: "Primero, mueve la caja de leche que está estorbando. Luego, agarra el plátano. Finalmente, suéltalo cerca de las manzanas."
• Además, el Asistente escribe un pequeño código de computadora (una función) que define qué significa "cerca". Es como si le dijera al robot: "Cualquier lugar donde la distancia a la manzana sea menor a 5 cm es válido".

2. El Asistente Matemático (El TAMP)

Ahora, OWL-TAMP le pasa esta lista de pasos y el código de "cerca" a su "Asistente Matemático".

• El Matemático dice: "¡Entendido! Ahora voy a calcular los movimientos exactos. Primero, moveré la caja de leche a la izquierda (aquí están las coordenadas exactas). Luego, calcularé el ángulo perfecto para agarrar el plátano sin chocar. Finalmente, buscaré un punto de liberación que cumpla con la regla de 'cerca' que me diste".

La Analogía del "Chef y el Ingeniero"

Imagina que quieres hacer un pastel muy complejo:

• El VLM es el Chef: Te dice "Necesitas poner la crema encima de la tarta, pero no muy cerca del borde para que no se caiga". El Chef entiende la intención, pero no sabe calcular la presión exacta de la manga pastelera.
• El TAMP es el Ingeniero: Sabe exactamente cuánta presión aplicar y a qué ángulo mover la manga, pero si le dices "cerca del borde", no sabe qué distancia es esa.
• OWL-TAMP es el Jefe de Cocina: Escucha al Chef, traduce "cerca del borde" en una instrucción matemática precisa (ej. "a 2 cm del borde"), y se lo da al Ingeniero. El Ingeniero ejecuta el movimiento perfecto.

¿Por qué es esto revolucionario?

Antes, si querías que un robot hiciera algo nuevo (como "poner las frutas en orden de color"), tenías que programar manualmente cada regla. Si el robot se equivocaba, fallaba.

Con OWL-TAMP:

1. Es flexible: Puedes decirle cosas nuevas en lenguaje natural y el robot las entiende.
2. Es seguro: No solo sigue instrucciones vagas; calcula los movimientos físicos para no romper nada.
3. Funciona en la vida real: Los autores probaron esto con robots reales moviendo frutas, cubiertos y hasta vertiendo sopa, y el robot logró tareas que antes eran imposibles de programar manualmente.

En resumen:
Este paper nos dice que para tener robots inteligentes que trabajen en nuestros hogares, no necesitamos elegir entre "inteligencia humana" (entender el lenguaje) y "precisión robótica" (moverse sin chocar). OWL-TAMP combina ambos, usando a la IA creativa para definir qué hacer y a los planificadores robóticos para calcular cómo hacerlo con precisión milimétrica. ¡Es como darle al robot un cerebro humano y unas manos de cirujano!

Resumen técnico

Resumen Técnico: OWL-TAMP

1. El Problema

La robótica enfrenta un desafío fundamental al intentar resolver tareas de manipulación complejas y de largo horizonte especificadas en lenguaje natural. Existen dos enfoques principales con limitaciones significativas:

• Modelos Fundacionales (VLMs/LLMs): Aunque los Modelos Visión-Lenguaje (VLMs) son excelentes en razonamiento de sentido común y comprensión de comandos, carecen de la capacidad para razonar sobre valores continuos precisos (geometría, cinemática, colisiones) y a menudo fallan en la planificación de secuencias de acciones a largo plazo sin fine-tuning específico.
• Planificación de Tareas y Movimiento (TAMP): Los sistemas TAMP tradicionales pueden manejar el razonamiento híbrido (discreto-continuo) y la búsqueda de planes a largo plazo, pero dependen de modelos de entorno detallados y predefinidos. No pueden interpretar objetivos novedosos en lenguaje natural (ej. "poner el plátano cerca de las otras frutas") si no existen predicados simbólicos explícitos para conceptos como "cerca" o "orientado recto".

El objetivo: Crear un sistema que combine la flexibilidad del lenguaje y el sentido común de los VLMs con la rigurosidad geométrica y de búsqueda de los sistemas TAMP para resolver tareas en "mundo abierto" sin necesidad de entrenamiento específico para cada tarea.

2. Metodología: OWL-TAMP

Los autores proponen OWL-TAMP (Open-World Language-based TAMP), un marco que integra VLMs en sistemas TAMP existentes mediante la generación dinámica de restricciones. En lugar de pedir al VLM que genere el plan completo o los parámetros continuos directamente, el VLM actúa como un generador de restricciones que guían al planificador TAMP.

El proceso se divide en tres etapas principales:

A. Generación de Bocetos de Plan (Restricciones Discretas)

• Dado un comando en lenguaje natural y una imagen inicial, el VLM genera un boceto de plan (plan sketch).
• Este boceto es una secuencia parcial de acciones con argumentos discretos (objetos) y descripciones en lenguaje natural que capturan la intención del usuario.
• Este boceto se traduce en restricciones de ordenamiento de acciones: el planificador TAMP debe encontrar una secuencia completa que contenga el boceto como subsecuencia, permitiendo la inserción de acciones adicionales (ej. mover obstáculos) si es necesario para la viabilidad.

B. Generación de Restricciones Continuas (Predicados de Mundo Abierto)

• Para cada acción en el boceto que tenga una descripción en lenguaje natural (ej. "poner cerca de"), el VLM genera una función de clasificador en código Python.
• Esta función actúa como un predicado de mundo abierto. Toma parámetros continuos (como la pose de un objeto) y devuelve un valor booleano indicando si se cumple la intención descrita en lenguaje natural.
• El VLM utiliza un "libro de código" (codebook) de funciones auxiliares (ej. calcular distancias, verificar colisiones, obtener límites de cajas delimitadoras) para construir estas funciones complejas.

C. Planificación Constrained (TAMP)

• Un sistema TAMP estándar (como SeSaME o PDDL-Stream) toma el problema original y las nuevas restricciones generadas por el VLM.
• El planificador realiza una búsqueda híbrida:
  1. Busca una secuencia de acciones que respete el orden del boceto.
  2. Muestrea valores continuos (poses, agarres) que satisfagan tanto las restricciones robóticas tradicionales (cinemática, colisiones) como las restricciones generadas por el VLM.
  3. Si un plan falla (ej. no se puede agarrar un objeto debido a un obstáculo), el sistema retrocede (backtracking) y busca una nueva secuencia de acciones (ej. mover el obstáculo primero) que satisfaga todas las restricciones.

3. Contribuciones Clave

1. Contrato de Restricciones: Propone un mecanismo claro para integrar VLMs con TAMP genéricos: el VLM no planifica directamente, sino que escribe restricciones (discretas y continuas) que expanden el vocabulario simbólico del planificador.
2. Generalización Zero-Shot: El sistema puede resolver tareas con conceptos nuevos (como "cerca", "orientado", "el objeto más corto") sin necesidad de demostraciones previas, fine-tuning o ingeniería de predicados manuales.
3. Integración con Sistemas Off-the-Shelf: OWL-TAMP funciona con planificadores TAMP existentes sin modificar su núcleo, solo inyectando las restricciones generadas por el VLM.
4. Validación en Simulación y Realidad: Demuestra la viabilidad del enfoque tanto en entornos simulados (RAVENS-YCB) como en hardware real (brazos robóticos Kinova Gen3), resolviendo tareas complejas de manipulación con imágenes de cámara crudas.

4. Resultados Experimentales

Los experimentos se realizaron en 10 tareas de manipulación de largo horizonte en simulación y 19 tareas en el mundo real.

• Rendimiento en Simulación:

  • OWL-TAMP logró la tasa de éxito más alta (92% en promedio) en comparación con baselines como Code as Policies (CaP), traducción directa de lenguaje a objetivos simbólicos, y TAMP puro.
  • Los métodos basados solo en VLMs (CaP) o solo en TAMP fallaron consistentemente en tareas que requerían razonamiento combinado (ej. mover obstáculos antes de agarrar).
  • Tasa de Solidez (Soundness): OWL-TAMP tuvo una tasa de falsos positivos extremadamente baja (<2%), demostrando que las restricciones generadas por el VLM son precisas y no solo "alucinaciones" que parecen correctas pero fallan en la ejecución física.

• Despliegue en Hardware Real:

  • El sistema resolvió exitosamente todas las 19 tareas en un robot real, incluyendo tareas que requerían reorientación de objetos, eliminación de obstáculos y manipulación de objetos desconocidos basándose únicamente en la descripción natural.
  • Las fallas principales se debieron a errores en la percepción del mundo real o a restricciones continuas inviables generadas por el VLM (ej. pedir un agarre imposible), lo que sugiere que el sistema es robusto pero depende de la calidad del VLM.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la robótica de propósito general en entornos no estructurados:

• Superación del "Mundo Cerrado": Permite a los robots entender y ejecutar instrucciones que van más allá de su vocabulario simbólico predefinido, acercándose a la flexibilidad humana.
• Eficiencia en el Uso de Modelos Fundacionales: En lugar de depender de VLMs masivos para todo el razonamiento (lo cual es costoso e inestable geométricamente), OWL-TAMP utiliza el VLM solo para la parte semántica (generar restricciones), delegando el razonamiento espacial y de búsqueda al planificador TAMP, que es más eficiente y preciso.
• Escalabilidad: Al no requerir entrenamiento específico por tarea, el sistema es escalable a nuevos dominios y objetivos simplemente cambiando el prompt de lenguaje natural, manteniendo la misma infraestructura de planificación.

En conclusión, OWL-TAMP demuestra que la combinación de la capacidad de razonamiento semántico de los modelos fundacionales con la precisión geométrica de la planificación clásica es la vía más prometedora para lograr robots autónomos capaces de operar en el mundo real bajo instrucciones humanas naturales.