🤖 AI

Evidence-Gated Task and Motion Planning with Vision-Language Models

Este artículo propone la Adquisición de Evidencia y el Control de Viabilidad (EAFG, por sus siglas en inglés), un marco que integra Modelos de Lenguaje y Visión con la Planificación de Tareas y Movimientos para adquirir evidencia visual y controlar las decisiones de planificación de manera dinámica, mejorando así las tasas de éxito en tareas de manipulación de largo horizonte bajo observabilidad parcial al evitar la ejecución basada en suposiciones no verificadas.

Autores originales: Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

Publicado 2026-08-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que se desplazan por nuestros hogares y cocinas enfrentan un desafío fundamental: deben entender no solo qué hacer, sino si realmente pueden hacerlo. Para seguir una instrucción sencilla como "hacer sopa", una máquina necesita tender un puente entre dos mundos muy diferentes. Primero, debe comprender el significado de las palabras, sabiendo que la sopa requiere ingredientes como pollo y sal, y que estos elementos deben calentarse. Este es el reino del lenguaje y el sentido común. Segundo, debe comprender el mundo físico, sabiendo exactamente dónde está la olla, si la puerta del gabinete se puede abrir sin golpear una pared y si el brazo del robot puede alcanzar el frasco de especias. Durante años, los investigadores han intentado combinar estas dos habilidades, utilizando modelos computacionales avanzados que pueden ver y leer para ayudar a los robots a planificar sus acciones. Sin embargo, un problema persistente ha permanecido: ¿qué sucede cuando el robot mira la cocina y no puede verlo todo? Si un ingrediente crucial está oculto dentro de un cajón cerrado, o si simplemente no está allí, el robot podría adivinar basándose en lo que sabe de su entrenamiento. Podría planear recoger una zanahoria que no existe, lo que llevaría a una tarea fallida o a una máquina confundida que sigue intentando agarrar un espacio vacío.

Un equipo de investigadores de la Universidad de Waseda y la Universidad de Flinders ha propuesto una nueva forma de resolver este problema, una que obliga al robot a mirar antes de actuar. Su enfoque, llamado Adquisición de Evidencia y Control de Viabilidad (Evidence Acquisition and Feasibility Gating), cambia el orden de las operaciones. En lugar de intentar cocinar la sopa inmediatamente basándose en una suposición, el robot actúa primero como un explorador curioso. Está programado para generar tareas pequeñas y seguras diseñadas únicamente para recopilar información, como abrir un gabinete cerrado o mover una caja que podría estar bloqueando la vista. Una vez que el robot realiza estas acciones, toma una nueva foto de la escena. Un poderoso modelo de visión y lenguaje revisa esta nueva evidencia visual para decidir qué sigue. El sistema se hace una pregunta simple pero crítica: "¿Tengo ahora suficiente prueba para planificar la tarea de cocina?". Si la respuesta es sí, el robot procede a planificar la secuencia completa de los pasos de cocción. Si la respuesta es no, pero aún hay lugares donde buscar, el robot vuelve a explorar. Si la respuesta es no, y queda claro que un artículo requerido no está presente, el robot se detiene por completo en lugar de perder tiempo intentando usar algo que no existe.

Los investigadores probaron este método en un entorno de cocina simulado diseñado para imitar las complejidades de un hogar real. Se le dio al robot un solo brazo y se le asignó la tarea de hacer sopa de pollo, un proceso que implica encontrar ingredientes, usar una estufa y gestionar varios recipientes. Establecieron tres escenarios distintos para ver cómo se desempeñaba el nuevo sistema en comparación con los métodos anteriores que no verifican la evidencia primero. En el primer escenario, todos los artículos necesarios estaban presentes y claramente enumerados en las instrucciones. Aquí, el nuevo sistema funcionó tan bien como el enfoque estándar, demostrando que añadir este paso extra de verificación no ralentiza ni confunde al robot cuando todo es obvio. La verdadera diferencia apareció en el segundo escenario, donde las instrucciones eran vagas. Se le dijo al robot que "haga sopa de pollo" sin decirle que usara sal o pimienta. Sin el nuevo sistema, el robot rara vez tenía éxito porque no sabía que debía buscar esos condimentos ocultos. Con el método de recopilación de evidencia, el robot abrió con éxito los gabinetes, encontró la sal y la pimienta, y completó la receta en el cuarenta por ciento de los ensayos, una mejora significativa respecto al modelo base.

El tercer escenario probó la capacidad del sistema para reconocer cuándo una tarea es imposible. Se le instruyó al robot que hiciera sopa con sal, pimienta y una zanahoria, pero la zanahoria no estaba en la cocina. Un sistema estándar a menudo se quedaría atrapado en un bucle, intentando repetidamente encontrar o usar la zanahoria faltante, desperdiciando tiempo y energía. El nuevo sistema, sin embargo, aprendió a detenerse. Al buscar activamente en los lugares probables donde podría haber una zanahoria y no encontrar nada, el control interno del robot decidió detenerse. En estas pruebas, el sistema se detuvo correctamente el noventa por ciento de las veces para uno de los modelos y el cien por ciento completo para el otro, reduciendo drásticamente el número de intentos fallidos de agarrar el vegetal faltante. Esta capacidad de decir "no puedo hacer esto" es tan importante como la capacidad de tener éxito, ya que evita que el robot actúe sobre suposiciones falsas.

Los investigadores reconocen que su método no es perfecto. Depende de la capacidad del robot para abrir puertas y mover objetos para obtener una mejor vista. Si el robot no logra abrir un gabinete debido a un problema mecánico o una restricción física, podría no encontrar la evidencia que necesita, incluso si el objeto está allí. A pesar de esta limitación, el trabajo demuestra un camino claro hacia adelante para los robots que necesitan operar en entornos inciertos. Al insertar un paso de recopilación activa de información antes de la fase de planificación final, el sistema asegura que las acciones del robot estén fundamentadas en lo que realmente puede ver, en lugar de lo que simplemente supone. Este cambio de adivinar a verificar permite que los robots manejen la realidad desordenada e incompleta de los espacios humanos de manera más efectiva, convirtiéndolos en compañeros más confiables en tareas que van desde cocinar una comida hasta organizar una habitación.

Resumen Técnico: Planificación de Tareas y Movimientos con Puerta de Enlace de Evidencia mediante Modelos de Visión y Lenguaje

1. Declaración del Problema

Los robots que ejecutan tareas de manipulación de largo horizonte a partir de instrucciones en lenguaje natural se enfrentan a un desafío fundamental: deben razonar simultáneamente sobre estructuras semánticas de la tarea y la viabilidad geométrica. Si bien los Modelos de Visión y Lenguaje (VLM) sobresalen en la inferencia de procedimientos de sentido común y la generación de subobjetivos de alto nivel, y la Planificación de Tareas y Movimientos (TAMP) asegura que se cumplan las restricciones geométricas y cinemáticas, su integración suele fallar bajo observabilidad parcial.

En entornos donde los objetos relevantes para el objetivo pueden estar ocultos (por ejemplo, dentro de gabinetes cerrados) o ser enteramente inexistentes, los sistemas VLM-TAMP existentes tienden a depender del conocimiento previo del VLM o de supuestos de sentido común. Esto conduce a la generación de subobjetivos que carecen de soporte observacional, lo que resulta en fallos de ejecución, intentos repetidos e ineficientes de manipular objetos inexistentes o resultados no deseados. Los métodos actuales suelen asumir un estado orientado a objetos totalmente observable y carecen de un mecanismo para verificar activamente los objetos no observados antes de comprometerse con un plan de tarea.

2. Metodología: Adquisición de Evidencia y Puerta de Enlace de Viabilidad (EAFG)

Los autores proponen la Adquisición de Evidencia y Puerta de Enlace de Viabilidad (EAFG), un marco diseñado para recolectar evidencia visual de forma activa y regular la puerta de enlace del proceso de planificación basándose en dicha evidencia. El sistema opera a través de un bucle de pre-planificación que precede a la generación del plan de tarea final.

2.1 Pipeline Central

El pipeline de EAFG (ilustrado en la Figura 1 del artículo) funciona de la siguiente manera:

Entrada: El sistema recibe un objetivo en lenguaje natural ( $G_{eng}$ ).
Bucle de Adquisición de Evidencia:
- El VLM genera una secuencia de subobjetivos de adquisición de evidencia ( $G^{EA}_t$ ). Estos son acciones estrictamente exploratorias (por ejemplo, abrir puertas, levantar objetos que ocluyen) diseñadas para inspeccionar regiones donde podrían estar ocultos objetos relevantes para el objetivo.
- Restricción: El VLM está restringido a un conjunto predefinido de acciones seguras y reversibles. No puede realizar acciones de tarea irreversibles (por ejemplo, cocinar, calentar) durante esta fase.
- Ejecución: Un módulo TAMP (específicamente PDDDStream) intenta instanciar estos subobjetivos en secuencias de acciones geométricamente factibles. El robot las ejecuta.
- Observación: Las imágenes de observación resultantes se registran y se compilan en un collage de imágenes ( $I_t$ ).
- Actualización de Estado: El VLM actualiza un estado de evidencia ( $E_t$ ), que incluye el historial de ejecución ( $H_t$ ), un resumen textual de los hechos observados ( $O_t$ ) y los hallazgos retenidos ( $F_t$ ). El VLM regenera estos componentes textuales para eliminar descripciones desactualizadas o contradictorias, asegurando que el estado refleje la realidad actual.
Puerta de Enlace de Viabilidad (Feasibility Gating):
- Después de cada iteración, el VLM evalúa el estado de la evidencia contra el objetivo y emite un estado de puerta de enlace ( $s_t$ $s_{t}$ ):
  - Listo para planificar: Existe evidencia suficiente; el sistema sale del bucle y procede a la planificación de la tarea.
  - Necesita más evidencia: La evidencia es insuficiente, pero quedan regiones relevantes por explorar. El VLM genera nuevos subobjetivos de adquisición de evidencia ( $G^{EA}_{t+1}$ ) y el bucle continúa.
  - Detener (Halt): Los objetos o condiciones requeridos no pueden ser verificados (por ejemplo, un objeto está ausente tras revisar todas las ubicaciones plausibles). El sistema detiene la ejecución para evitar la planificación basada en supuestos no soportados.
Planificación Condicionada por la Evidencia:
- Si el estado es "Listo para planificar", el sistema genera los subobjetivos de la tarea final ( $G_{task}$ ) utilizando el estado de evidencia acumulado ( $E_T$ ) como contexto textual explícito. Esto asegura que el plan final esté fundamentado en observaciones verificadas en lugar de supuestos.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

Adquisición de Evidencia de Pre-planificación: Un mecanismo que incita a los VLM a planificar subobjetivos de recolección de información para revelar regiones ocultas y verificar la existencia de objetos relevantes para la tarea antes de que comience cualquier ejecución de la tarea.
Puerta de Enlace de Viabilidad: Un mecanismo de toma de decisiones que evalúa si la evidencia adquirida respalda una planificación de tareas factible. Solicita dinámicamente más observaciones o detiene la ejecución si los requisitos del objetivo permanecen sin soporte.
Validación Empírica en Escenarios de Cocina: El diseño y evaluación de tres escenarios de cocina específicos (objetivos explícitamente especificados, subespecificados y con objetos faltantes) demostrando que EAFG mejora la finalización de tareas fundamentada y la detección de inviabilidad en comparación con las líneas base estándar de VLM-TAMP.

4. Resultados Experimentales

Los autores evaluaron EAFG en un entorno de cocina utilizando un robot con un solo brazo, centrándose en la tarea de "hacer sopa de pollo". Se probaron tres configuraciones:

S1 (Explícito y Presente): La instrucción especificaba todos los objetos (sal, pimienta), y estos estaban presentes.
- Resultado: EAFG se mantuvo competitivo con la línea base. Para GPT-5.5, la Tasa de Completación de Receta (CR) mejoró de 0.20 a 0.45, y la completitud de pasos para los condimentos especificados alcanzó 1.00.
S2 (Subespecificado): La instrucción era "hacer sopa de pollo" sin especificar sal o pimienta.
- Resultado: EAFG superó significativamente a la línea base. Sin EAFG, la CR de la receta era casi nula (0.05 para GPT-5.5). Con EAFG, aumentó a 0.40 para GPT-5.5 y a 0.20 para Gemini-3.5-Flash. El sistema descubrió con éxito los objetos no mencionados pero necesarios mediante la exploración.
S3 (Explícito pero Ausente): La instrucción requería una zanahoria, la cual estaba ausente del entorno.
- Resultado: EAFG mejoró drásticamente la capacidad del sistema para reconocer la inviabilidad. Para GPT-5.5, la Tasa de Éxito de Parada (SR) aumentó de 0.45 a 0.90, y el número de intentos para manipular la zanahoria faltante cayó de 4.00 a 0.55. Para Gemini-3.5-Flash, la SR de Parada alcanzó 1.00 con 0.00 intentos de manipulación de objetos faltantes.

5. Significado y Reivindicaciones

El artículo afirma que EAFG aborda una brecha crítica en la manipulación robótica de largo horizonte: la desconexión entre la inferencia semántica y la realidad física bajo observabilidad parcial. Al colocar la adquisición de evidencia antes de la planificación de la tarea, el marco asegura que los planes estén fundamentados en observaciones verificadas.

Los autores afirman que EAFG:

Mejora la Completación Fundamentada: Permite que los robots completen recetas al descubrir objetos ocultos y relevantes para la tarea que no se mencionan explícitamente en el prompt.
Previene Resultados No Deseados: Reduce los intentos repetidos y fútiles de manipular objetos inexistentes al detener la ejecución cuando la evidencia es insuficiente.
Mantiene la Compatibilidad: El marco está diseñado para trabajar con arquitecturas VLM-TAMP existentes añadiendo el estado de evidencia como contexto textual al prompt del planificador.

Los autores reconocen limitaciones, señalando que EAFG depende de que el módulo TAMP ejecute con éxito los subobjetivos exploratorios; si TAMP no logra encontrar una ruta factible para una acción de recolección de evidencia, el sistema podría carecer de la información necesaria para tomar una decisión de puerta de enlace correcta. Sin embargo, postulan que a medida que mejoren los mecanismos de planificación y retroalimentación subyacentes, la robustez de EAFG aumentará de forma correspondiente.