Evaluating VLMs' Spatial Reasoning Over Robot Motion: A Step Towards Robot Planning with Motion Preferences

Este trabajo evalúa la capacidad de razonamiento espacial de cuatro modelos de visión-linguaje de última generación para interpretar preferencias de movimiento robótico, demostrando que Qwen2.5-VL alcanza un alto rendimiento tanto en configuración cero-shot como tras el ajuste fino, lo que sugiere un potencial prometedor para su integración en sistemas de planificación de movimientos.

Lo esencial

¡Hola! Imagina que tienes un robot en tu casa, como un sirviente futurista. Tu objetivo es que te ayude a mover cosas, pero no solo quiere que vaya de un punto A a un punto B; quieres que lo haga de una manera específica.

Por ejemplo:

• "Lleva la taza al horno, pero mantente lejos de la ventana."
• "Ve a la puerta, pero haz un camino en zigzag."
• "Pasa entre el sofá y la mesa, sin rozar nada."

El problema es que los robots son muy literales. Si solo les dices "ve al horno", calcularán la ruta más corta y directa, aunque eso signifique pasar peligrosamente cerca de una ventana o chocar con un mueble.

Aquí es donde entra este paper (artículo científico). Los autores se preguntaron: ¿Puede un "cerebro" de Inteligencia Artificial (llamado Modelo de Visión-Lenguaje o VLM) entender estas instrucciones humanas y elegir el mejor camino para el robot?

La Metáfora: El "Juez de Carreras"

Imagina que eres un entrenador de un equipo de corredores (el robot). Tienes que enviar a un corredor a la meta, pero tienes reglas especiales (como "no pises el césped" o "haz curvas amplias").

1. El Generador de Rutas (El Entrenador): Primero, el robot genera 50 rutas diferentes y locas para llegar a la meta. Algunas son rectas, otras dan vueltas, otras pasan muy cerca de objetos.
2. El Juez (El VLM): Aquí es donde entra la IA. Le mostramos al "Juez" una foto con todas esas 50 rutas dibujadas en colores diferentes. Le decimos: "Mira esta foto. El usuario quiere ir al horno pero lejos de la ventana. ¿Cuál de estas rutas dibujadas cumple mejor la regla?"
3. La Decisión: El Juez debe señalar la ruta correcta (por ejemplo, la línea azul).

¿Qué descubrieron los autores?

Los investigadores probaron a varios "Jueces" (diferentes modelos de IA) y diferentes formas de mostrarles las fotos. Aquí están sus hallazgos principales, explicados de forma sencilla:

1. No todas las formas de preguntar son iguales

Probaron cuatro métodos para mostrarle las rutas al Juez:

• Método 1 (La foto única): Mostrar todas las rutas en una sola imagen, como un mapa del tesoro con muchos caminos.
• Método 2 (Una por una): Mostrar una ruta, preguntar, borrar, mostrar la siguiente... (Como si le preguntaras al juez una a una).
• Método 3 (Con contexto extra): Darle una descripción escrita de la foto antes de que juzgue.
• Método 4 (Galería de fotos): Mostrar muchas fotos pequeñas de cómo se vería el robot moviéndose.

El resultado: ¡El Método 1 (la foto única) fue el ganador!

• Analogía: Es como si le dieras al juez un mapa completo para comparar todos los caminos al mismo tiempo. Si le muestras los caminos uno por uno, el juez olvida cómo era el anterior y no puede comparar bien ("¿Era esta más larga que la de hace 5 minutos?"). Al verlos todos juntos, el Juez IA puede comparar y decir: "¡Esa azul es la que pasa lejos de la ventana!".

2. ¿Quién es el mejor Juez?

Probaron a varios modelos de IA famosos (como GPT-4o y Qwen2.5-VL).

• El ganador: Qwen2.5-VL fue el mejor, acertando más del 71% de las veces sin necesidad de entrenamiento previo (como un genio que llega y lo entiende todo al instante).
• El perdedor: GPT-4o, que suele ser muy bueno en muchas cosas, tuvo un rendimiento más bajo en esta tarea específica de "geometría espacial".

3. Lo fácil vs. Lo difícil

• Lo fácil: Decir "mantente lejos de la mesa" (proximidad). La IA es muy buena entendiendo distancias.
• Lo difícil: Decir "haz un camino en zigzag" o "hazlo en curva" (estilo). A la IA le cuesta más entender conceptos abstractos de "forma" o "estilo" que solo distancias.

4. El entrenamiento hace al maestro

Al principio, la IA acierta un 70%. Pero, ¿qué pasa si le damos un pequeño "curso intensivo"?
Los autores tomaron un modelo más pequeño y le enseñaron con solo 98 ejemplos (muy pocos).

• Analogía: Es como si le dieras a un estudiante 98 ejercicios resueltos de "cómo no chocar con muebles".
• Resultado: ¡El rendimiento saltó dramáticamente! Algunos modelos mejoraron hasta un 60% más. Esto significa que incluso robots con "cerebros" pequeños pueden aprender a obedecer instrucciones complejas si se les da un poco de práctica.

5. El costo de la inteligencia

También midieron cuánto "piensa" la IA (cuántos datos procesa).

• Descubrieron que si reduces el tamaño de la imagen (haces que la foto sea más pequeña para ahorrar datos), la precisión baja.
• Analogía: Es como intentar adivinar un camino viendo una foto borrosa y pequeña en lugar de una foto HD. Si quieres que el robot sea muy preciso, necesitas darle "buenos ojos" (más datos), lo cual cuesta más computación.

En resumen

Este paper nos dice que sí es posible usar Inteligencia Artificial para que los robots entiendan nuestras preferencias de movimiento ("ve despacio", "no pases cerca de la lámpara").

La clave está en:

1. Mostrarle a la IA todas las opciones juntas en una sola imagen.
2. Usar modelos modernos como Qwen.
3. Darle un poco de entrenamiento (pocos ejemplos) para que se vuelva un experto.

Es un gran paso para que, en el futuro, nuestros robots no solo sean máquinas que siguen órdenes ciegas, sino asistentes que entienden el "estilo" y la "seguridad" que nosotros queremos en nuestro hogar.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Evaluating VLMs' Spatial Reasoning Over Robot Motion: A Step Towards Robot Planning with Motion Preferences", traducido y estructurado en español.

1. Planteamiento del Problema

El objetivo central de este trabajo es evaluar la capacidad de los Modelos Visuales-Lingüísticos (VLMs) para realizar razonamiento espacial sobre la planificación de movimientos de robots. Aunque los modelos fundacionales han demostrado utilidad en la planificación de tareas de alto nivel, su capacidad para interpretar y aplicar preferencias de movimiento específicas descritas en lenguaje natural sigue siendo incierta.

Las preferencias de los usuarios pueden incluir:

• Relaciones espaciales con objetos: Mantenerse cerca o lejos de un objeto, pasar entre dos objetos específicos.
• Estilos de trayectoria: Preferencia por caminos rectos, curvos, en zigzag, más largos, más cortos o topológicamente distintos.

El desafío reside en determinar si los VLMs actuales pueden seleccionar correctamente la trayectoria robótica que mejor se ajusta a estas instrucciones textuales a partir de representaciones visuales, un paso crucial para integrar estos modelos en pipelines de planificación de movimiento centrados en el humano.

2. Metodología

A. Generación de Candidatos de Trayectoria

Para evaluar a los VLMs, los autores generaron un conjunto diverso de trayectorias candidatas para cada problema de planificación:

• Algoritmos: Se utilizaron combinaciones de BiRRT (Bidirectional Rapidly-exploring Random Trees) y PRM (Probabilistic RoadMaps).
• Diversidad: Se ejecutaron múltiples veces con diferentes semillas aleatorias y funciones de coste (distancia más corta, sinusoidal, circular) para obtener trayectorias con propiedades geométricas y topológicas variadas.
• Agrupamiento: Se aplicó el algoritmo K-means a los puntos de paso (waypoints) para agrupar las trayectorias en $k$ clústeres. Se seleccionó la trayectoria más cercana al centroide de cada clúster para su visualización, reduciendo el ruido y presentando opciones distintivas al modelo.

B. Construcción del Dataset

Se creó un dataset de 558 problemas de planificación de movimiento con restricciones lingüísticas en entornos domésticos simulados (usando iGibson):

• 126 problemas de navegación (movimiento de la base del robot).
• 432 problemas de manipulación (movimiento del brazo/end-effector).
• Cada problema incluye una escena virtual, posiciones de inicio y meta, y una descripción textual de la preferencia (proximidad u estilo).
• Se anotó manualmente la "trayectoria ground-truth" (la correcta) para cada instrucción.

C. Métodos de Consulta (Querying Methods)

El estudio comparó cuatro métodos para presentar las trayectorias a los VLMs:

1. Trajetoria de imagen única (Single-image): Todas las trayectorias candidatas se muestran en una sola imagen como líneas de puntos de diferentes colores.
2. Secuencia de imágenes múltiples (Multi-image): Cada trayectoria se presenta en una imagen individual; el VLM puntúa cada una por separado.
3. Imagen única con contexto visual: Se genera primero un contexto visual estructurado (descripción de objetos y relaciones) que se envía junto con la imagen y la instrucción.
4. Galería de capturas de pantalla (Screenshot gallery): Se simula la ejecución del robot y se muestran secuencias de imágenes (filas) para cada trayectoria candidata.

D. Modelos Evaluados

Se probaron tres VLMs de última generación:

• Qwen2.5-VL-72B: Destacado por su capacidad de anclaje visual (visual grounding).
• GPT-4o: Modelo multimodal líder en percepción visual.
• LLaVa1.5: Especializado en preguntas y respuestas visuales conversacionales.

3. Contribuciones Clave

1. Evaluación sistemática: Es uno de los primeros trabajos que evalúa específicamente la capacidad de razonamiento espacial de los VLMs sobre preferencias de estilo y topología de trayectorias, más allá de la simple planificación de tareas.
2. Dataset especializado: Creación de un dataset de 558 problemas con anotaciones de ground-truth para preferencias de proximidad y estilo.
3. Análisis de métodos de visualización: Demostración de que la forma en que se presentan las trayectorias (imagen única vs. múltiples) impacta drásticamente en el rendimiento.
4. Estudio de costo-eficiencia: Análisis de la relación entre la precisión, el número de tokens consumidos y el tamaño de la imagen, incluyendo el impacto del fine-tuning en modelos más pequeños.

4. Resultados Principales

Precisión General

• El método de imagen única (single-query) fue el más efectivo, permitiendo al VLM comparar todas las opciones simultáneamente.
• Qwen2.5-VL-72B alcanzó la mayor precisión general: 71.4% en tareas de navegación (zero-shot).
• GPT-4o mostró un rendimiento inferior en comparación con Qwen2.5-VL.
• El método de "galería de capturas" tuvo un rendimiento apenas superior al azar, probablemente debido a la pérdida de detalle al reducir el tamaño de las imágenes.

Desglose por Tipo de Preferencia

• Proximidad a objetos: Los modelos rindieron mejor en esta categoría (ej. Qwen2.5-VL: 74.4% en navegación).
• Estilo de trayectoria: Fue más difícil de interpretar (ej. Qwen2.5-VL: 63.9% en navegación).
• En tareas de manipulación, la precisión general fue ligeramente menor (65.5%) que en navegación.

Impacto del Contexto Visual y Fine-Tuning

• Contexto visual: Añadir un paso de generación de contexto visual no mejoró la precisión en modelos grandes (como Qwen2.5), posiblemente porque estos modelos ya gestionan internamente el contexto de la imagen.
• Fine-Tuning (SFT): Al entrenar modelos más pequeños (Qwen2.5-VL-7B y LLaVa1.5-7B) con un conjunto de datos muy pequeño (98 ejemplos), se observaron mejoras significativas:
  • Aumento de >20% en Qwen2.5-VL-7B.
  • Aumento de >60% en LLaVa1.5-7B.
  • Esto demuestra que la arquitectura puede adaptarse rápidamente a nuevas instrucciones con pocos ejemplos.

Coste Computacional

• El método de imagen única es el más eficiente en tokens (aprox. 687 tokens por consulta para Qwen2.5).
• Existe una relación lineal aproximada entre la precisión y el número de tokens permitidos (tamaño de la imagen): reducir el tamaño de la imagen disminuye la precisión linealmente.

5. Limitaciones y Discusión

• Fallas comunes: Los VLMs a menudo fallan al identificar trayectorias "más cortas" o "más largas" (tareas que los planificadores clásicos como RRT* resuelven perfectamente) y sufren de alucinaciones (seleccionar un color de trayectoria que no existe en la imagen).
• Integración: Aunque prometedora, la integración robusta en pipelines de robots reales requiere mejorar la precisión o incorporar al usuario en el bucle de retroalimentación.

6. Significado e Impacto

Este trabajo establece un paso fundamental hacia la planificación de movimiento robótico guiada por lenguaje natural. Demuestra que los VLMs, especialmente cuando se utilizan con métodos de visualización adecuados (imagen única) y, si es necesario, con fine-tuning ligero, pueden actuar como "jueces" efectivos para seleccionar trayectorias que respeten preferencias humanas complejas. Esto abre la puerta a robots más intuitivos capaces de entender no solo qué hacer, sino cómo hacerlo (estilo, seguridad, estética), facilitando la interacción humano-robot en entornos domésticos y dinámicos.