AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation

Imagina a un robot entrando en una habitación que nunca ha visto, con la tarea de encontrar un objeto específico basándose en una descripción hablada como "el taburete debajo del cuadro". Durante décadas, los robots resolvían esto construyendo un mapa preciso y matemático del mundo utilizando láseres y cámaras, y luego buscando en ese mapa nombres de objetos preprogramados. Esto funcionaba bien para encontrar una "silla" o una "mesa", pero fallaba cuando las instrucciones se volvían creativas o específicas, como "la silla roja cerca de la ventana". El vocabulario del robot estaba congelado; no podía entender nuevas descripciones. En años recientes, han surgido modelos de inteligencia artificial potentes que pueden mirar una imagen y comprender casi cualquier descripción que un humano pueda dar. Sin embargo, estos modelos son excelentes en el lenguaje, pero terribles en las matemáticas. Pueden decirte qué es un objeto, pero a menudo adivinan erróneamente cuando se les pregunta qué tan lejos está o exactamente hacia dónde moverse para llegar. Si un robot depende enteramente de un modelo como este para navegar, podría conducir con confianza hacia un punto que no existe, porque el modelo inventó una distancia que no es real.

Los investigadores detrás de este trabajo, conocidos como AnchorVLN, abordaron este problema creando un sistema que separa estrictamente lo que el robot sabe de cómo se mueve. Se dieron cuenta de que el mejor enfoque es dejar que la inteligencia artificial se encargue del lenguaje y la identificación de objetos, mientras que el robot se encarga de sus sensores físicos para las mediciones de distancia y dirección. Construyeron un sistema donde la IA actúa como un guía que señala "qué" buscar, pero nunca intenta decir "qué tan lejos" ir. En su lugar, el sistema utiliza un conjunto de herramientas digitales que traducen las descripciones de la IA en coordenadas físicas utilizando datos láser reales del entorno del robot. Esto asegura que el robot nunca actúe basándose en un número inventado. El sistema fue probado en un desafío que involucraba quince escenas interiores diferentes, donde el robot tenía que seguir treinta instrucciones complejas y responder cuarenta y cinco preguntas sobre la ubicación de objetos. Los resultados mostraron que cuando el sistema utilizó esta separación de funciones, siguió las instrucciones con éxito el 64.4 por ciento de las veces. Cuando los investigadores eliminaron la parte que verificaba las distancias físicas, la tasa de éxito disminuyó significamente. Además, al pedirle que señalara la ubicación exacta de un objeto, el sistema que utilizaba datos de sensores reales fue mucho más preciso que un sistema que intentaba adivinar la ubicación, reduciendo el error promedio al encontrar el centro de un objeto de más de tres metros a menos de dos metros y medio.

El núcleo de este logro es una nueva forma de conectar el cerebro del robot con su cuerpo. Los investigadores diseñaron un protocolo de comunicación donde la inteligencia artificial solo puede hablar en frases y nombres, nunca en números. Cuando el robot ve la foto de una habitación, la IA puede identificar un "taburete" y darle un nombre temporal, como "objeto siete". La IA luego pide al sistema que encuentre el taburete. El sistema no le pregunta a la IA qué tan lejos está el tabarete. En su lugar, el sistema observa el propio escáner láser del robot, que mide la distancia real al suelo y a las paredes. Encuentra el taburete en los datos del láser, calcula la distancia real y le dice al robot que se mueva hacia ese punto específico. Si la IA intenta adivinar una distancia, el sistema simplemente ignora el número porque las herramientas que utiliza no están programadas para aceptarlos. Esto obliga al robot a confiar en sus propios sentidos para el movimiento, tal como un humano confiaría en sus ojos para juzgar la distancia mientras escucha las direcciones de un amigo. El robot aún puede entender instrucciones complejas, como "ve a la silla más cercana a la televisión", porque el sistema puede comparar las distancias reales de todas las sillas que ha visto con la televisión, en lugar de pedirle a la IA que haga las matemáticas.

Este enfoque también resuelve el problema de que el robot se quede atascado o se dirija hacia un espacio vacío. Si la IA no puede encontrar un objeto, el sistema no obliga al robot a adivinar. En su lugar, le dice al robot que se mueva a un nuevo lugar donde pueda tener una mejor vista. El robot entonces escanea el área nuevamente, y el sistema actualiza su lista interna de objetos. Esta lista es como una memoria creciente de la habitación, donde cada objeto que el robot ve se registra con su tamaño y posición reales. Si el robot ve el mismo objeto desde un ángulo diferente, el sistema actualiza el registro para que la forma sea más precisa, en lugar de crear una entrada nueva y confusa. Esto permite al robot construir una comprensión confiable del espacio a lo largo del tiempo, incluso si comienza sin un mapa y sin conocimiento previo de la habitación. Los investigadores descubrieron que este método permitió al robot navegar con éxito en entornos que nunca había visitado antes, sin necesidad de ser reprogramado para cada nueva habitación o cada nuevo tipo de objeto.

El estudio destaca un cambio fundamental en cómo los robots interactúan con el mundo. En lugar de intentar que un solo modelo de inteligencia artificial lo haga todo, desde entender el lenguaje hasta calcular la física, los investigadores construyeron un equipo donde cada parte hace aquello para lo que es mejor. La inteligencia artificial gestiona la creatividad y el lenguaje, mientras que los sensores del robot gestionan la precisión y el movimiento. Esta división del trabajo evita que el robot cometa errores peligrosos basados en conjeturas seguras. Los resultados del desafío muestran que este método no es solo una idea teórica, sino una solución práctica que funciona en escenarios del mundo real. Al mantener el lenguaje y las matemáticas separados, el robot puede seguir instrucciones complejas y encontrar objetos con un nivel de precisión que antes era imposible para los sistemas que dependían de un solo modelo. El trabajo sugiere que para que los robots naveguen realmente en el impredecible mundo humano, necesitan confiar en sus propios sentidos para los números duros, mientras dejan que la inteligencia artificial los guíe con palabras.