💻 computer science

AdaGeoVLN: Selective Geometry Across Representation Depth and Navigation Time for Vision-Language Navigation

AdaGeoVLN es un marco de navegación de visión y lenguaje por flujo que mejora el rendimiento mediante la fusión selectiva de representaciones jerárquicas de modelos fundacionales de geometría a través de diferentes profundidades y la retención de evidencia geométrica histórica consciente de la navegación mediante un mecanismo de memoria acotada.

Autores originales: Quan-Dung Pham, Anh Dao, Danh Vinh Le, Nguyen Viet Tri Pham, The-Anh Nguyen, Zhirui Dai, Yiyu Chen, Tuyen P. Le, Truong Nguyen, Quan Nguyen

Publicado 2026-09-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Quan-Dung Pham, Anh Dao, Danh Vinh Le, Nguyen Viet Tri Pham, The-Anh Nguyen, Zhirui Dai, Yiyu Chen, Tuyen P. Le, Truong Nguyen, Quan Nguyen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un robot intentando seguir un conjunto de instrucciones habladas a través de una casa que nunca ha visto. Para tener éxito, el robot no puede simplemente reconocer que una silla es una silla o que una puerta es una puerta. Debe comprender cómo esos objetos se relacionan entre sí en el espacio, cómo cambia su propio punto de vista a medida que se mueve y cómo la ruta que está recorriendo se conecta con las instrucciones que está escuchando. Este desafío, conocido como navegación visual-lingüística, requiere que un agente construya un mapa mental del mundo en tiempo real, utilizando únicamente una cámara y un comando de voz. Durante años, los investigadores han intentado enseñar esta habilidad a las máquinas alimentándolas con cantidades masivas de datos visuales, pero una pregunta crítica quedó sin respuesta: ¿cómo debería un robot utilizar la profunda y estratificada comprensión de la geometría que poseen los modelos de IA modernos, y cuánto del pasado debería recordar para tomar buenas decisiones en el futuro?

Un equipo de investigadores ha presentado un nuevo sistema llamado AdaGeoVLN que responde a estas preguntas cambiando la forma en que un robot mira al mundo y cómo almacena sus recuerdos. En lugar de depender de una única instantánea final de su entorno, el sistema aprende a extraer información geométrica útil de múltiples etapas de su propio proceso de pensamiento. Además, no intenta recordar cada fotograma que ha visto, lo que rápidamente saturaría su memoria. En su lugar, actúa como un archivista cuidadoso, conservando solo los momentos históricos más importantes que le ayudan a entender dónde está y hacia dónde debe ir después. Este enfoque permite al robot navegar por entornos complejos y no vistos utilizando solo una transmisión de video estándar, sin necesidad de sensores adicionales como cámaras de profundidad o mapas preexistentes.

El núcleo de este nuevo método reside en cómo el robot procesa la información visual. Los modelos de inteligencia artificial modernos que comprenden la geometría están construidos como pilas profundas de capas, donde cada capa procesa la imagen de forma ligeramente distinta. Las capas iniciales podrían captar formas y bordes simples, mientras que las capas más profundas comprenden estructuras complejas y relaciones espaciales. Los sistemas anteriores solían ignorar estas capas tempranas, esperando hasta el final del proceso para utilizar un único resumen final de la escena. Los investigadores descubrieron que esto era un error. Al conectar los pasos de toma de decisiones del robot con múltiples capas del modelo de geometría a la vez —utilizando simultáneamente las etapas tempranas, medias y tardías—, el robot obtuvo una comprensión mucho más rica de su entorno. Este enfoque de múltiples capas resultó ser mucho más efectivo que simplemente inyectar el resumen final repetidamente, lo que sugiere que el robot se beneficia de ver el mundo a través de diferentes "lentes" al mismo tiempo.

La segunda gran innovación aborda el problema de la memoria. A medida que un robot camina por una casa, genera un flujo continuo de datos visuales. Almacenar cada una de las piezas de estos datos requeriría una cantidad imposible de memoria, especialmente para trayectos largos. Los métodos antiguos solían conservar los fotogramas más recientes o un número fijo de vistas pasadas, asumiendo que lo que sucedió hace un momento era lo más importante. Sin embargo, los investigadores se dieron cuenta de que una vista antigua podría ser crucial si contiene un punto de referencia específico mencionado en las instrucciones, o si muestra un giro único en el camino. AdaGeoVLmo resuelve esto seleccionando qué memorias conservar basándose en tres criterios específicos: qué tan relevante es la memoria para la instrucción actual, qué tan segura es la confianza del robot en los detalles geométricos de esa vista y qué tan diferente es esa vista de todo lo demás que ha visto. Esto permite al robot descartar información redundante mientras retiene los momentos específicos que le ayudarán a navegar más adelante.

Para probar estas ideas, los investigadores entrenaron su sistema en miles de tareas de navegación simuladas y luego lo evaluaron en dos bancos de pruebas estándar utilizados por la comunidad científica. Los resultados mostraron que el nuevo sistema superó significativamente a los métodos anteriores. En un conjunto de pruebas, logró llegar a su destino el 55.7 por ciento de las veces, una mejora notable sobre los mejores sistemas existentes que no utilizaban datos externos adicionales. Más importante aún, el sistema logró este alto nivel de rendimiento utilizando mucha menos memoria informática que otros enfoques que intentaban almacenar grandes cantidades de historia. Los investigadores demostraron que, al ser selectivos sobre qué recordar, el robot podía mantener su conciencia espacial sin verse agobiado por datos innecesarios.

El equipo no se detuvo en las simulaciones por computadora. Llevaron la política entrenada y la desplegaron en un robot físico de tamaño humano equipado con una cámara estándar. En los ensayos del mundo real, el robot siguió con éxito instrucciones de varios pasos, como alejarse de una chimenea, subir una escalera curva y detenerse en una puerta específica. Logró pasar un lado de una planta por el lado correcto y evitar puertas irrelevantes, demostrando que la memoria selectiva y el razonamiento geomético multicapa funcionaron en el mundo físico, no solo en uno virtual. Los investigadores señalaron que, si bien el sistema es altamente efectivo, todavía hay margen para refinar cómo se equilibran las diferentes señales de memoria, pero el enfoque fundamental de seleccionar la geometría a través de diferentes profundidades y tiempos ha demostrado ser una forma poderosa de enseñar a las máquinas cómo moverse a través del mundo.

Resumen Técnico: AdaGeoVLN

Declaración del Problema

La Navegación de Visión-Lenguaje (VLN) requiere que un agente alinee instrucciones de lenguaje natural con observaciones visuales continuas mientras mantiene la comprensión espacial a lo largo del tiempo. Aunque los Modelos de Fundación Geométrica (GFM) como VGGT ofrecen representaciones intermedias ricas de la estructura de la escena sin requerir entradas de profundidad o pose, su integración en las políticas de navegación sigue sin resolverse. Existen dos desafíos primarios:

Profundidad de Representación: No está claro si las políticas de navegación deben depender únicamente de la representación terminal (final) de un GFM o si los estados intermedios de diferentes profundidades contienen información complementaria beneficiosa para el razonamiento secuencial.
Retención Temporal: Los estados geométricos históricos proporcionan un contexto espacial necesario, pero retener todo el historial es prohibitivo en términos de memoria. Las estrategias de retención existentes basadas en la recencia pueden descartar evidencia histórica útil (por ejemplo, puntos de referencia o transiciones distintivas) que es crítica para el seguimiento de instrucciones, aunque la retención sin restricciones es inviable bajo presupuestos de memoria limitados.

Metodología: AdaGeoVLN

AdaGeoVLN es un marco de VLN de transmisión (streaming) diseñado para abordar estos desafíos mediante dos mecanismos complementarios: Fusión Jerárquica GFM–VLM y Memoria GFM Consciente de la Navegación.

1. Fusión Jerárquica GFM–VLM (Selección de Profundidad)

En lugar de inyectar repetidamente una única representación terminal de GFM, AdaGeoVLN acopla representaciones intermedias de múltiples profundidades del GFM (VGGT) a etapas sucesivas del modelo de visión-lenguaje (VLM) de la política.

Arquitectura: El marco extrae representaciones de VGGT en profundidades específicas ( $m \in \{11, 17, 23\}$ ) e las inyecta en las tres primeras capas del decodificador ( $k \in \{0, 1, 2\}$ ) de un VLM Qwen3.5-4B.
Procesamiento: Para cada profundidad, la característica del GFM se normaliza, se alinea espacialmente (mediante agrupación $2\times2$ ) y se proyecta en el espacio latente del VLM. Una red de compuerta (gating) por token y un peso escalar aprendido controlan la contribución de la actualización de cada profundidad.
Hipótesis: Este enfoque trata la jerarquía del GFM como una fuente empírica de información complementaria, evitando roles semánticos predefinidos para capas específicas, permitiendo que las actualizaciones de geometría se propaguen a través del cómputo de la política.

2. Retención de KV de GFM Consciente de la Navegación (Selección de Tiempo)

Para gestionar la memoria bajo un presupuesto fijo, AdaGeoVLN retiene selectivamente estados de Clave-Valor (KV) de atención global históricos del GFM basándose en tres criterios, en lugar de depender únicamente de la recencia.

Criterios de Selección:
1. Relevancia de la Instrucción: Mide la similitud de coseno entre los tokens visuales y los segmentos de la instrucción (derivados de marcadores de puntuación y secuenciación), asociando la geometría con subobjetivos específicos.
2. Confianza Geométrica: Agrega puntuaciones de confianza de los predictores de profundidad y de mapas de puntos del GFM, requiriendo alta confianza de ambos para una puntuación de fiabilidad elevada.
3. Novedad de Transición: Cuantifica la distinción del punto de vista de un fotograma respecto a todos los fotogramas observados previamente para evitar un historial geométrico redundante.
Mecanismo: Se computa una puntuación de retención conjunta para los tokens candidatos utilizando una suma ponderada de puntuaciones estandarizadas de relevancia, confianza y novedad. Se realiza una selección "Top-K" por capa para ajustarse a un presupuesto total de tokens por capa ( $B_{total}$ ). Los estados retenidos proporcionan contexto geométrico para las observaciones subsecuentes antes de la fusión con la política.

Contribuciones Clave

Selección de Geometría a través de la Profundidad de Representación: El artículo demuestra que el acoplamiento de múltiples profundidades de GFM a etapas sucesivas de la política supera tanto la inyección de un solo terminal como la inyección repetida de la característica terminal en ubicaciones coincidentes. Esto valida la utilidad de las representaciones geométricas intermedias para la navegación secuencial.
Memoria Geométrica Condicionada por la Navegación: Los autores introducen un mecanismo de retención acotado que selecciona estados históricos de GFM basados en la relevancia de la instrucción, la confianza geométrica y las transiciones de trayectoria. Esto permite que la utilidad de la navegación guíe la selección de la memoria, preservando el rendimiento mientras reduce significativamente la huella de memoria en comparación con los baselines temporales de mayor memoria.
Evaluación Exhaustiva: El marco se evalúa en los benchmarks R2R-CE y RxR-CE Val-Unseen utilizando un único flujo RGB sin datos de navegación externos. Además, la política se despliega en un robot humanoide físico Unitree G1, demostrando la ejecución en el mundo real.

Resultados Experimentales

Rendimiento en Benchmarks: En R2R-CE Val-Unseen, AdaGeoVLN logra una Tasa de Éxito (SR) del 55.7% y un Éxito ponderado por la Longitud del Camino (SPL) del 51.4%, superando al fuerte baseline JanusVLN (52.8% SR, 49.2% SPL) sin utilizar datos de entrenamiento externos adicionales. En RxR-CE Val-Unseen, logra 54.1% SR y 44.7% SPL.
Ablación sobre Profundidad: La fusión jerárquica (usando profundidades 11, 17, 23) mejoró el SR/SPL en 6.8/7.3 puntos porcentuales sobre la fusión de un solo terminal y en 13.6/14.5 puntos sobre un control que repetía la inyección de la característica terminal en las mismas ubicaciones. Esto confirma que la diversidad de representación, no solo la frecuencia de inyección, impulsa el rendimiento.
Ablación sobre Memoria: La estrategia de retención consciente de la navegación (Nav. 900K) alcanzó el SR más alto (55.7%) entre las configuraciones probadas, utilizando aproximadamente un 39.73% menos de memoria GFM-KV y un 20.22% menos de memoria GPU asignada en comparación con un baseline incremental híbrido (8+48).
Contribución de Señal: La ablación de las señales de retencia individuales (relevancia, confianza, novedad) a un presupuesto fijo resultó en caídas de rendimiento, siendo la confianza geométrica la que tuvo el mayor impacto (disminución de 2.1 puntos porcentuales en SR al ser eliminada), validando la necesidad del enfoque de múltiples señales.

Significación y Reivindicaciones

El artículo afirma que AdaGeoVLN establece un nuevo paradigma para la VLN de transmisión al examinar conjuntamente las representaciones geométricas expuestas a la política y la evidencia histórica retenida para la inferencia futura. Los hallazgos clave son:

El acoplamiento de múltiples profundidades es superior a la inyección repetida de la característica terminal, lo que sugiere que los estados intermedios del GFM contienen información crítica para la navegación que se pierde cuando solo se utiliza el estado final.
La retención consciente de la navegación equilibra eficazmente las restricciones de memoria con el rendimiento, preservando las capacidades de navegación mientras reduce drásticamente la sobrecarga de memoria asociada con el razonamiento geométrico de largo horizonte.
El marco opera eficazmente con un único flujo RGB, demostrando que se puede lograr una comprensión espacial sólida sin sensores de profundidad, odometría o extensos datos de entrenamiento externos.

Los autores señalan una limitación: los coeficientes de retención para las tres señales se establecieron con pesos iguales sin optimización. Se sugiere como trabajo futuro explorar el ajuste o el aprendizaje de estos pesos relativos. El artículo concluye que las representaciones geométricas selectivas y la evidencia histórica son vitales para la navegación encarnada, una afirmación respaldada tanto por los benchmarks de simulación como por el despliegue físico en un robot humanoide.