Resumen Técnico: GeoWeaver

Enunciado del Problema

Los Modelos Visión-Lenguaje (VLM) actuales luchan con un razonamiento espacio-temporal fiable, particularmente en tareas que involucran estimación de distancias relativas, comprensión de la disposición de objetos y seguimiento de relaciones espaciales en escenas dinámicas. Aunque enfoques recientes intentan mejorar la inteligencia espacial incorporando información geométrica a través de ramas estructurales, supervisión consciente de 3D o fusión en etapas tardías, generalmente tratan las señales geométricas como una señal compartida en todos los tokens visuales.

Los autores identifican una limitación crítica en los paradigmas existentes: diferentes tokens visuales requieren diferentes evidencias geométricas dependiendo de sus roles espaciales específicos (por ejemplo, límites locales frente a disposición global). Los métodos actuales a menudo fallan al abordar esta heterogeneidad, tratando la geometría como una señal auxiliar inyectada tardíamente en la tubería (ya sea antes de la fusión o dentro de la pila de razonamiento del LLM). Esto obliga al decodificador a resolver conjuntamente la alineación visual-geométrica y el razonamiento relacional de alto nivel, enredando el anclaje perceptivo con el razonamiento cognitivo y reduciendo la fiabilidad.

Metodología: GeoWeaver

GeoWeaver propone un marco de anclaje geométrico previo al razonamiento que trata la geometría como un prerrequisito representacional en lugar de una señal de fusión tardía. La filosofía central es "anclar-luego-razonar", dando forma a las representaciones visuales antes de que entren en el modelo de lenguaje.

1. Descripción General de la Arquitectura

El marco consta de tres etapas principales:

• Rama Visual Semántica: Utiliza un LLM multimodal preentrenado (específicamente Qwen3.5 en la implementación) con un codificador de visión nativo para extraer tokens visuales semánticos ($V$).
• Rama de Geometría Congelada: Emplea un codificador de geometría congelado (VGGT) para extraer priores geométricos explícitos de los mismos fotogramas de entrada. En lugar de usar solo la representación final, GeoWeaver construye un Banco de Geometría Multinivel recopilando estados ocultos de capas más profundas (por ejemplo, capas 12–23 de un VGGT de 24 capas). Este banco sirve como un reservorio de evidencia estructural que abarca desde detalles locales hasta abstracciones globales.
• Anclaje Geométrico Adaptativo a Tokens: Esta es la innovación central. Antes de la decodificación del lenguaje, los tokens visuales consultan el banco de geometría para recuperar la evidencia relevante.

2. Asignación de Evidencia Adaptativa a Tokens

El proceso de anclaje implica cuatro pasos específicos para asegurar que cada token visual reciba la abstracción geométrica más relevante:

• Normalización y Alineación: Las características geométricas de diferentes capas se normalizan y se fusionan espacialmente (2×2) para coincidir con la resolución y la dimensión oculta de los tokens visuales.
• Enrutamiento Condicionado por Consulta: Un enrutador ligero predice pesos de preferencia sobre las capas de geometría seleccionadas para cada token visual individual ($v_i$). Esto reconoce que diferentes regiones espaciales requieren diferentes niveles de abstracción geométrica.
• Selección Compacta de Evidencia: Para evitar diluir el anclaje específico del token con señales redundantes, el modelo emplea enrutamiento disperso. Selecciona solo las capas de geometría más relevantes (top-$K$, con $K=2$ por defecto) para cada token, enmascarando el resto.
• Anclaje Residual: La evidencia geométrica seleccionada se agrega e inyecta en los tokens visuales a través de una conexión residual ($v'_i = v_i + W_o g_i$). La matriz de proyección $W_o$ se inicializa en cero, permitiendo que el modelo comience como una identidad y aprenda gradualmente a remodelar las representaciones durante el ajuste fino.

3. Objetivo de Entrenamiento

El modelo se entrena utilizando la predicción estándar del siguiente token (pérdida autorregresiva) en tareas de razonamiento espacio-temporal aguas abajo. El codificador de geometría permanece congelado, y el módulo de anclaje se optimiza conjuntamente con el modelo multimodal base. No se introducen pérdidas auxiliares de reconstrucción geométrica o contrastivas; el modelo aprende a asignar y explotar la evidencia geométrica puramente a través de supervisión de extremo a extremo.

Contribuciones Clave

1. Diagnóstico Representacional: Los autores identifican la falta de tokens visuales anclados geométricamente como un cuello de botella clave en los VLM actuales, argumentando que el razonamiento espacio-temporal depende de si los tokens están anclados geométricamente antes de entrar en el modelo de lenguaje.
2. Marco GeoWeaver: Un marco novedoso que asigna evidencia geométrica específica a tokens desde un banco de geometría multinivel antes de la decodificación del lenguaje. Esto desplaza la alineación visual-geométrica de la pila de razonamiento a la interfaz perceptiva.
3. Mecanismo Adaptativo a Tokens: La introducción de un mecanismo de enrutamiento disperso y condicionado por consulta que permite que diferentes tokens visuales recuperen abstracciones geométricas distintas, evitando una exposición uniforme a todas las capas de geometría.
4. Validación Empírica: Extensos experimentos que demuestran que el anclaje previo al razonamiento produce un rendimiento superior sin olvidar catastróficamente las capacidades multimodales generales.

Resultados Experimentales

GeoWeaver fue evaluado en múltiples benchmarks de razonamiento espacial, incluyendo VSI-Bench, ReVSI, SPAR-Bench, ViewSpatial, BLINK, 3DSRBench y EmbSpatial.

• VSI-Bench: GeoWeaver-5B logró una puntuación promedio de 72.8, superando a la línea base de código abierto más fuerte (SpatialStack-5B) por 5.3 puntos. GeoWeaver-10B alcanzó 75.05. Se observaron ganancias significativas en categorías sensibles a la geometría como conteo de objetos, estimación de tamaño, dirección relativa y planificación de rutas.
• ReVSI: En configuraciones conscientes de fotogramas, GeoWeaver-10B alcanzó una precisión del 57.5% con 32 fotogramas, superando a los VLM espaciales anteriores. Los resultados sugieren que un anclaje geométrico efectivo es más crítico que simplemente aumentar el número de fotogramas de entrada.
• SPAR-Bench: GeoWeaver-5B alcanzó una puntuación de estado del arte de 69.2, una mejora masiva de +26.8 puntos sobre el mejor anterior, particularmente en tareas de razonamiento de nivel medio y alto (coincidencia de posición, inferencia de distancia, imaginación espacial).
• Capacidades Generales: Las evaluaciones en MMBench, Video-MME y TempCompass mostraron que GeoWeaver mantiene o mejora ligeramente el rendimiento multimodal general en comparación con las líneas base, confirmando que el anclaje geométrico no causa un olvido catastrófico.

Significado y Afirmaciones

El artículo afirma que el beneficio principal de GeoWeaver no proviene simplemente de inyectar más datos geométricos en el modelo, sino de remodelar la representación visual antes de que comience el razonamiento del lenguaje. Al convertir señales geométricas multinivel crudas en tokens visuales anclados geométricamente, el marco permite que el modelo de lenguaje opere sobre representaciones "listas para la geometría".

Los autores argumentan que la información geométrica produce el mayor beneficio no como una señal auxiliar de fusión tardía, sino como un prerrequisito fundamental que da forma a la base representacional. Este enfoque desacopla con éxito la alineación visual-geométrica de bajo nivel del razonamiento relacional de alto nivel, conduciendo a una inteligencia espacio-temporal más robusta mientras preserva la competencia multimodal general del modelo. El trabajo sugiere que el progreso futuro en la inteligencia espacial requiere abordar el cuello de botella representacional en la interfaz perceptiva en lugar de optimizar únicamente la pila de razonamiento.