SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning

1. El Problema

Los Grandes Modelos de Lenguaje y Visión (VLM) actuales, aunque avanzados en comprensión semántica, tienen dificultades significativas en el razonamiento espacial 3D fiable. Esta limitación es crítica para sistemas de IA física y robótica que necesitan percibir y actuar en el mundo real.

• Causa Raíz: Los VLMs existentes a menudo fallan al codificar geometría 3D fina y relaciones espaciales, y no logran asociarlas eficazmente con instrucciones de lenguaje.
• Limitación de Métodos Previos: Los enfoques recientes que integran geometría en VLMs (como Spatial-MLLM o VG-LLM) suelen fusionar únicamente las características de la última capa (deep-layer) de los codificadores de visión y geometría.
• Consecuencia: Al ignorar las señales jerárquicas de las capas intermedias, estos modelos pierden información geométrica detallada (necesaria para la percepción local) y crean un cuello de botella fundamental para el entendimiento espacial, ya que no pueden distinguir entre tareas de bajo nivel (ej. estimación de profundidad) y alto nivel (ej. planificación de rutas).

2. Metodología: SpatialStack

Los autores proponen SpatialStack, un marco de fusión jerárquica general que alinea progresivamente las representaciones de visión, geometría y lenguaje a través de toda la jerarquía del modelo, en lugar de hacerlo solo al final.

Arquitectura Clave

1. Codificador de Geometría: Utilizan VGGT (Visual Geometry Grounded Transformer), un codificador de geometría multi-vista que puede inferir profundidad, pose de cámara y estructura 3D directamente de imágenes.
2. Extracción de Características Multi-nivel: En lugar de tomar solo la salida final, SpatialStack extrae características de múltiples capas intermedias del codificador de geometría (ej. capas 11, 17 y 23 de VGGT).
   • Hallazgo: Las capas superficiales retienen estructuras locales y límites geométricos nítidos. Las capas profundas codifican relaciones semánticas y estructurales globales.
3. Fusión Geometría-Lenguaje (No Visión):
   • A diferencia de métodos anteriores que inyectan geometría en el codificador de visión, SpatialStack inyecta las características geométricas directamente en las capas del decodificador del LLM.
   • Se utiliza un mecanismo de inyección aditiva enmascarada: Las características geométricas de la capa $i$ del codificador de geometría se alinean y se suman como residuo a la capa correspondiente $j$ del decodificador del LLM.
   • Esto permite que el LLM procese la geometría a diferentes niveles de abstracción durante el proceso de razonamiento, preservando tanto la precisión local como el contexto global.

Implementación

• Se implementó como VLM-SpatialStack utilizando la serie de modelos Qwen (Qwen2.5-VL y Qwen3.5) como base.
• Durante el entrenamiento, los codificadores de visión y geometría permanecen congelados; solo se ajustan los módulos de fusión (mergers) y el decodificador del LLM mediante ajuste fino (fine-tuning) con pérdida de entropía cruzada estándar.

3. Contribuciones Clave

1. Análisis Sistemático: Realizan el primer análisis exhaustivo de cómo las capas de fusión afectan la granularidad del razonamiento espacial. Demuestran que existe una correspondencia jerárquica: capas superficiales para detalles espaciales finos y capas profundas para contexto global.
2. Marco de Fusión Jerárquica (SpatialStack): Introducen un diseño que supera la fusión de "etapa final" convencional, permitiendo un razonamiento conjunto sobre contextos espaciales locales y globales mediante la alineación progresiva de características multi-nivel.
3. Rendimiento SOTA: Desarrollan VLM-SpatialStack, que logra el estado del arte (SOTA) en múltiples benchmarks de razonamiento espacial 3D, demostrando una generalización robusta en tareas diversas sin sacrificar las capacidades multimodales generales.

4. Resultados Experimentales

El modelo fue evaluado en varios benchmarks de razonamiento espacial 3D y multimodal:

• Benchmarks Principales: VSI-Bench, SPAR-Bench, BLINK-Spatial y CV-Bench.
• Rendimiento:
  • SpatialStack-5B (basado en Qwen3.5) alcanzó el mejor rendimiento entre los modelos de código abierto, superando a competidores como Spatial-MLLM, VG-LLM, Cambrian-S y LLaVA-Video.
  • Logró puntuaciones superiores en tareas de distancia absoluta, conteo de objetos, tamaño de habitación y planificación de rutas.
  • Mostró una generalización cero-shot (zero-shot) notable en tareas de planificación de rutas, a pesar de no haber sido entrenado específicamente con datos de planificación de rutas.
• Análisis de Ablación:
  • Confirmaron que la fusión naive de múltiples capas en el codificador de visión (GVF) es subóptima y causa interferencia de características.
  • La inyección jerárquica en el LLM (SpatialStack) superó consistentemente a las estrategias de fusión en visión o fusión inversa (capas profundas de geometría a capas superficiales del LLM).
• Capacidades Generales: El modelo mantuvo sus capacidades generales de razonamiento multimodal (evaluado en MMBench, Video-MME), demostrando que no hubo "olvido catastrófico".

5. Significado e Impacto

• Nuevo Paradigma: SpatialStack establece un nuevo paradigma para la integración de Visión-Lenguaje-Geometría. Demuestra que la geometría no debe tratarse como una característica estática final, sino como un flujo de información jerárquica que debe ser procesado en sincronía con el lenguaje.
• IA Física y Robótica: Al mejorar la capacidad de los agentes para entender la profundidad, las relaciones espaciales y la planificación en entornos 3D, este trabajo es un paso crucial hacia sistemas de IA física más capaces y seguros para la navegación, manipulación y asistencia en entornos reales.
• Eficiencia y Extensibilidad: Al ser un marco agnóstico al modelo, SpatialStack puede aplicarse a cualquier VLM base, ofreciendo una vía escalable para dotar a los modelos de inteligencia espacial sin necesidad de reentrenar desde cero los codificadores de visión o geometría.

En resumen, el paper demuestra que la fusión progresiva y jerárquica de características geométricas en el decodificador de lenguaje es la clave para superar las limitaciones actuales de los VLMs en el razonamiento espacial 3D.