SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning

1. Het Probleem

Grote Vision-Language Models (VLM's) vertonen momenteel aanzienlijke beperkingen in betrouwbare 3D ruimtelijke redenering, een cruciale vaardigheid voor embodied AI-systemen (zoals robots) en fysieke interactie. Hoewel deze modellen goed zijn in semantisch begrip, falen ze vaak bij het nauwkeurig interpreteren van 3D-geometrie en ruimtelijke relaties (bijv. afstanden schatten, links/rechts onderscheiden in dynamische omgevingen).

De bestaande aanpakken voor het integreren van geometrie in VLM's hebben een fundamenteel tekort:

• Enige-laags fusie: De meeste recente methoden (zoals VG-LLM of Spatial-MLLM) fuseren alleen de diepste laag (final-layer features) van een geometrie-encoder met de visuele features.
• Verlies van hiërarchische informatie: Geometrie-encoders (vaak gebaseerd op de DPT-architectuur) extraheren waardevolle informatie op verschillende niveaus. Shallow (vroege) lagen bevatten fijne, lokale geometrische details (randen, oppervlakken), terwijl diepere lagen meer globale semantische context bevatten. Door alleen de laatste laag te gebruiken, gaan deze fijne details verloren, wat leidt tot een bottleneck voor nauwkeurige ruimtelijke waarneming.
• Feature-interferentie: Eenvoudige fusie van meerdere lagen binnen de visuele encoder leidt vaak tot interferentie in plaats van synergie.

2. Methodologie: SpatialStack

Het paper introduceert SpatialStack, een algemeen hiërarchisch fusieframework dat visuele, geometrische en taalkundige representaties progressief aligneert over de hele modelhiërarchie, in plaats van alleen aan het einde.

Kernarchitectuur:

• Multi-level Geometry Encoder: Het model gebruikt een geometrie-encoder (in dit geval VGGT - Visual Geometry Grounded Transformer) die ingangsmultiview-afbeeldingen omzet in 3D-structuur, diepte en camera-pose.
• Hiërarchische Injectie: In tegenstelling tot eerdere werken die geometrie alleen in de visuele encoder injecteren, injecteert SpatialStack geometrische features direct in de LLM-decoder.
• Layer-wise Fusie:
  • Features worden geëxtraheerd uit meerdere lagen van de geometrie-encoder (bijv. lagen 11, 17 en 23).
  • Deze features worden via specifieke projectoren (mergers) afgestemd op de resolutie en dimensie van de taal-tokens.
  • Ze worden hiërarchisch toegevoegd aan corresponderende lagen van de LLM-decoder (bijv. geometrie-laag 11 naar LLM-laag 0, laag 17 naar laag 1, enz.).
  • Dit gebeurt via additieve residualen op de visuele tokens binnen de decoder, terwijl tekst-tokens ongewijzigd blijven.

Werkingsprincipe:

• Shallow layers (vroege lagen) worden gebruikt voor fijne ruimtelijke waarneming (bijv. diepte, randdetectie).
• Deep layers (late lagen) worden gebruikt voor hoog niveau redenering (bijv. objectrelaties, globale planning).
• Door deze lagen gesynchroniseerd te fuseren met de taalbackbone, kan het model zowel lokale precisie als globale context tegelijkertijd benutten.

3. Belangrijkste Bijdragen

1. Systematische Analyse: De auteurs bieden de eerste systematische analyse van hoe fusie over verschillende lagen van visuele, geometrische en taalencoders de ruimtelijke redenering beïnvloedt. Ze tonen aan dat er een directe correspondentie is: vroege geometrische lagen zijn essentieel voor lage-niveau perceptie, terwijl diepere lagen nodig zijn voor complexe redenering.
2. SpatialStack Framework: Een nieuw, model-onafhankelijk framework dat multi-level geometrische features progressief aligneert met de LLM-decoder. Dit overbrugt de kloof tussen lokale geometrische precisie en globale semantische context.
3. VLM-SpatialStack: Een concrete implementatie gebaseerd op de Qwen-serie (Qwen2.5-VL en Qwen3.5). Dit model bereikt state-of-the-art prestaties op diverse 3D-benchmarks.
4. Ablatie-onderzoek: Het paper toont aan dat naïeve multi-layer fusie (zonder hiërarchische alignering) suboptimaal is en dat de specifieke plaatsing van de fusie (in de taaldecoder versus visuele encoder) cruciaal is voor succes.

4. Resultaten

SpatialStack werd geëvalueerd op meerdere benchmarks voor ruimtelijke redenering en toonde overtuigende verbeteringen:

• VSI-Bench: SpatialStack (gebaseerd op Qwen3.5) bereikte een nieuwe state-of-the-art (SOTA) onder open-source modellen met een score van 67.52 (Overall), wat significant hoger is dan concurrenten zoals VG-LLM en Spatial-MLLM. Het toonde sterke zero-shot generalisatie, zelfs voor taken zoals routeplanning waarvoor het niet specifiek getraind was.
• SPAR-Bench & CV-Bench: Het model behaalde de hoogste scores op SPAR-Bench (71.39) en CV-Bench (85.53), wat de superioriteit van de multi-level fusie voor zowel 2D als 3D ruimtelijke waarneming aantoont.
• BLINK-Spatial: Hoewel de basis Qwen3.5 hier het beste scoorde, presteerde SpatialStack consistent goed en overtrof het andere geometrie-bewuste modellen, wat aantoont dat de methode geen "catastrophic forgetting" veroorzaakt voor algemene visuele taken.
• Ablatie: Experimenten bevestigden dat het combineren van features uit lagen 11, 17 en 23 superieur is aan het gebruik van slechts één enkele laag of naïeve fusie in de visuele encoder.

5. Betekenis en Impact

SpatialStack stelt een nieuw paradigma neer voor de integratie van Vision-Language-Geometry.

• Oplossing voor een fundamentele bottleneck: Het lost het probleem op dat eerdere modellen te veel afhankelijk waren van diepe, abstracte features en daardoor de fijne ruimtelijke details misten die nodig zijn voor fysieke interactie.
• Embodied AI: De methode maakt het mogelijk voor robots en XR-systemen om niet alleen te "zien" wat er is, maar ook de fysieke ruimte nauwkeurig te begrijpen en te redeneren over afstanden, relaties en beweging.
• Schaalbaarheid: Omdat het framework model-agnostisch is, kan het worden toegepast op elke bestaande multimodale LLM, waardoor het een veelzijdige basis vormt voor de volgende generatie fysieke AI-systemen.

Kortom, SpatialStack bewijst dat het hiërarchisch en progressief fuseren van geometrische informatie over de hele diepte van een taalmodel essentieel is voor betrouwbare 3D ruimtelijke intelligentie.