Technische Samenvatting: SpaceVista – Ruimtelijk redeneren op alle schaalniveaus, van millimeter tot kilometer

1. Probleemstelling

De huidige vooruitgang in visueel ruimtelijk redeneren heeft zich grotendeels gericht op binnenruimtes en specifieke objectgroottes, vaak met een afhankelijkheid van arbeidsintensieve 3D-scans en handmatige annotaties. Bestaande modellen kampen met moeite bij diverse real-world toepassingen, variërend van productie op millimeterschaal tot drone-sensoren op kilometerschaal. Het vakgebied staat voor twee hoofduitdagingen:

1. Beperkingen in data: Een zware afhankelijkheid van binnen-3D-scans en de hoge kosten voor het samenstellen van grote, "wilde" videodatasets met precieze fysieke annotaties over diverse schaalniveaus (van mm tot km).
2. Beperkingen in modellen: Het ontbreken van modellering op alle schaalniveaus leidt tot overfitting op enkele scènes (meestal binnen) en kennisconflicten wanneer modellen proberen te redeneren over sterk verschillende schaalniveaus (bijvoorbeeld het verwarren van de grootte van een schroef met die van een gebouw). Huidige Multimodale Grootte Taalmodellen (MLLM's) missen vaak het vermogen om ruimtelijk begrip te generaliseren van micro-objecten naar macro-scènes.

2. Methodologie

De auteurs stellen een holistische oplossing voor, bestaande uit een nieuwe dataset, een benchmark en een gespecialiseerde modelarchitectuur.

2.1. Datasetconstructie: SpaceVista-1M

Om datatekorten en annotatiekosten aan te pakken, hebben de auteurs een geautomatiseerde pijplijn ontwikkeld die gebruikmaakt van specialistische modellen om SpaceVista-1M samen te stellen, een dataset met 1 miljoen ruimtelijke vraag-antwoordparen afgeleid van 38.000 videoscènes.

• Schaaldekking: De dataset beslaat vijf ruimtelijke schaalniveaus: Tiny Tabletop (mm), Tabletop (cm), Indoor (m), Outdoor (10m) en Drone (100m+).
• Taalgroei: Het omvat 19 diverse taken, waaronder algemeen ruimtelijk redeneren (afstand, tellen, relatie) en schaal-specifieke taken (bijvoorbeeld manipulatieweplanning voor tafelbladen, oppervlakte-schatting voor dronebeelden).
• Annotatiestrategie: De pijplijn integreert camera-intrinsieken/extrinsieken, metrische diepteschatting (met modellen zoals Metric3Dv2 en UniDepthV2) en objecttracking (SAM 2 + Grounding DINO) om gestructureerde 2D/3D-annotaties te genereren.
• Kwaliteitscontrole: Waar de trainingsset gebruikmaakt van automatische generatie met menselijke verificatie (met een globale nauwkeurigheid van ~83%), vertrouwt de evaluatiebenchmark op rigoureuze handmatige meting en bronverificatie.

2.2. Benchmark: SpaceVista-Bench

Om een nauwkeurige evaluatie te garanderen die overeenkomt met de fysieke wereld, hebben de auteurs SpaceVista-Bench met de hand samengesteld.

• Constructie: Deze benchmark omvat het handmatig opnemen en meten van real-world objecten (voor tiny/tabletop-scènes) en het raadplegen van gezaghebbende data (bijvoorbeeld Wikipedia, officiële ontwerpdocumenten) voor bezienswaardigheden en buiten-scènes.
• Scope: Het bestaat uit ~1.600 vraag-antwoordparen over ~300 unieke videoscènes, die alle vijf schaalniveaus bestrijken.

2.3. Modelarchitectuur: SpaceVista-7B

Het voorgestelde model, SpaceVista-7B, is gebaseerd op de Qwen2.5-VL-7B-fundering en introduceert drie belangrijke innovaties om redeneren op alle schaalniveaus te hanteren:

1. Voorbij Semantiek (Dichte Feature-fusie): Om de beperkingen van semantische-only tokenizers te overwinnen, integreert het model dichte features van DINOv3 (een zelftoezichtend visueel model bekend om diepte- en normaalrepresentaties). Deze features worden via cross-attention samengevoegd met de standaard visuele encoder, waardoor een op geometrie en diepte gebaseerd ruimtelijk begrip ontstaat.
2. Schaal-bewuste Experts (LoRA-achtig): Om "kennisconflicten" te mitigeren waarbij vergelijkbare visuele patronen verschillende fysieke realiteiten impliceren op verschillende schaalniveaus, hanteert het model een Mixture of Experts (MoE)-benadering. Specifiek gebruikt het LoRA-achtige adapters voor verschillende schaalniveaus, dynamisch gerouteerd door een Scale Router. Dit stelt het model in staat om onafhankelijke kennis voor elk schaalniveau te behouden, terwijl het parameter-efficiënt blijft.
3. Progressieve Beloning RL: De trainingsstrategie omvat een Reinforcement Learning (RL)-fase met Group Relative Policy Optimization (GRPO). De beloningsfunctie is ontworpen met "ankers" om een mensachtig redeneerproces af te dwingen:
   • Semantisch Anker: Identificeren van referentieobjecten.
   • Schaal Anker: Schatten van de globale sceneschaal.
   • Antwoord Anker: Zorgen dat het uiteindelijke antwoord logisch is afgeleid.
     Deze progressieve beloningsstructuur leidt het model om betrouwbare Chain-of-Thought (CoT)-paden te doorlopen in plaats van naar conclusies te springen.

3. Belangrijkste Bijdragen

1. SpaceVista-1M: De eerste open-source, ruimtelijke redeneringsdataset op alle schaalniveaus met 1 miljoen vraag-antwoordparen over 5 schaalniveaus en 19 taken, die zowel Supervised Fine-Tuning (SFT) met rationals als Reinforcement Learning (RL) ondersteunt.
2. SpaceVista-7B: Een ruimtelijk redenerend model dat rijke geometrische informatie integreert en schaal-specifieke experts hanteert met een progressieve beloningsstrategie om conflicten tussen schaalniveaus te verminderen.
3. SpaceVista-Bench: Een nauwkeurige, door mensen geannoteerde benchmark die alle schaalniveaus bestrijkt, samengesteld via handmatige meting en raadpleging van gezaghebbende bronnen om een betrouwbare evaluatiestandaard te bieden.

4. Experimentele Resultaten

De auteurs hebben SpaceVista-7B geëvalueerd tegen state-of-the-art gesloten-bronmodellen (bijvoorbeeld GPT-5, Gemini-2.5-pro) en open-sourcemodellen (bijvoorbeeld InternVL, Qwen2.5-VL, SpaceR) over vijf benchmarks.

• Prestaties: SpaceVista-7B toont concurrerende prestaties op bestaande benchmarks (bijvoorbeeld VSI-Bench) en behaalt substantieel superieure resultaten op de all-scale SpaceVista-Bench.
• Winst: Op SpaceVista-Bench presteert het model gemiddeld >3% beter dan propriëtaire en open-source baselines, met een opmerkelijke ~6% verbetering in uitgebreid redeneren op alle schaalniveaus in vergelijking met open-sourcemodellen van vergelijkbare grootte.
• Ablatiestudies:
  • Schaal Experts: De introductie van schaal-specifieke LoRA-experts verbeterde de prestaties aanzienlijk, wat bevestigt dat het scheiden van kennis op schaalniveau interferentie vermindert.
  • Progressieve Beloningen: Het anker-gebaseerde beloningsontwerp leverde hogere prestaties op dan onbeperkte redeneerpaden.
  • Modaaliteit: Het integreren van DINOv3-features bood grotere winst dan het gebruik van VGGT, wat de waarde van zelftoezichtende dichte features voor ruimtelijke taken onderstreept.

5. Betekenis en Claims

Het artikel stelt dat SpaceVista een fundamentele stap is naar robuste ruimtelijke intelligentie op alle schaalniveaus. Door de kloof te overbruggen van manipulatie op millimeterschaal tot remote sensing op kilometerschaal, stelt dit werk intelligente agenten in staat om waar te nemen en te redeneren in onbeperkte, real-world omgevingen.

De auteurs positioneren hun werk als een katalysator voor diverse domeinen, waaronder:

• Micro-schaal: Precisieproductie en medische chirurgie.
• Macro-schaal: Autonom rijden, drone-gebaseerde sensing en cartografie.

Het artikel benadrukt dat, hoewel huidige modellen beperkt zijn tot binnen- of single-scale instellingen, SpaceVista de benodigde data, benchmark en architecturale paradigma biedt om ruimtelijk redeneren te verbeteren over het volledige spectrum van fysieke schaalniveaus. De auteurs merken op dat, hoewel hun huidige dekking uitgebreid is, deze nog niet volledig extreme schaalniveaus aanpakt (bijvoorbeeld nanometer-halfgeleiderproductie of satellietcartografie van 10km+), waardoor ruimte blijft voor toekomstige uitbreiding.