Technische Samenvatting: SpatialForge

Probleemstelling

Hoewel Large Vision-Language Models (VLM's) opmerkelijk succes hebben geboekt in semantisch begrip en het beantwoorden van visuele vragen, vertonen ze een kritiek tekort in ruimtelijk redeneren. Hedendaagse modellen worstelen vaak met fundamentele geometrische taken, zoals het bepalen van fijnmazige dieptevolgorde (nabij/ver-relaties), het verankeren van precieze ruimtelijke gebiedsbeschrijvingen, of het afleiden van indelingen vanuit alternatieve gezichtspunten. Deze beperking vloeit voort uit het feit dat VLM's voornamelijk worden getraind op web-schaal afbeelding-tekstparen die objectgerichte semantiek benadrukken in plaats van topologische en geometrische relaties.

Bestaande pogingen om deze kloof te dichten vallen over het algemeen in twee categorieën, die beide te maken hebben met schaalbaarheidsproblemen:

1. Expliciete 3D-integratie: Het opnemen van 3D-representaties (bijvoorbeeld puntwolken, dieptekaarten) in VLM-architecturen. Dit vereist gespecialiseerde encoders en multi-modale sensorinputs die vaak niet beschikbaar zijn in onbeperkte, real-world implementaties.
2. Scène-gerichte datasynthese: Het genereren van ruimtelijke QA-paren uit beperkte sets binnenkamerscènes (bijvoorbeeld ScanNet). Hoewel deze benaderingen effectief zijn, worden ze beperkt door de hoge kosten van het verwerven van nieuwe scènes en het annoteren van fijnmazige relaties, wat resulteert in datasets met een beperkte schaal en diversiteit, vaak met een vertekening naar binnenkammeringen.

Er is een gebrek aan schaalbare, hoogwaardige ruimtelijke supervisie die is afgeleid van open-world 2D-afbeeldingen en die de kloof tussen 2D-observaties en 3D-ruimtelijk begrip effectief kan overbruggen zonder architecturale aanpassingen te vereisen.

Methodologie: SpatialForge

Om deze beperkingen te overwinnen, stellen de auteurs SpatialForge voor, een schaalbaar, geautomatiseerd datasynthese-pijplijn dat single-view "in-the-wild" 2D-afbeeldingen omzet in gestructureerde, 3D-bewuste ruimtelijke supervisie. De pijplijn werkt zonder te vertrouwen op expliciete 3D-scènegegevens of multi-modale sensoren.

1. Taxonomie van Taken

Het kader decomposeert ruimtelijk redeneren in twee hiërarchische cognitieve niveaus, die zes specifieke taken bestrijken:

• Ruimtelijke Perceptie: Richt zich op het extraheren van direct waarneembare objectniveau-informatie.
  • Grounding: Het lokaliseren van objecten op basis van beschrijvingen.
  • Referring: Het identificeren/beschrijven van objecten binnen een bepaald gebied.
  • Tellen: Het tellen van objecten die aan specifieke voorwaarden voldoen.
• Ruimtelijke Relatie: Richt zich op het redeneren over relaties die geometrische inferentie vereisen die verder gaat dan direct visueel bewijs.
  • Nabij–Ver: Het bepalen van relatieve dieptevolgorde.
  • Links–Rechts: Het identificeren van horizontale relaties ten opzichte van een camera of menselijk gezichtspunt.
  • Perspectief: Het interpreteren van ruimtelijke relaties vanuit een specifiek mens-gecentreerd gezichtspunt (bijvoorbeeld links/rechts ten opzichte van een persoon die naar de camera kijkt).

2. De Synthese-pijplijn

De pijplijn bestaat uit vier geautomatiseerde fasen:

1. Afbeeldingsfiltering: Ruwe afbeeldingen worden gefilterd op visuele kwaliteit (verwijdering van wazigheid, slechte belichting) en semantische realisme (met behulp van CLIP om real-world scènes te onderscheiden van synthetische content, GUI's of documenten).
2. Datapreprocessing:
   • Globale & Gebiedscaptioning: Een VLM met hoge capaciteit genereert holistische scènebeschrijvingen en extraheert objectqueries. Een open-vocabulary detector (Grounding DINO) lokaliseert deze objecten, en de VLM genereert fijnmazige, ruimtelijk verankerde gebiedscaptions.
   • Diepteschatting: Een monocular diepte-estimator (DepthAnythingV2) voorspelt dichte dieptekaarten. Objectniveau-diepte wordt afgeleid door statistieken te aggregeren (bijvoorbeeld mediane diepte) binnen bounding boxes.
   • Schatting van Menselijke Oriëntatie: Voor menselijke onderwerpen classificeert een oriëntatievoorspeller de kijkrichting (naar de camera toe of weg van de camera) om redeneren vanuit perspectief mogelijk te maken.
3. Takenworkflow: Gestructureerde QA-paren worden gegenereerd op basis van de gepreprocessioneerde data.
   • Perceptietaken koppelen captions aan boxes en vice versa.
   • Relatietaken berekenen geometrische relaties. Voor diepte worden paren alleen behouden als meerdere dieptemetrics (mediaan en 90e percentiel) overeenkomen. Voor perspectief worden links-rechts relaties gespiegeld op basis van de kijkrichting van het menselijke onderwerp.
4. Kwaliteitscontroleur: Een sterkere VLM fungeert als onafhankelijke rechter om elk gegenereerd QA-paar te verifiëren. Voor grounding-taken wordt Intersection over Union (IoU) gecontroleerd; voor tekstuele antwoorden wordt exacte stringmatching gebruikt. Inconsistente samples worden verworpen om foutopstapeling te voorkomen.

3. Datasetconstructie

Met behulp van deze pijplijn hebben de auteurs SpatialForge-10M geconstrueerd, een grootschalige dataset met 10,2 miljoen geverifieerde ruimtelijke QA-paren afgeleid van 2,8 miljoen gecureerde afbeeldingen afkomstig uit Objects365, OpenImages en Pixmo. De dataset omvat diverse open-world omgevingen en bestrijkt de zes gedefinieerde ruimtelijke taken.

Belangrijkste Bijdragen

1. SpatialForge Engine: Een schaalbare, geautomatiseerde datasynthese-engine die gestructureerde, 3D-bewuste ruimtelijke supervisie extrahert uit single-view 2D-afbeeldingen, waarmee de schaalbaarheidsbeperkingen van expliciete 3D-annotaties worden verzacht.
2. SpatialForge-10M Dataset: Een grootschalige, open-world ruimtelijke QA-dataset die ruimtelijke perceptie en ruimtelijke relaties bestrijkt, ontworpen om ruimtelijk redeneren te verbeteren door middel van complementaire subcategorieën.
3. Data-gedreven Schaalbaarheidsdemonstratie: Uitgebreide experimenten tonen aan dat het fine-tunen van standaard VLM's op deze uit 2D afgeleide data de capaciteiten voor ruimtelijk redeneren aanzienlijk verbetert op meerdere benchmarks, zonder dat architecturale wijzigingen of 3D-specifieke inputs nodig zijn.

Experimentele Resultaten

De auteurs hebben de benadering geëvalueerd door Qwen3-VL-2B te fine-tunen op SpatialForge-10M en dit te testen op vijf diverse benchmarks voor ruimtelijk redeneren: CV-Bench, SPAR-Bench, SpaCE10, OmniSpatial en MindCube.

• Prestatiewinst: Het model getraind met SpatialForge toonde aanzienlijke verbeteringen ten opzichte van de baseline Qwen3-VL-2B.
  • SPAR-Bench: Verbetering van 42,6 naar 50,6 (+8,0 absolute winst), met opmerkelijke winsten in dieptevolgorde en ruimtelijke verbeelding.
  • OmniSpatial: Verbetering van 35,7 naar 43,1, wat wijst op een betere hantering van gezichtspuntabhankelijk redeneren.
  • MindCube: Verbetering van 32,2 naar 42,3, wat een verbeterd vermogen toont in perspectiefneming en mentale rotatie.
  • CV-Bench (3D): Verbetering van 83,4 naar 85,2.
• Ablatiestudies: De studie bevestigde dat:
  • Noch perceptie- noch relatiedata op zichzelf voldoende is; hun combinatie levert de beste resultaten op.
  • Perspectiefbewuste supervisie aanzienlijke extra waarde biedt, met name voor benchmarks die wisseling van gezichtspunt vereisen.
  • De verbeteringen generaliseren over verschillende taakformaten in plaats van te overfitten op een specifieke benchmark.

Betekenis en Claims

De paper claimt dat SpatialForge een praktische en effectieve richting biedt voor het verbeteren van 3D-bewust begrip in VLM's. Door over te stappen van moeilijk te schalen scène-gerichte annotaties naar een schaalbare, 2D-gedreven datasynthesestrategie, overbrugt het kader succesvol de kloof tussen semantisch begrip en geometrisch redeneren.

De auteurs benadrukken dat hun benadering:

• Geen architecturale aanpassingen of gespecialiseerde 3D-encoders vereist.
• Niet afhankelijk is van multi-modale sensorinputs, waardoor het toepasbaar is op onbeperkte, real-world implementaties.
• De schaal en diversiteit benut van open-world 2D-afbeeldingscollecties, waarmee de domeinbias en beperkte schaal van eerdere binnenkamergerichte datasets worden overwonnen.

De resultaten suggereren dat grootschalige, goed gestructureerde ruimtelijke supervisie afgeleid van 2D-afbeeldingen een levensvatbaar en krachtig signaal is voor het leren van ruimtelijk bewustzijn, waardoor standaard VLM's diepte, indeling en gezichtspuntabhankelijke relaties beter kunnen vastleggen.

Beperkingen

De auteurs erkennen enkele beperkingen:

• Benaderende Supervisie: Het afleiden van 3D-relaties uit single-view 2D-afbeeldingen is inherent benaderend, wat de nauwkeurigheid kan beïnvloeden in complexe scenario's met obstructie of perspectiefvervorming.
• Pijplijnruis: Ondanks verificatie kan het meerfasige syntheseproces ruis introduceren.
• Scope: Het huidige ontwerp richt zich op een beperkte set ruimtelijke relaties (diepte, indeling, perspectief) en dekt nog geen complexe fysieke interacties of temporele dynamiek.
• Metrische Geometrie: Zonder expliciete 3D-data is de methode mogelijk minder geschikt voor taken die een nauwkeurige metrische geometrie vereisen.