Technische Samenvatting: 3D-Primitieven als Ruimtelijke Taal voor VLM's

Probleemstelling

Visueel-taalmodellen (VLM's) vertonen een opvallend paradox met betrekking tot ruimtelijk redeneren. Hoewel ze vaak falen bij eenvoudige ruimtelijke vragen in natuurlijke taal (zoals het tellen van objecten of het identificeren van relaties) wanneer ze een afbeelding voorgeschoteld krijgen, kunnen dezelfde modellen frequent uitvoerbare code genereren (zoals Three.js of Unity C#) die het 3D-scène reconstrueert met correcte objectaantallen, klassen en benaderende posities. Dit suggereert dat VLM's latente ruimtelijke kennis bezitten die niet toegankelijk is via directe vragen in natuurlijke taal. Het artikel stelt dat deze discrepantie een "fout in taakroutering" vertegenwoordigt, waarbij het vermogen van het model om ruimtelijk begrip te externaliseren via gestructureerde code niet effectief wordt overgebracht naar direct vragen en antwoorden. Bovendien vermengen bestaande benchmarks vaak ruimtelijke competentie met vertrouwdheid met een specifiek outputformaat (natuurlijke taal of een enkele programmeertaal), waardoor ware ruimtelijke redeneervermogens niet worden geïsoleerd.

Methodologie

De auteurs stellen een raamwerk voor dat centraal staat om 3D-geometrische primitieven (kubussen, bollen, cilinders, enz.) uitgedrukt in uitvoerbare code als diagnostisch hulpmiddel en tussenliggende representatie. De methodologie bestaat uit drie hoofdbestanddelen:

1. SPATIALBABEL-benchmark

Om ruimtelijk begrip te ontkoppelen van vertrouwdheid met het formaat, introduceren de auteurs SPATIALBABEL, een benchmark die VLM's evalueert over twee scène-domeinen en zes scène-code-talen.

• Scène-domeinen:
  • Primitive Split: 1.000 procedurale gegenereerde Blender-scènes met 3–20 geometrische primitieven zonder grote occlusie. Dit biedt exacte ground truth met nul labelruis.
  • Hypersim Split: 405 fotorealistische binnenruimtes met complexe geometrieën en aanzienlijke occlusie, dienend als een moeilijker validatiedomein.
• Scène-code-talen: De benchmark evalueert reconstructie over zes distincte formaten: Three.js (JavaScript), Unity C#, Blender Python, Open3D Python, Canonical JSON (een declaratief schema geïntroduceerd in dit werk) en een Scene Language DSL.
• Taken:
  • Reconstruct: Het genereren van uitvoerbare code om de scène te reconstrueren.
  • QA: Het beantwoorden van vragen in natuurlijke taal over de scène (lokalisatie, relatie, telling, bestaan, vergelijking).
• Maten: Een samengestelde SpatialBabel-Reconstruct-Score die de parse-snelheid, F1 (Hungarian-matched objectmatching), klassenaccuraatheid, positie-trouw en schaal-trouw aggregeert.

2. Code-CoT (Code Chain-of-Thought)

Een inferentiestrategie zonder training om de kloof op inferentietijd te dichten.

• Mechanisme: In plaats van een ruimtelijke vraag direct te beantwoorden, wordt het model eerst gevraagd de scène te reconstrueren als op primitieven gebaseerde uitvoerbare code. Het beantwoordt vervolgens de ruimtelijke vraag, geconditioneerd op zijn eigen gestructureerde output.
• Redenering: Dit dwingt het model om zijn redenering te routeren via de "ruimtelijke taal" van code, waar het hogere competentie heeft aangetoond, voordat het dat begrip terugvertaalt naar natuurlijke taal.

3. S3-FT (Self-Supervised Spatial Fine-Tuning)

Een interventie tijdens de training om ruimtelijke kennis te distilleren in algemeen visueel redeneren, specifiek gericht op modellen met zwakkere codeer-capaciteiten.

• Pijplijn:
  1. Pseudo-GT-generatie: Het basis-VLM genereert Three.js-reconstructiecode voor primitieve scènes. Een syntactische kwaliteitsfilter zorgt ervoor dat de code geldig is.
  2. Annotatie-extractie: De gegenereerde code wordt deterministisch geparseerd naar gestructureerde ruimtelijke annotaties (objectaantallen, klassen, 3D-poses, relaties). Deze worden gecombineerd met regel-genereren QA-paren in natuurlijke taal en scène-beschrijvingen.
  3. Fine-tuning: Hetzelfde VLM wordt gefine-tuned (met LoRA) op deze multi-task mix.
• Kernkenmerk: Het proces is volledig zelf-supervised; het vereist geen menselijke labels en geen extern "leraar"-model, aangezien het supervisiessignaal wordt afgeleid van de eigen hoog-trouwe codegeneratie van het model.

Belangrijkste Resultaten

Benchmarkbevindingen (SPATIALBABEL)

• Taalafhankelijke prestaties: De prestaties van VLM's variëren drastisch over scène-code-talen. Voor hetzelfde model op dezelfde afbeeldingen kunnen objectdetectie-F1-scores variëren met maximaal 5,7×, afhankelijk van de doeltaal.
• Zwakke correlatie: Er is een zwakke correlatie (Pearson $r \approx 0,12$) tussen de reconstructie-F1-score van een model en zijn directe QA-accuraatheid. Een model kan zeer accuraat zijn in het genereren van code maar slecht in het beantwoorden van directe vragen, wat de fout in taakroutering bevestigt.
• Effectiviteit van Code-CoT: Code-CoT verbetert QA-scores op primitieve scènes met maximaal +6,4% (bijv. Gemini-2.5-Pro) en verhoogt de CV-Bench-3D-accuraatheid voor echte foto's met +5,0% voor modellen met sterke codeer-capaciteiten. Het vertoont echter afnemende meeropbrengsten of regressie op rommelige, fotorealistische scènes waar de primitieve vocabulaire ontoereikend is.

S3-FT-prestaties

• Gains binnen distributie: Training alleen op primitieve afbeeldingen verbetert de prestaties significant op de SpatialBabel-Primitive-QA-taak. Voor Qwen3-VL-8B levert S3-FT verbeteringen op van +4,6% tot +8,6% over inferentiemodi.
• Overdracht buiten distributie: Cruciaal, training alleen op primitieve scènes transferreert naar benchmarks voor algemeen visueel redeneren.
  • HallusionBench: +17% verbetering.
  • CV-Bench-2D: +9,7% verbetering.
  • CV-Bench-3D: +3,3% verbetering.
• Generalisatie: Het recept transferreert over verschillende model-families (Qwen, InternVL, LLaVA) en schalen, hoewel de winsten afhankelijk zijn van de capaciteit.

Betekenis en Claims

Het artikel stelt vast dat 3D-geometrische primitieven in uitvoerbare code dienen als zowel een diagnostisch hulpmiddel als een overdraagbare ruimtelijke vocabulaire voor VLM's.

1. Diagnostisch hulpmiddel: De SPATIALBABEL-benchmark onthult dat ruimtelijk begrip vaak verweven is met specifieke priors voor codegeneratie. De grote prestatiekloven over talen geven aan dat standaardbenchmarks mogelijk vertrouwdheid met het formaat meten in plaats van ware ruimtelijke redenering.
2. Overdraagbare vocabulaire: Het succes van Code-CoT en S3-FT suggereert dat VLM's impliciet 3D-ruimte hebben "getokeniseerd" via geometrische primitieven tijdens pre-training. Door deze gestructureerde representatie te benutten, kunnen modellen toegang krijgen tot latente ruimtelijke kennis die andersontoegankelijk is via directe prompting in natuurlijke taal.
3. Zelf-supervised distillatie: S3-FT demonstreert dat hoogwaardig ruimtelijk redeneren kan worden gedistilleerd in algemene VLM's zonder menselijke annotatie of leraar-modellen, mits het basismodel voldoende accurate primitieve reconstructies kan genereren. Dit verlaagt de drempel voor het verbeteren van ruimtelijke capaciteiten in open-weight modellen.

De auteurs concluderen dat hoewel de aanpak duidelijke grenzen vertoont op zeer complexe, geoccludeerde fotorealistische scènes (waar de primitieve benadering faalt), het een robuust pad biedt voor het versterken van ruimtelijk redeneren in VLM's via de tussenliggende representatie van uitvoerbare 3D-code.