Technische Samenvatting: Welk Pretraining-Paradigma Dient Ruimtelijke Intelligentie Het Best?

Probleemstelling

Ruimtelijke intelligentie is een kritiek onderdeel voor embodied AI, autonoom rijden en robotica, en vereist visuele representaties die tegelijkertijd semantische objectinformatie en geometrische structuur vastleggen. Momenteel dienen twee dominante pretraining-paradigma's als fundamentele backbones voor deze taken:

1. Vision-Language Models (VLM's): Gebruiken taalsupervisie om visuele waarnemingen af te stemmen op semantische concepten.
2. Video Generation Models (VGM's): Leren van tijdelijk evoluerende visuele werelden, en verwerven potentieel priors over dynamiek en geometrische consistentie.

Hoewel beide families steeds vaker worden gebruikt als perceptie-backbones, is het onduidelijk welk paradigma een superieure representatie-substraat biedt voor ruimtelijke intelligentie. Eerdere vergelijkende studies evalueren vaak complete beleidsplannen (bijvoorbeeld in Vision-Language-Action-frameworks), waarbij prestaties verweven zijn met actie-decoders, robotdata-mengsels en post-training-recepten. Dit artikel adresseert de noodzaak om de bevroren visuele representaties zelf te isoleren om te bepalen welke ruimtelijke informatie inherent is gecodeerd voordat enige downstream-finetuning plaatsvindt.

Methodologie

De auteurs stellen een gecontroleerde studie met bevroren-features-probing voor om VLM's en VGM's te vergelijken langs drie complementaire assen van ruimtelijke intelligentie. Het kernontwerp omvat het bevriezen van de fundamentele modellen en het trainen van lichtgewicht probes met een uniforme architectuur om specifieke informatie uit te lezen.

1. Experimentele Opstelling

• Modellen: De studie evalueert representatieve modellen uit beide families:
  • VGM's: WAN2.1 (T2V/I2V), CogVideoX, OpenSora-2.0 en Aether.
  • VLM's: InternVL3/3.5, Qwen2.5-VL en Qwen3-VL.
• Feature-extractie:
  • Een videocontext van 76 frames wordt bemonsterd.
  • Voor VGM's worden features geëxtraheerd uit verborgen activaties van geselecteerde transformer-blokken tijdens een enkele denoising-passage (met lege tekstcondities of image-to-video-conditioning). Tijdelijke compressie via VAE's brengt de 76 frames in lijn met 20 latente posities.
  • Voor VLM's worden 20 query-frames direct ingevoerd, en worden visuele-token verborgen toestanden verzameld uit taalmodel-lagen.
• Unificatie Probing Backbone: Een lichtgewicht, identieke transformer-backbone (N-laag met afwisselende attention) verwerkt de bemonsterde features. Het voert frame-level attention uit, gevolgd door globale attention over frames.
• Taalspecifieke Readout-koppen: Drie onafhankelijke koppen worden getraind bovenop de bevroren backbone:
  1. Semantische Tagging: Een multi-label-classificator die de aanwezigheid van objectcategorieën (ScanNet20-vocabulaire) in de video voorspelt.
  2. Instance Groepering: Een pixel-voor-pixel projectiekop getraind met een multi-view contrastive pull-push-verlies om pixels die tot hetzelfde objectinstance behoren over verschillende weergaven te groeperen.
  3. 3D-Geometrievoorspelling: Dichte koppen (DPT-stijl) voor puntkaart- en dieptepredicatie, plus een camera-kop voor pose-schatting, gesuperviseerd door door VGGT gegenereerde ground truth (DL3DV-dataset).

2. Evaluatiemetrieken

• Semantische Tagging: mAP, APmid (prestaties op minder frequente categorieën) en Mid Ratio.
• Instance Groepering: T-mIoU (mean IoU over weergaven) en T-SR (succespercentage van het groeperen van instances in alle weergaven).
• 3D-Geometrie: P-map Err. (fout in puntkaart na uitlijning), AbsRel (relatieve dieptefout) en AUC@30 (nauwkeurigheid camera-pose).

Belangrijkste Resultaten

1. Duidelijke Verdeling van Sterktes

De experimenten onthullen een duidelijke complementariteit tussen de twee modelfamilies in plaats van een enkel superieur paradigma:

• VLM's excelleren in Semantiek en Instances:
  • Semantische Tagging: VLM's presteren significant beter dan VGM's (Gemiddelde mAP: 92,08% vs. 69,89%). Ze zijn bijzonder sterk op minder frequente categorieën (APmid: 87,28 vs. 58,63).
  • Instance Groepering: VLM's leiden ook in het groeperen van pixels over weergaven (T-mIoU: 22,66 vs. 13,24), wat suggereert dat object-gerichte semantische representaties cruciaal zijn voor instance-permanentie, niet alleen voor geometrische continuïteit.
• VGM's excelleren in 3D-Geometrie:
  • Geometrievoorspelling: VGM's bereiken superieure resultaten in het herstellen van dichte geometrie en camerabeweging (Lagere P-map Err.: 0,152 vs. 0,223; Lagere AbsRel: 0,072 vs. 0,113; Hogere AUC@30: 0,527 vs. 0,330).
  • Dit geeft aan dat video-generatie-pretraining ruimtelijke consistentie en geometrische priors inherent effectiever codeert dan taalgeregelde training.

2. Naïeve Feature-fusie

De auteurs testten een "naïeve" feature-level fusie waarbij genormaliseerde features van een sterke VGM (WAN2.1-T2V-14B) en een sterke VLM (Qwen3-VL-8B) werden samengevoegd en ingevoerd in dezelfde probe.

• Resultaat: De gefuseerde representatie behield het semantische voordeel van de VLM (het overtreffen van de VGM in tagging en het benaderen van de VLM in groepering) terwijl het de geometrische sterkte van de VGM herstelde (het gelijkkomen aan of lichtjes overtreffen van de VGM in diepte- en camerametrieken).
• Implicatie: Dit toont aan dat de sterktes van beide families complementair zijn en kunnen worden gecombineerd om een representatie te creëren die excelleert in zowel semantiek als geometrie.

3. Stabiliteit van Bevindingen

Ablatiestudies over de diepte van de probe (variatie in de capaciteit van de lichtgewicht readout) toonden aan dat de relatieve rangschikking van de modellen stabiel bleef. Dit bevestigt dat de waargenomen verschillen te wijten zijn aan de informatie die in de bevroren features zelf is gecodeerd, en niet aan de capaciteit van de probe om taken van nul af te leren.

Betekenis en Aanspraken

Het artikel stelt dat ruimtelijke intelligentie niet wordt vastgelegd door een enkele as.

• Complementariteit: Huidige fundamentele modellen vertonen een trade-off: VLM's bieden sterke semantische en object-gerichte representaties, terwijl VGM's toegankelijke dichte geometrische en bewegingssignalen bieden.
• Methodologische Bijdrage: Door bevroren representaties te isoleren, vermijdt de studie verstorende factoren van downstream-finetuning en biedt het een duidelijker beeld van wat pretraining-schema's inherent coderen.
• Toekomstige Richting: Het succes van naïeve feature-fusie suggereert een veelbelovende weg voor het bouwen van sterkere ruimtelijke-intelligentie-backbones door effectief taalgeregelde objectsemantiek te integreren met door generatie gegenereerde geometrische representaties.

De auteurs concluderen dat toekomstige systemen voor ruimtelijk begrip niet enkel moeten vertrouwen op herkenning (VLM's) of reconstructie (VGM's), maar moeten streven naar integratie van beide paradigma's om robuuste ruimtelijke intelligentie te bereiken.