Distilling 3D Spatial Reasoning into a Lightweight Vision-Language Model with CoT

Technische Samenvatting: Distilleren van 3D Ruimtelijk Redeneren naar een Lichtgewicht Vision-Language Model met CoT

Probleemstelling
Grootschalige 3D Vision-Language Models (VLM's), zoals LLaVA-3D, tonen sterke capaciteiten in ruimtelijk redeneren voor robotica, augmented reality en autonome navigatie. Hun inzet wordt echter belemmerd door aanzienlijke rekenkundige eisen, waaronder hoog GPU-geheugengebruik, aanzienlijke inferentielatentie en kwadratische aandachtcomplexiteit. Bestaande modelcompressietechnieken voor 2D VLM's zijn niet systematisch toegepast op 3D-bewuste modellen, waardoor er een gat bestaat in het onderzoek met betrekking tot: (1) het distilleren van 3D-geometrisch begrip van grote leraren naar compacte studenten; (2) het integreren van geavanceerde visuele encoders zoals VGGT in gedistilleerde 3D VLM's; (3) het evalueren van efficiëntie-nauwkeurigheidsafwegingen in gecomprimeerde 3D VLM's; en (4) het verbeteren van redeneren in gedistilleerde modellen zonder expliciete Chain-of-Thought (CoT)-data of een CoT-capabele leraar te vereisen.

Methodologie
De auteurs stellen een kennisdistillatiekader voor dat 3D ruimtelijk redeneervermogen overdraagt van een leraar met 7B parameters (LLaVA-3D-7B) naar een studentenmodel met 2,29B parameters. De aanpak bestaat uit drie kerncomponenten:

1. Architectuurontwerp:

   • Visuele Encoder: De student vervangt de op CLIP gebaseerde toren van de leraar door VGGT (Visual Geometry Grounded Transformer), waarbij gebruik wordt gemaakt van de geometrische priors (camera- en diepteschatting) voor een beter begrip van 3D-scènes.
   • Taalmodel: Een aangepaste transformer-architectuur met 2,29B parameters (24 lagen, 2048 verborgen grootte) wordt gebruikt in plaats van de LLaMA-ruggengraat van de leraar.
   • Multi-task Hoofden: De student bevat hoofden voor tekstgeneratie, diepteschatting (regressie) en objectdetectie om 3D ruimtelijke verankering te versterken, verder dan tekst alleen.

2. Verborgen Chain-of-Thought (Verborgen CoT):

   • Om het gebrek aan meerstapsredeneercapaciteit in kleine modellen aan te pakken zonder CoT-data of een CoT-capabele leraar te vereisen, introduceren de auteurs Verborgen CoT.
   • Dit mechanisme voegt een vaste set van $K$ leerbare "denk"-tokens ($T_1...T_K$) in tussen de visuele codering en de vraag-antwoordsequentie.
   • Training: Het model wordt uitsluitend getraind op de uiteindelijke antwoordtokens ($A$); de denk-tokens ontvangen geen directe supervisie en worden nooit gedecodeerd. Gradienten stromen alleen vanuit de verliesfunctie voor het antwoord, waardoor de tokens worden aangemoedigd om een latente structuur intern vast te leggen.
   • Inferentie: De interface blijft ongewijzigd; alleen het uiteindelijke antwoord wordt gegenereerd en blootgelegd. De denk-tokens fungeren als een intern kladblok dat nooit zichtbaar is voor de gebruiker.

3. Distillatiepijplijn:

   • Multi-task Verlies: Het kader combineert het verlies voor tekstgeneratie met hulpverliezen voor diepteschatting, objectdetectie en ruimtelijk redeneren.
   • Ruimtelijke Correspondentie Distillatie: Een specifiek verlies aligneert ruimtelijke feature-kaarten over multi-view-invoer tussen student en leraar om een consistente 3D-representatie te waarborgen.
   • Op Onzekerheid Gebaseerde Weging: Een adaptief verlieswegingsmechanisme (gebaseerd op leerbare onzekerheden $\sigma_i$) balanceert de bijdragen van tekst-, diepte-, detectie- en ruimtelijke taken, en verlaagt automatisch de weging van moeilijkere taken zonder handmatige afstelling.

Belangrijkste Bijdragen

1. Efficiënte 3D VLM-architectuur: Een gedistilleerde architectuur met VGGT die een 3-voudige reductie in modelgrootte bereikt (2,29B versus 7B parameters) en een 8,7-voudige reductie in inferentielatentie, terwijl concurrerend ruimtelijk redeneren behouden blijft.
2. Verborgen CoT-mechanisme: De eerste toepassing van latente kladblokredenering op gedistilleerde 3D VLM's. Het verbetert redeneercapaciteiten zonder de gebruikersinterface te wijzigen, en vereist geen met CoT geannoteerde data of een leraar die stap-voor-stap redeneren kan uitvoeren.
3. Multi-task Distillatiekader: Een pijplijn die succesvol kennis overdraagt over tekstgeneratie, diepteschatting en objectdetectie, met gebruik van op onzekerheid gebaseerde verliesweging om trainingsdynamiek te optimaliseren.
4. Uitgebreide Evaluatie: Een rigoureuze analyse op de ScanNet- en 3D-FRONT-datasets, die benchmarks vestigt voor 3D VLM-compressie en aantoont dat ruimtelijk redeneren beter behouden blijft dan taalkundige metrieken suggereren.

Experimentele Resultaten
Geëvalueerd op de ScanNet- en 3D-FRONT-datasets, toont het gedistilleerde studentenmodel het volgende:

• Efficiëntie: Bereikt 0,065 FPS (8,7× sneller dan de 0,0075 FPS van de leraar) en vermindert de modelgrootte van 26,7 GB naar 8,7 GB. Het piekgebruik van GPU-geheugen bedraagt 5,2 GB, wat inzet mogelijk maakt op consumentengpu's.
• Prestaties Ruimtelijk Redeneren: Ondanks een daling in algemene metrieken voor tekstgeneratie (ROUGE-1: 0,119 versus 1,000 van de leraar), behoudt het model 54–72% van de prestaties van de leraar op gespecialiseerde ruimtelijke taken:
  • Nauwkeurigheid Nabijheid: 68% van de leraar.
  • Nauwkeurigheid Contact: 72% van de leraar.
  • Groottevergelijking: 54% van de leraar.
  • Oriëntatie: 61% van de leraar.
  • Totale Ruimtelijke Nauwkeurigheid: 64% van de leraar.
• Ablatiestudies:
  • Het verwijderen van het verlies voor diepteschatting verlaagde de ruimtelijke nauwkeurigheid met 19%, wat de kritieke rol ervan benadrukt.
  • Het verwijderen van ruimtelijke feature-alignatie verlaagde de nauwkeurigheid met 8%.
  • Optimalisatie Verborgen CoT: Een ablatie over het aantal denk-tokens ($K$) toonde aan dat $K=8$ het beste validatieverlies oplevert (4,79), beter presterend dan $K=2$ (beperkte capaciteit) en $K=16$ (afnemende meeropbrengst).
• Kwalitatieve Analyse: Het model vertoont "conservatieve generatie", waarbij kortere antwoorden worden geproduceerd met hoge precisie (39,7% ROUGE-1 precisie) maar lage recall (8,5%). Wanneer het wel ruimtelijke informatie genereert, is deze vaak correct, hoewel het moeite heeft met complexe multi-objectrelaties.

Betekenis en Claims
Het artikel positioneert dit werk als een stap naar de praktische inzet van 3D VLM's op platformen met beperkte middelen (bijv. robotica, AR/VR, autonome navigatie) zonder afbreuk te doen aan de kerncapaciteiten voor ruimtelijk redeneren. De auteurs claimen dat hun aanpak de kloof overbrugt tussen hoogpresterende grote modellen en inzetbare edge-toepassingen.

Specifiek claimt het werk de eerste te zijn die latente kladblokredenering (Verborgen CoT) toepast op gedistilleerde 3D VLM's, waardoor verbeterd redeneren wordt bereikt zonder de overhead van CoT-data of gespecialiseerde leraarmodellen. Het kader wordt beschreven als "leraar-relatief indoor 3D-scène QA", met de expliciete opmerking dat het niet is ontworpen voor embodied navigatie. De auteurs erkennen beperkingen, waaronder de noodzaak van verdere optimalisatie om real-time snelheden te bereiken (huidig ~15s/stuk) en de huidige beperking tot indoor-omgevingen, maar stellen dat de combinatie van efficiëntie, 3D-specifieke distillatie en Verborgen CoT een sterke basis vormt voor toekomstige gecomprimeerde 3D VLM's.