Technische Samenvatting: Multi-View Relational Distillation voor Ruimtelijk Redeneren met Vision-Language Modellen

1. Probleemstelling

Vision-Language Modellen (VLM's) hebben sterke capaciteiten getoond in beeld- en videoverstaan, maar lijden aan geometrisch fragiele visuele-ruimtelijke representaties. Deze fragiliteit leidt tot falen in ruimtelijke redeneertaken die essentieel zijn voor embodied AI, robotica en autonoom rijden, zoals het afleiden van relatieve afstanden of objectlokalisatie.

Bestaande benaderingen om VLM's te funderen in geometrie worden geconfronteerd met twee primaire beperkingen:

1. Supervised Fine-Tuning (SFT): Trainen op ruimtelijke vraag-en-antwoord-datasets bestendigt vaak "spuriële visuele representaties" zonder de onderliggende geometrische begripsvorming fundamenteel te corrigeren.
2. Feature Fusion: Methoden die kenmerken (features) extraheren uit grote, geometrisch gefundeerde visiemodellen (bijv. VGGT, CUT3R) en deze fuseren met VLM's verbeteren het ruimtelijk redeneren, maar verhogen de modelgrootte en de inferentielatentie aanzienlijk, wat uitdagingen vormt voor real-time toepassingen.

Een derde benadering, Knowledge Distillation, probeert geometrische kennis over te dragen van een docentmodel naar een student-VLM zonder de inferentiekosten te verhogen. De auteurs identificeren echter een kritieke foutmodus in standaard feature distillation: het direct matchen van de multi-view visuele kenmerken van de student aan de geometrisch gefundeerde kenmerken van een docent verstoort de vooraf getrainde uitlijning tussen visuele en tekstuele representaties. Deze trade-off verslechtert het vermogen van het model om linguïstische grounding-taken uit te voeren, zoals het volgen van de volgorde van objectverschijningen of het schatten van de grootte van een object op basis van tekstuele queries.

2. Methodologie: Multi-View Relational Distillation (MVRD)

Om de trade-off tussen geometrische grounding en vision-language uitlijning aan te pakken, stellen de auteurs Multi-View Relational Distillation (MVRD) voor.

Kernconcept

In plaats van de feature-vectoren zelf te distilleren (wat de student-features dwingt om te convergeren naar een specifieke geometrische ruimte), distilleert MVRD de cosine similarities (relaties) tussen kenmerken over meerdere views heen.

• Hypothese: Multi-view relaties coderen voldoende geometrische correspondenties om het ruimtelijk begrip te verbeteren. Cruciaal is dat het matchen van paarsgewijze gelijkenissen de absolute feature-vectoren niet uniek bepaalt, waardoor het studentmodel de vrijheid behoudt om feature-representaties te kiezen die voldoen aan het geometrische doel terwijl ze dicht bij de vooraf getrainde vision-language ruimte blijven.
• Wiskundige Formulering:
  • Laat $v_{1:T}$ de visuele tokens van de student zijn en $\bar{g}_{1:T}$ de geometrisch gefundeerde kenmerken van de docent.
  • Een relationele representatie $R$ wordt geconstrueerd met behulp van een gelijkenisfunctie $r$ (specifiek cosine similarity): $R(h)[i, j] = r(h[i], h[j])$.
  • De distillatieverlies $L_{RD}$ minimaliseert het verschil tussen de relationele matrices van de student en de docent:
    $$L_{RD} := \ell_{RD}(R(f(v_{1:T})), R(\text{sg}(\bar{g}_{1:T})))$$
  • Hier is $f$ een position-wise MLP-projectie, en $\text{sg}$ staat voor de stop-gradient operator. De totale trainingsdoelstelling combineert de standaard SFT-loss met de relationele distillatie-loss ($L_{SFT} + \gamma L_{RD}$).

Architecturale Verbeteringen

Om de afwijking van de vooraf getrainde ruimte verder te minimaliseren, introduceren de auteurs een Dual Pathway architectuur:

• Geometric Adapter: Een Low-Rank Adaptation (LoRA) module, gesuperviseerd door de samengestelde loss ($L_{SFT} + \gamma L_{RD}$), leert multi-view relationele signalen.
• Semantic Adapter: Een parallelle LoRA-module, die alleen wordt gesuperviseerd door $L_{SFT}$, behoudt de taal-gealigneerde gedragingen.
• Integratie: De outputs van deze adapters worden opgeteld na de distillatielaag en door de resterende VLM-blokken gestuurd. Deze ontkoppeling zorgt ervoor dat geometrisch leren de taal-relevante subspace niet verstoort.

Ontwerpkeuzes

• Gelijkenisfunctie: Cosine similarity is gekozen vanwege de schaal- en oriëntatie-invariantie, waardoor het model relatieve hoeken kan matchen zonder te eisen dat de magnitude van de features overeenkomt.
• Verliesfunctie: Row-wise negatieve Pearson-correlatie wordt gebruikt in plaats van Mean Squared Error (MSE) om de robuustheid tegen schaalvariaties in gelijkenisscores te verbeteren.
• Causal Masking: Om aan de causale attention-mechanismen van VLM's te voldoen, worden causal masking en diagonal zeroing toegepast voordat de loss wordt berekend.

3. Belangrijkste Bijdragen

1. Diagnose van Feature Distillation Falen: Het artikel identificeert en demonstreert dat standaard feature distillation de vision-language uitlijning verslechtert, wat leidt tot prestatieverlies in linguïstische grounding-taken (zoals object tellen of grootte schatten), ondanks de verbetering in geometrische taken.
2. Voorstel van MVRD: Een nieuw distillatiekader dat geometrische kennis overdraagt via multi-view relationele gelijkenissen in plaats van ruwe features, waardoor de vooraf getrainde vision-language ruimte behouden blijft.
3. Dual Pathway Architectuur: Een lichtgewicht parameterscheidingsmechanisme dat geometrisch leren en semantische uitlijning verder isoleert, wat een balans biedt tussen prestaties over verschillende taaltypen.
4. Efficiëntie: MVRD bereikt prestaties die vergelijkbaar zijn met feature fusion-methoden met aanzienlijk minder extra parameters (<25% overhead) en lagere latentie (<16% overhead vergeleken met feature fusion baselines).

4. Experimentele Resultaten

De methode werd geëvalueerd op VSI-Bench (Visual-Spatial Intelligence Benchmark) en diverse 3D scene understanding datasets.

• VSI-Bench Prestaties:
  • MVRD presteerde beter dan Supervised Fine-Tuning (SFT) en standaard Feature Distillation (3DRS) op 6 van de 8 taken.
  • Het toonde consistente winst in linguïstische grounding taken (bijv. Object Size, Appearance Order), waar feature distillation voorheen faalde.
  • De MVRD + Dual Pathway variant bereikte een gemiddelde nauwkeurigheid van 60,4%, waarmee het gat naar de state-of-the-art feature fusion methode (VLM-3R) verkleinde tot slechts 0,5 punt, terwijl hetzelfde backbone en dataset werden gebruikt.
• Representatie Analyse:
  • Kwalitatieve en kwantitatieve analyse bevestigde dat MVRD een hoge text-vision uitlijning behoudt (gemeten door text-gebaseerde object detectie precisie) terwijl het effectief geometrische relaties modelleert.
  • Er werd aangetoond dat feature distillation de tekst-tokens ontstemt met hun corresponderende visuele patches, terwijl MVRD deze correspondentie behoudt.
• Generalisatie:
  • MVRD werd succesvol overgedragen naar 3D scene understanding taken (ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D), waarbij het eerdere 3D scene understanding generalisten en de feature-distillatie baseline 3DRS versloeg.
  • De methode bleek robuust over verschillende VLM backbones (LLaVA-Video, InternVL3, Qwen2.5-VL).

5. Betekenis en Claims

Het artikel claimt dat MVRD een computationeel efficiënt alternatief biedt voor feature fusion voor het funderen van VLM's in 3D geometrie. Door het doel van de distillatie te verschuiven van features naar relaties, lost de methode het eerder ongediagnosticeerde conflict tussen geometrische grounding en taal-uitlijning op.

De auteurs benadrukken dat MVRD VLM's in staat stelt om geometrisch begrip te verwerven "zonder de trade-off van vision-language uitlijning". De Dual Pathway variant demonstreert verder dat het ontkoppelen van geometrische en semantische doelstellingen een meer gebalanceerd model oplevert dat de prestaties van zware feature-fusion architecturen benadert met een fractie van de inferentiekosten. Het werk suggereert dat relationele representaties een meer adequate en minimale mechanisme zijn voor het overdragen van geometrische kennis aan vooraf getrainde VLM's.