Technische Samenvatting: VISCOP (Visual Contextualized Probing) voor Video Domeinadaptatie

1. Probleemstelling

Grote Vision-Language Models (VLM's) vertonen een robuuste prestatie bij algemene visuele redeneertaken, maar lijden onder aanzienlijke degradatie wanneer ze worden ingezet in nieuwe domeinen die worden gekenmerkt door substantiële distributieverschuivingen (bijv. veranderingen in gezichtspunt, sensorische modaliteit of taakstructuur). Huidige domeinadaptatiestrategieën kampen met een kritieke afweging:

• Het bevriezen van de vision encoder en het alleen bijwerken van lichtgewicht connectoren behoudt de vooraf getrainde kennis, maar beperkt het vermogen van het model om domeinspecifieke visuele kenmerken te leren.
• Volledige of gedeeltelijke fine-tuning van de vision encoder maakt gespecialiseerd visueel begrip mogelijk, maar leidt vaak tot catastrofale vergetelheid (catastrophic forgetting) van de brede capaciteiten die tijdens de pre-training zijn verworven.

Bovendien vertrouwen bestaande benaderingen doorgaans op de representaties van de laatste laag van een bevroren vision encoder, waarbij tussenliggende kenmerken die meerlagige visuele structuren coderen, worden weggegooid. Het artikel stelt dat geabstraheerde representaties van de laatste laag onvoldoende zijn voor visueel prominente domeinverschuivingen en vraagt hoe een VLM domeinspecifieke signalen over de diepte van een bevroren encoder kan benutten zonder catastrofale vergetelheid te veroorzaken.

2. Methodologie: VISCOP

De auteurs stellen VISCOP (Visual Contextualized Probing) voor, een lichtgewicht adaptatiemechanisme dat ontworpen is om VLM's te specialiseren voor doeldomeinen terwijl de algemene kennis behouden blijft.

Kernarchitectuur

VISCOP breidt een bevroren vision encoder uit met een compacte set leerbare visuele probes ($P \in \mathbb{R}^{M \times d_v}$) en een interactiemodule. In tegenstelling tot methoden die vaste kenmerken herinterpreteren of deze in de laatste laag comprimeren, creëert VISCOP een parallel geparametriseerd pad:

1. Laag-gewijze Probing: De methode extraheert domein-relevante signalen uit de tussenliggende lagen ($\ell = 1, \dots, L$) van de bevroren vision encoder.
2. Interactiemodule ($\Phi^\ell$): In elke laag conditioneert een leerbare interactiemodule de probes op de hiërarchische visuele representaties ($X^\ell$) via vision-probe cross-attention.
   • De probes worden bijgewerkt als: $P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$.
   • Dit stelt de probes in staat om te letten op alle frames in een video, waardoor complexe spatio-temporele relaties kunnen worden geleerd die specifiek zijn voor het doeldomein, zelfs wanneer de basis-encoder bevroren is.
3. Projectie naar LLM: Na de laatste laag worden de bijgewerkte probes ($P^L$) via een speciale connector ($C_{probe}$) geprojecteerd naar de taal-embeddingruimte.
4. Trainingsdoel: De VLM wordt getraind met een standaard autoregressieve next-token prediction loss, geconditioneerd op zowel de originele visuele embeddings ($E$) als de probe-embeddings ($Z$).

Trainingsstrategie

• Bevroren Componenten: De parameters van de vooraf getrainde vision encoder blijven bevroren.
• Trainbare Componenten: Alleen de visuele probes, interactiemodules, de vision-language connector en (optioneel) LoRA-parameters in de LLM worden bijgewerkt.
• Mechanisme: Door de updates te beperken tot een low-rank, door probes gedefinieerde visuele subspace, stuurt VISCOP het leerproces richting domein-relevante structuren, terwijl het de "crash" (catastrofale vergetelheid) voorkomt die geassocieerd wordt met directe gradiëntstroom door de vision encoder.

3. Belangrijkste Bijdragen

1. Nieuwe Adaptatiestrategie: Introductie van VISCOP, dat domeinspecifieke visuele representaties leert via laag-gewijze probing van een bevroren encoder, wat effectieve transfer mogelijk maakt zonder de vooraf getrainde representaties te verstoren.
2. Uitgebreide Evaluatie: Vaststelling van een rigoureuze evaluatiesetting die drie uitdagende adaptatiescenario's beslaat:
   • Cross-view: Exocentrisch $\to$ Egocentrisch.
   • Cross-modal: RGB $\to$ Diepte (Depth).
   • Cross-task: Menselijk begrip $\to$ Robotcontrole.
3. Empirische Superioriteit: Demonstratie dat VISCOP consequent andere strategieën (inclusief volledige fine-tuning en gedeeltelijke fine-tuning) overtreft in prestaties in het doeldomein, terwijl het superieure capaciteiten in het bron-domein behoudt.

4. Experimentele Resultaten

De auteurs evalueerden VISCOP tegen baselines (Base VLM, Full Fine-tuning, Partial Fine-tuning, Q-Former stijl, Prompt Tuning) over drie domeinen:

• Egocentrisch Video-begrip (Exocentrisch $\to$ Egocentrisch):

  • VISCOP behaalde de hoogste verbetering op het doeldomein ($\Delta_{target} = +3,53$) terwijl het tegelijkertijd de retentie op het bron-domein verbeterde ($\Delta_{source} = +1,77$).
  • In contrast hiermee verbeterde volledige fine-tuning het doeldomein slechts licht ($\Delta_{target} = +0,57$), maar veroorzaakte het vergetelheid op het bron-domein ($\Delta_{source} = -0,50$).

• Diepte Video-begrip (RGB $\to$ Diepte):

  • De visuele kloof tussen RGB en Diepte veroorzaakte ernstige vergetelheid in standaard fine-tuning benaderingen ($\Delta_{source} = -3,87$).
  • VISCOP behaalde de grootste winsten in het doeldomein ($\Delta_{target} = +19,27$) terwijl het de prestaties in het bron-domein behield ($\Delta_{source} = +1,84$).

• Robotcontrole (Menselijk Begrip $\to$ Robotcontrole):

  • Gezien de extreme domeinkloof (visuele en taalruimte), had de Base VLM een nauwkeurigheid van 0%.
  • VISCOP behaalde de beste prestaties in het doeldomein ($\Delta_{target} = +67,82$) en behield de meeste bronkennis ($\Delta_{source} = -4,58$) vergeleken met andere experts, die significante vergetelheid leden ($\Delta_{source} \approx -8,87$).

• Generalisatie: VISCOP werd ook getest op audio-begrip (spectrogram input), waarbij het vergelijkbare doelprestaties liet zien als de baselines, maar een aanzienlijk verminderde vergetelheid van de bron vertoonde, wat aangeeft dat de methode niet beperkt is tot visuele verschuivingen.

Efficiëntie

VISCOP introduceert slechts een bescheiden computationele overhead (2% toename in parameters, ~3,4 GB toename in VRAM) en demonstreerde bovendien een lagere inferentie-latentie dan de base VLM door de meer gefocuste token-generatie.

5. Betekenis en Claims

Het artikel beweert dat VISCOP de fundamentele afweging in VLM domeinadaptatie aanpakt: het onvermogen om nieuwe visuele kenmerken te leren zonder vooraf getrainde kennis uit te wissen. Door te fungeren als een "verkeersregelaar" die de gradiëntstromen wegstuurt van de bevroren encoder en naar een alternatief pad, maakt VISCOP het volgende mogelijk:

• Effectieve Domeinoverdracht: Het leren van domeinspecifieke cues (bijv. egocentrische beweging, dieptestructuur, robotmanipulatie) die afwezig zijn in de vooraf getrainde representatie.
• Behoud van Algemene Capaciteiten: Het behouden van competentie op het bron-domein, wat cruciaal is voor real-world deployment waarbij modellen diverse inputs moeten kunnen verwerken.
• Benutting van Tussenliggende Kenmerken: Het aantonen dat de tussenliggende lagen van een bevroren encoder waardevolle, domeinspecifieke signalen bevatten die verloren gaan als alleen de laatste-laag representaties worden gebruikt.

De auteurs concluderen dat VISCOP een eenvoudige maar effectieve aanpak biedt voor video domeinadaptatie onder prominente visuele kloven zonder de parameters van de vooraf getrainde visuele encoder te wijzigen, een capaciteit die door bestaande benaderingen niet wordt geboden.