SlotVTG: Object-Centric Adapter for Generalizable Video Temporal Grounding

1. Het Probleem: Generalisatie in Video Temporal Grounding (VTG)

Video Temporal Grounding (VTG) is de taak om tijdsintervallen in onbewerkte video's te lokaliseren op basis van natuurlijke taalqueries. Hoewel Multimodale Large Language Models (MLLMs) sterke prestaties laten zien, blijken ze bij naïeve toepassing of standaard fine-tuning tekort te schieten in Out-of-Domain (OOD) scenario's.

• Overfitting op shortcuts: Wanneer MLLMs worden gefinetuned op specifieke VTG-datasets (zoals Charades-STA), leren ze vaak dataset-specifieke "shortcuts" (bijv. bias in tijdslocatie, tekstpatronen of uiterlijke kenmerken) in plaats van echt te begrijpen wat er visueel gebeurt.
• Verval bij domeinverschuiving: Zie Figuur 1 en 2 in het paper. Een model dat goed presteert op In-Domain (ID) data, faalt vaak op OOD-data omdat het de visuele inhoud niet echt "grounded" (verankerd) heeft.
• Bestaande oplossingen zijn duur: Bestaande methoden voor object-gecentreerd leren vereisen vaak het opnieuw trainen van de volledige visueel-taal-pipeline, wat rekenkundig zeer kostbaar is.

2. Methodologie: SlotVTG

De auteurs stellen SlotVTG voor, een parameter-efficiënt framework dat object-gecentreerde representaties introduceert in bestaande, voorgefine-tuned MLLMs met minimale kosten. De architectuur bestaat uit drie kerncomponenten:

A. De Slot Adapter

In plaats van dat de LLM-decoder visuele tokens direct verwerkt, wordt een lichte Slot Adapter ingevoegd in de vroege decoderlagen.

• Down-projection: Visuele tokens worden geprojecteerd naar een lagere dimensie (bottleneck).
• Slot Attention: Een set van leerbare "slots" (abstracte entiteiten) concurreert via iteratieve attentie om de visuele tokens te verklaren. Dit forceert het model om de scène te decomponeren in discrete, semantische entiteiten (zoals personen, objecten, achtergrond) in plaats van ruwe pixels.
• Token Reconstructie: De tokens worden gereconstrueerd vanuit deze slots via cross-attention, zodat de LLM-decoder weer de oorspronkelijke tokensequentie ontvangt, maar nu met ontkoppelde, entiteitsbewuste representaties.
• Residual Connection: De adapter wordt met een zero-initialized projectie toegevoegd, zodat het bij het begin van het trainingen als een identiteitsmapping werkt voor stabiliteit.

B. Slot Alignment (SA) Loss

Om te voorkomen dat de slots willekeurige clusters vormen, wordt een regularisatieterm toegevoegd die gebruikmaakt van object-voorkeuren uit een voorgeöefend zelf-supervised visueel model (DINOv2).

• De attentiekaarten van de slots worden vergeleken met de token-paar gelijkenis van DINOv2.
• Dit dwingt het model om semantisch coherente tokens (bijv. delen van hetzelfde object) in dezelfde slot te groeperen, wat de visuele grounding versterkt zonder extra annotatie te vereisen.

C. Training

• De visuele encoder blijft bevroren.
• Alleen de Slot Adapters en LoRA-parameters (in de diepere lagen) worden bijgewerkt.
• De totale loss is een combinatie van de standaard cross-entropy loss en de SA loss.

3. Belangrijkste Bijdragen

1. Diagnose van het probleem: De auteurs tonen empirisch aan dat gefinetuned MLLMs op OOD-data de visuele inhoud negeren en vertrouwen op dataset-specifieke patronen.
2. SlotVTG Framework: Een nieuwe, parameter-efficiënte methode die object-gecentreerd leren integreert via een lichte adapter, zonder de basis-pipeline opnieuw te hoeven trainen.
3. Slot Alignment Loss: Een innovatieve regularisatiestrategie die object-voorkeuren van DINOv2 distilleert om semantisch consistente slot-vorming te garanderen.
4. Resultaten: Het framework verbetert OOD-robustheid aanzienlijk terwijl de In-Domain prestaties behouden blijven, met een zeer klein aantal extra parameters (<0,33%).

4. Resultaten en Evaluatie

De methode is geëvalueerd op standaard VTG-benchmarks (Charades-STA, QVHighlights, ActivityNet Captions) met verschillende bron- en doeldatasets.

• OOD Generalisatie: SlotVTG toont aanzienlijke verbeteringen in Out-of-Domain scenario's.
  • Voorbeeld: Bij training op Charades-STA en evaluatie op QVHighlights (OOD), verbetert SlotVTG (3B) de R1@0.5-score met +4,3 punten ten opzichte van de baseline (Chrono-Qwen), terwijl de ID-prestaties gelijk blijven.
  • Bij gebruik van een 7B-model zijn de verbeteringen nog groter (+4,1 punten).
• Vergelijking met State-of-the-Art: SlotVTG presteert beter dan zowel gespecialiseerde DETR-modellen als andere gefinetuned MLLMs in kruis-domein evaluaties. Zelfs een 3B-model met SlotVTG presteert in sommige OOD-scenario's beter dan zero-shot 7B-modellen.
• Visualisatie: De slot-visualisaties (Figuur 4) tonen aan dat de slots consistent semantische entiteiten (mensen, objecten) isoleren, zelfs in onbekende domeinen, wat bevestigt dat het model echt naar de visuele inhoud kijkt.
• Efficiëntie: Het toevoegen van de adapter en LoRA voegt slechts ongeveer 7,6M tot 23,3M parameters toe (ongeveer 0,25% - 0,33% van het totale model), wat het zeer kostenefficiënt maakt.

5. Betekenis en Impact

SlotVTG biedt een cruciale oplossing voor het "generalisatie-probleem" in multimodale AI. Het bewijst dat het niet nodig is om enorme modellen volledig opnieuw te trainen om robuust te worden; het is voldoende om de visuele representatie te sturen naar een object-gecentreerde structuur.

• Praktische toepassing: Het maakt het mogelijk om bestaande grote taalmodellen snel en goedkoop aan te passen voor specifieke visuele taken zonder dat ze "vergeten" hoe ze naar de echte wereld moeten kijken.
• Toekomstige richting: De aanpak suggereert dat object-gecentreerd decompositie een sleutel is voor het overbruggen van de kloof tussen synthetische datasets en de complexe, variabele realiteit van video-inhoud.