Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

Technische Samenvatting: Diagnose en Overcoming van Richtingsbewegingsblindheid in Video-LLMs

Probleem: Richtingsbewegingsblindheid
Ondanks snelle vooruitgang in temporale video-interpretatie vertonen Video Large Language Models (Video-LLMs) een fundamenteel tekortkoming in het waarnemen van het voorkeur van bewegingsrichting in het beeldvlak. Op eenvoudige synthetische video's waarbij een enkel object strikt naar links, rechts, omhoog of omlaag beweegt, presteren de meeste Video-LLMs dicht bij willekeurige kans (25%), zelfs wanneer ze het uiterlijk van het object correct identificeren (bijvoorbeeld kleur). De auteurs noemen dit fenomeen richtingsbewegingsblindheid.

Via mechanistische analyse diagnosticeren de auteurs de oorzaak niet als een gebrek aan visuele waarneming, maar als een richtingskoppingskloof. Ze tonen aan dat informatie over bewegingsrichting lineair toegankelijk blijft gedurende de hele Video-LLM-pijplijn – van de visuele encoder, via de projector, tot de verborgen toestanden van de LLM. Het uiteindelijke readout-token faalt echter om dit interne signaal betrouwbaar te koppelen aan het juiste verbale antwoord (bijvoorbeeld het waargenomen "naar links"-signaal koppelen aan de tekstoptie "Links"). Deze kloof blijft bestaan over diverse architecturen en schalen, wat wijst op een structurele beperking in hoe deze modellen perceptuele signalen omzetten in taalgebonden antwoorden.

Methodologie
Het artikel introduceert een gecontroleerd diagnostisch raamwerk en een uitsluitend trainingsgerichte oplossing om deze kloof aan te pakken.

1. MODIRECT Dataset-familie:
   Om bewegingsrichtingsbegrip te isoleren en te evalueren, introduceren de auteurs MODIRECT, een dataset-familie bestaande uit drie subsets:

   • MODIRECT-INST: Een instructie-tuning dataset afgeleid van het eenvoudigste synthetische domein (Primitive-on-Syn), gebruikt om modellen te trainen op vragen gericht op richting.
   • MODIRECT-SYNBENCH: Een gecontroleerde synthetische benchmark met een $2 \times 2$ factorieel ontwerp (Voorgrond: Primitive vs. Cutout; Achtergrond: Synthetisch vs. Real). Dit maakt een rigoureuze evaluatie mogelijk van prestaties binnen het domein en generalisatie buiten het domein (OOD).
   • MODIRECT-REALBENCH: Een benchmark uit de echte wereld, samengesteld uit bestaande datasets (Something-Something-V2, KTH, TOMATO), om de overdraagbaarheid te testen naar natuurlijke video's zonder echte wereld-richtings supervisie tijdens de training.

2. Diagnostische Analyse:
   De auteurs maken gebruik van lineaire probing en conceptvectoranalyse (verschil in gemiddelde) om het bewegingsrichtingssignaal te traceren.

   • Vondsten: Hoewel instructie-tuning op het brondomein (Primitive-on-Syn) de koppelingskloof voor dat specifieke domein succesvol sluit, verslechtert de prestatie aanzienlijk op complexe OOD-domeinen (bijvoorbeeld Cutout-on-Real).
   • Oorzaak van OOD-falen: Analyse van bewegingsrichtingsconceptvectoren toont aan dat, hoewel de oriëntatie (richting in representatieruimte) na tuning over domeinen heen overeenkomt, de grootte van het signaal sterk daalt in complexe visuele omgevingen. Het model leert de juiste richtingsstructuur, maar het signaal wordt te zwak om betrouwbaar te worden uitgelezen door de taalkop.

3. DeltaDirect:
   Om het tekort aan signaalgrootte aan te pakken, stellen de auteurs DeltaDirect voor, een uitsluitend trainingsgerichte hulpdoelstelling die op projector-niveau wordt toegepast.

   • Mechanisme: DeltaDirect voorspelt genormaliseerde 2-D bewegingsvectoren uit delta's van kenmerken van opeenvolgende frames ($\delta_t = F_{t+1} - F_t$) voordat de kenmerken de LLM binnenkomen.
   • Supervisie: Het maakt gebruik van analytisch beschikbare bewegingsvectoren uit synthetische data als supervisiedoelen. De loss-functie moedigt de projector-uitvoer aan om een sterker voorkeurverplaatsingssignaal te dragen.
   • Inferentie: De hulpvertakking wordt na training verwijderd, waardoor de modelarchitectuur, invoerformaat en decoderingsprocedure onveranderd blijven.

Belangrijkste Bijdragen

1. Identificatie van Richtingsbewegingsblindheid: Het artikel stelt vast dat Video-LLMs falen in het onderscheiden van basis voorkeur bewegingsrichtingen ondanks sterk uiterlijkherkenning, en diagnoseert dit als een richtingskoppelingskloof in plaats van een waarnemingsfalen.
2. Diagnose van Generalisatiefalen: Via conceptvectoranalyse tonen de auteurs aan dat instructie-tuning richtingsoriëntaties over domeinen heen aligneert, maar faalt in het handhaven van signaalgrootte in complexe visuele omstandigheden, wat leidt tot OOD-generalisatiekloven.
3. MODIRECT en DeltaDirect: De introductie van een gecontroleerde dataset-familie voor bewegingsrichting en een diagnose-gedreven, projector-niveau doelstelling (DeltaDirect) die bewegingssignalen versterkt zonder inferentie te veranderen.

Resultaten

• Synthetische Prestaties: Op MODIRECT-SYNBENCH verbetert instructie-tuning alleen de nauwkeurigheid van ~26% naar ~79%. Het toevoegen van DeltaDirect verhoogt het gemiddelde verder naar 85,4%, met een significante winst van 11,2 punten op het moeilijkste domein (Cutout-on-Real).
• Overdracht naar Echte Wereld: Zonder echte wereld-video's tijdens de training te hebben gezien, verbetert DeltaDirect de nauwkeurigheid van bewegingsrichting in de echte wereld op MODIRECT-REALBENCH met 21,9 punten ten opzichte van de standaard baseline (van 43,1% naar 65,0%).
• Algemene Video-interpretatie: Cruciaal behoudt DeltaDirect of verbetert het de prestaties op standaard benchmarks voor algemene video-interpretatie (bijvoorbeeld MVBench, NExT-QA), wat aantoont dat bewegingssupervisie geen afbreuk doet aan bredere video-vaardigheden.
• Schaalbaarheid: De aanpak is effectief over verschillende backbones (LLaVA-Video, LLaVA-OneVision, Qwen3-VL) en trainingsregimes (LoRA en Full Fine-Tuning).

Betekenis en Beweringen
Het artikel beweert dat het falen van Video-LLMs in bewegingsrichting niet te wijten is aan een gebrek aan visuele data of modelcapaciteit, maar aan een specifiek falen in het koppelen van interne perceptuele signalen aan verbale outputs. Door dit falen te lokaliseren tot een "tekort aan grootte" in complexe domeinen, betogen de auteurs dat diagnose-gedreven supervisie een haalbare weg is om de kloof tussen waarneming en taal te dichten. DeltaDirect toont aan dat het expliciet superviseren van bewegingsvectoren op het visueel-taal interface bewegingsbegrip aanzienlijk kan verbeteren terwijl algemene video-vaardigheden behouden blijven, wat suggereert dat toekomstige Video-LLMs baat kunnen hebben bij vergelijkbare gerichte interventies buiten het simpele schalen van modellen of datasets. Het werk benadrukt het belang van gecontroleerde synthetische benchmarks voor het diagnosticeren van specifieke perceptuele primitieven die vaak verweven zijn in evaluaties uit de echte wereld.