Technische Samenvatting: Het Leren van Spatiotemporale Sensitiviteit in Video LLM's via Contrfactuele Versterkingsleer

1. Probleemstelling

Video Large Language Models (Video LLM's) hebben sterke prestaties behaald op standaard benchmarks, maar recente studies geven aan dat hoge nauwkeurigheid vaak voortkomt uit "shortcuts" in plaats van een oprechte spatiotemporale begrijping. Modellen vertrouwen vaak op statische aanwijzingen (bijvoorbeeld kenmerken van een enkel frame) of taalkundige priors om vragen te beantwoorden, en falen in het bijhouden van hoe gebeurtenissen zich in de tijd ontwikkelen. Dit probleem wordt verergerd tijdens het post-training met Versterkingsleer (RL). Standaard RL-methoden, zoals GRPO, maken doorgaans gebruik van beloningen die uitsluitend gebaseerd zijn op juistheid. Als een model een vraag correct kan beantwoorden met een statische shortcut, ontvangt het een hoge beloning zonder ooit dynamische video-inhoud te hoeven verwerken. Bijgevolg kan RL met uitsluitend juistheidsbeloningen deze shortcut-beleid versterken, wat de scores op benchmarks verbetert maar mogelijk de gevoeligheid van het model voor dynamisch bewijs verzwakt.

Bestaande pogingen om dit aan te pakken, zoals het gebruik van verstoord videomateriaal (bijvoorbeeld geschudde frames of tijdelijke reversies) om beloningen te vormen, behandelen het verstoord videomateriaal vaak slechts als een diagnostisch signaal voor de oorspronkelijke tak. Ze trainen het beleid niet actief op het contrfactuele input zelf, wat hun vermogen beperkt om consistente spatiotemporale redenering af te dwingen.

2. Methodologie: Contrfactuele Relationele Beleidsoptimalisatie (CRPO)

De auteurs stellen Contrfactuele Relationele Beleidsoptimalisatie (CRPO) voor, een RL-framework met twee takken dat is ontworpen om spatiotemporale sensitiviteit te verbeteren. De kerninzicht is dat een model voorspelbaar moet reageren op gecontroleerde contrfactuele visuele werelden: als het visuele bewijs verandert terwijl de vraag hetzelfde blijft, moet het antwoord veranderen voor dynamische vragen (equivariantie) en hetzelfde blijven voor statische vragen (invariantie).

2.1 Architectuur met Twee Takken

CRPO breidt het standaard GRPO-framework uit door voor elke trainingsprompt twee parallelle takken aan te houden:

1. Oorspronkelijke Tak: Verwerkt de originele video $X$ en de vraag $Q$.
2. Contrfactuele Tak: Verwerkt een getransformeerde video $X_T$ en dezelfde vraag $Q$.

Een Task Router (geïmplementeerd als een tekst-only redenerend model) classificeert de vraag in een van vier types—Ruimtelijk, Tijdelijk, Spatiotemporale of Statisch—op basis van hypothetische transformatietests (bijvoorbeeld: "Als we de wereld horizontaal spiegelen, zou het antwoord dan veranderen?"). Op basis van deze classificatie wordt een specifieke transformatie $T$ toegepast:

• Ruimtelijk/Tijdelijk/Spatiotemporale: Horizontale spiegeling of tijdelijke reversie.
• Statisch: Er wordt nog steeds een transformatie toegepast, maar het beloningssignaal moedigt antwoord-invariantie aan.

2.2 Contrfactuele Relationele Beloning (CRR)

De belangrijkste innovatie is de Contrfactuele Relationele Beloning (CRR), die de twee takken met elkaar verbindt. In tegenstelling tot eerdere methoden die verstoringen uitsluitend gebruiken voor het vormgeven van beloningen op de oorspronkelijke tak, werkt CRPO het beleid bij met gradiënten van beide takken.

De beloningsfunctie combineert:

• Juistheidsbeloning ($R_{correct}$): Standaard nauwkeurigheidsbeloning voor de oorspronkelijke tak.
• Gedragsbeloning ($R_{behave}$): Toegepast op de contrfactuele tak. Het beloont het model als het antwoord verandert voor dynamische taken ($o^T \neq o^*$) en correct blijft voor statische taken ($o^T = o^*$).
• Cross-Tak Relationele Term ($R_{CRR}$):
  • Voor de oorspronkelijke tak beloont $R_{CRR}$ het beleid als de antwoorden van de contrfactuele tak het verwachte gedrag vertonen (veranderen voor dynamisch, hetzelfde blijven voor statisch), gekoppeld aan het feit dat het oorspronkelijke antwoord correct is.
  • Voor de contrfactuele tak beloont $R_{CRR}$ het beleid als de oorspronkelijke tak correct is, gekoppeld aan het feit dat het contrfactuele antwoord het verwachte gedrag vertoont.

Dit creëert een symmetrische wederzijdse beloningsstructuur. De hoogste beloning wordt alleen bereikt wanneer het model de originele video correct beantwoordt en het juiste relationele gedrag vertoont op de contrfactuele video. Hierdoor is het moeilijk voor shortcut-beleid (dat hetzelfde antwoord zou geven ongeacht de video-transformatie) om consequent beloningen te maximaliseren over beide takken.

2.3 Optimalisatie en Null-optie

CRPO gebruikt een hybride normalisatiestrategie voor voordelen, waarbij de standaardafwijking gezamenlijk wordt berekend over beide takken (2G waarden) om stabiele training te garanderen. Om gevallen te hanteren waarin het juiste antwoord voor een contrfactuele video niet aanwezig is in de originele meerkeuze-opties (bijvoorbeeld impliceert een omgekeerde video een andere richting), wordt een "Geen van bovenstaande" (Null-optie) toegevoegd. Het selecteren van deze optie voor een dynamische taak telt als een geldige antwoordverandering, waardoor de equivariantie-beloning wordt geactiveerd zonder expliciete contrfactuele ground-truth-labels te vereisen.

3. Belangrijkste Bijdragen

1. CRPO-framework: Een eenvoudige RL-extensie met twee takken die Contrfactuele Relationele Beloningen gebruikt om spatiotemporale sensitiviteit af te dwingen. Het traint op zowel de oorspronkelijke als de contrfactuele tak, ontmoedigt afhankelijkheid van shortcuts zonder kostbare spatiotemporale annotaties of contrfactuele labels nodig te hebben.
2. DyBench: Een nieuwe gekoppelde contrfactuele benchmark bestaande uit 3.014 video's (1.507 paren) die drie sub-taken bestrijken: Omkeerbare Dynamiek (bijvoorbeeld bloeien versus sluiten), Bewegingsrichting en Gebeurtenisvolgorde.
3. Strenge Evaluatiemetric: De introductie van Paar Nauwkeurigheid (P-Acc), waarbij een paar alleen als correct wordt geteld als zowel de originele als de contrfactuele video correct zijn beantwoord. Deze metric voorkomt dat modellen scores opblazen door het gebruik van vaste-antwoord shortcuts.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op Qwen3-VL-4B en Qwen3-VL-8B backbones, waarbij CRPO wordt vergeleken met standaard GRPO, T-GRPO en ArrowRL.

• Spatiotemporale Sensitiviteit: CRPO presteert significant beter dan alle baselines op benchmarks die gevoelig zijn voor spatiotemporaliteit. Op Qwen3-VL-8B verbetert CRPO DyBench P-Acc met +7,7 en TimeBlind I-Acc met +8,2 ten opzichte van het basismodel. De winsten op gekoppelde metrics (P-Acc) zijn disproportioneel groter dan op standaard nauwkeurigheid, wat wijst op een reële vermindering van afhankelijkheid van shortcuts.
• Algemene Prestaties: CRPO behoudt concurrerende prestaties op benchmarks voor algemeen videobegrip (VideoMME, MVBench), wat aantoont dat het afdwingen van spatiotemporale sensitiviteit de algemene capaciteiten niet verslechtert.
• Ablatiestudies:
  • Het verwijderen van de cross-tak CRR-beloning of de contrfactuele tak zelf veroorzaakt significante dalingen in P-Acc, wat bevestigt dat het relationele signaal en de optimalisatie met twee takken essentieel zijn.
  • De winsten van CRPO kunnen niet simpelweg worden toegeschreven aan meer data of rekenkracht (verdubbelde rollouts), aangezien controles met verdubbelde data/rollouts de prestaties van CRPO op gekoppelde metrics niet konden evenaren.
• Trainingsdynamiek: CRPO toont een langzamere initiële convergentie op juistheidsbeloningen in vergelijking met baselines, wat suggereert dat het vroeg shortcut-leren onderdrukt. Het convergeert echter naar een vergelijkbare uiteindelijke nauwkeurigheid terwijl het een kleiner aandeel nul-voordeel-groepen behoudt, wat wijst op rijker leersignalen.

5. Betekenis en Claims

Het artikel beweert dat CRPO een direct trainingsignaal biedt voor spatiotemporale sensitiviteit dat moeilijk te vervullen is voor statische shortcuts. Door expliciet de relatie tussen antwoorden op feitelijke en contrfactuele video's te belonen, dwingt CRPO het model om zijn redenering te gronden in de dynamische inhoud van de video in plaats van statische priors.

De auteurs positioneren DyBench en de Paarnauwkeurigheid-metric als een noodzakelijk diagnostisch hulpmiddel om oprechte spatiotemporale begrijping te onderscheiden van succes gebaseerd op shortcuts. Ze concluderen dat CRPO, hoewel het de prestaties op dynamische taken verbetert, dit doet zonder afbreuk te doen aan algemeen videobegrip, en een stap voorwaarts biedt naar Video LLM's die gevoeliger zijn voor hoe visuele staten in de tijd veranderen. Het werk erkent beperkingen, zoals de beperking tot eenvoudige geometrische/tijdelijke transformaties en de focus op korte video's, waardoor complexere semantische contrfactuelen voor toekomstig onderzoek worden gelaten.