Incentivizing Temporal-Awareness in Egocentric Video Understanding Models

Probleemstelling

Multimodale grote taalmodellen (MLLMs) hebben recentelijk sterke prestaties geleverd in visueel begrijpen, maar missen vaak temporeel bewustzijn, vooral in egocentrische settings (video's opgenomen vanuit het perspectief van de camera-drager). In deze context is redeneren afhankelijk van de juiste volgorde en evolutie van gebeurtenissen.

De auteurs identificeren drie fundamentele beperkingen van huidige MLLMs in dit domein:

1. Gebrek aan expliciete beloning: Bestaande trainingsparadigma's (zoals Supervised Fine-Tuning en GRPO) optimaliseren voornamelijk voor antwoordcorrectheid, maar belonen niet expliciet temporele consistentie of causaal inzicht tussen frames. Modellen kunnen dus het juiste antwoord geven zonder de temporele structuur echt te begrijpen.
2. Ruimtelijke shortcuts: Veel trainingsdatasets bevragen vragen die beantwoord kunnen worden met een enkel frame. Dit leidt tot "degeneratief" gedrag waarbij modellen video's behandelen als ongeordende verzamelingen van afbeeldingen in plaats van dynamische sequenties.
3. Gebrek aan kwalitatieve data: Bestaande benchmarks bieden zelden hoogwaardige temporele redeneerketens (rationales). De meeste datasets bevatten alleen video-antwoordparen, terwijl gedetailleerde, temporeel verankerde uitleg kostbaar is om handmatig te annoteren.

Methodologie: Temporal Global Policy Optimization (TGPO)

Om deze uitdagingen aan te pakken, stellen de auteurs TGPO voor, een Reinforcement Learning met Verifieerbare Beloningen (RLVR) algoritme. Het doel is om temporeel bewustzijn expliciet te belonen en ruimtelijke shortcuts te onderdrukken.

Kerncomponenten van TGPO:

1. Temporeel Gecalibreerde Beloning (Temporal Calibration):

   • Tijdens het trainingsproces genereert het model antwoorden op basis van de originele, chronologisch geordende video.
   • Parallel hieraan wordt voor dezelfde video-vraagparen de volgorde van de frames willekeurig geschud (shuffled). Het model genereert een antwoord op deze geschudde video met greedy decoding.
   • De beloning voor de originele video ($r(y)$) wordt gecorrigeerd door de beloning van de geschudde video ($r(\hat{y})$) af te trekken:
     $$r_T(y) = r(y) - r(\hat{y})$$
   • Als $r_T(y) > 0$, betekent dit dat het model beter presteert met de temporele context dan zonder, wat een positief trainingssein geeft. Als $r_T(y) \leq 0$, wordt het model gestraft omdat het geen gebruik maakt van temporele informatie (het maakt dus gebruik van ruimtelijke shortcuts).

2. Globale Normalisatie (Global Normalization):

   • In tegenstelling tot standaard GRPO, dat beloningen normaliseert binnen een groep van samples voor één prompt, voert TGPO normalisatie uit over alle samples in een mini-batch.
   • Dit voorkomt dat groepen met lage variantie (vaak temporeel ongevoelige gevallen) kunstmatig worden versterkt. Het zorgt voor stabielere en effectievere policy-updates door de beloningssignalen te vergelijken over de hele batch.

3. Cold-Start Training:

   • Het model wordt getraind volgens het DeepSeek-R1-Zero paradigma: er is geen Supervised Fine-Tuning (SFT) fase nodig. Het model wordt direct geoptimaliseerd met RL, wat de noodzaak van dure, hand-geannoteerde redeneerketens elimineert.

4. Integratie:

   • TGPO wordt geïntegreerd in twee bestaande frameworks: GRPO (Group Relative Policy Optimization) en GSPO (Group Sequence Policy Optimization).

Belangrijkste Bijdragen

1. TGPO Framework: Introductie van een RLVR-framework dat temporeel bewustzijn expliciet belooft via contrastieve beloningen (origineel vs. geschud).
2. Onderdrukking van Shortcuts: Effectieve mitigatie van de neiging van modellen om te vertrouwen op statische, ruimtelijke cues in plaats van temporele dynamiek.
3. Efficiëntie: Demonstratie dat cold-start RL alleen voldoende is voor sterke temporele redeneerprestaties, waardoor de trainingspijplijn vereenvoudigd wordt en afhankelijkheid van menselijke annotatie voor redenering wordt verwijderd.

Resultaten

De auteurs evalueerden hun methode op vijf egocentrische video-benchmarks (EgoSchema, EgoTempo, VLM4D, EgoPlan, EgoPlan 2) met het Qwen2.5-VL model.

• Prestaties: TGPO presteerde consistent beter dan bestaande RL-methoden (GRPO, GSPO) en andere state-of-the-art modellen.
  • Op EgoSchema bereikte TGPO (GRPO) een score van 49.6, vergeleken met 46.5 voor standaard GRPO.
  • Op EgoPlan 2 (een uitdagende planningstest) steeg de score van 37.1 (GRPO) naar 42.3 (TGPO).
  • Op EgoTempo (gericht op temporeel inzicht) behaalde TGPO 45.2, wat een aanzienlijke verbetering is ten opzichte van de concurrenten en zelfs beter scoort dan sommige gespecialiseerde modellen.
• Vergelijking met Propriëtaire Modellen: TGPO presteerde op sommige benchmarks (zoals EgoPlan 2) zelfs beter dan grote, gesloten modellen zoals GPT-4o, ondanks dat TGPO op een kleiner, open-source model (3B parameters) draaide.
• Trainingsdynamiek: TGPO vertoonde snellere beloningsgroei in de vroege trainingsfasen en stabielere convergentie dan de baselines, wat aangeeft dat het algoritme efficiënter leert.
• Kwalitatieve Analyse: Case studies tonen aan dat TGPO correcte temporele sequenties kan traceren (bijv. het maken van bakstenen), terwijl GRPO vaak vastloopt in een verkeerde, statische interpretatie van een enkel frame.

Betekenis

Dit werk is significant omdat het aantoont dat temporeel redeneren in multimodale modellen niet noodzakelijk een emergent eigenschap is van post-training, maar een leerbare en beloonbare vaardigheid is. Door temporele coherentie expliciet te belonen via contrastieve RL, kunnen open-source modellen de prestatiekloof met gesloten, proprietary systemen verkleinen zonder de modelgrootte te vergroten. Dit biedt een schaalbare route naar robuuste MLLMs voor complexe, dynamische taken zoals egocentrisch video-analyse, waarbij causale afhankelijkheden cruciaal zijn.