STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

Probleemstelling

Recente vooruitgang in grote multimodale modellen (LMM's) voor Video Question Answering (VQA) wordt vaak gedreven door toezicht op grote datasets of post-training versterking (Reinforcement Learning - RL). Een veelgebruikte RL-methode is Group Relative Policy Optimization (GRPO), waarbij meerdere tekstuele antwoorden worden gegenereerd voor één vast video-input om relatieve voordelen (advantages) te berekenen.

Het paper identificeert een kritieke beperking in deze bestaande aanpak: de "Zero-Advantage Bottleneck".

• Wanneer de gegenereerde antwoorden binnen een groep uniform correct of uniform incorrect zijn, daalt de variantie in de beloningen (rewards) naar nul.
• Omdat de berekening van het voordeel (advantage) de standaardafwijking van de beloningen als noemer gebruikt, leidt een variantie van nul tot instabiele updates (explosieve waarden of volledig verdwijnende gradiënten).
• Bestaande oplossingen proberen dit op te lossen door de tekstuele output te diversifiëren, maar negeren de rijke spatiotemporale structuur van video's zelf. Ze behandelen de video-input als statisch, waardoor het model geen kans krijgt om te leren uit verschillende visuele perspectieven.

Methodologie: Het STRIVE Framework

De auteurs introduceren STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration), een framework dat de diversiteit verplaatst van alleen de tekstuele output naar de ruimtelijk-temporale input.

1. Dual-Grouping Paradigma:
In plaats van één video te gebruiken voor meerdere tekstuele antwoorden, construeert STRIVE een $G \times M$ matrix van antwoorden:

• $M$ Visuele Varianties: Voor elke inputvideo worden $M$ verschillende spatiotemporale varianten gegenereerd door het selecteren van verschillende frames of het toepassen van transformaties.
• $G$ Tekstuele Generaties: Voor elke visuele variant genereert het beleid $G$ tekstuele antwoorden.
• Gecombineerde Normalisatie: De beloningen worden genormaliseerd over de volledige $G \times M$ pool. Dit zorgt ervoor dat de variantie in beloningen altijd positief blijft, zelfs als de tekstuele antwoorden voor een specifieke video-variant vergelijkbaar zijn, omdat de visuele varianten zelf verschillen.

2. Implicit Consistency Regularization:
Door het beleid te dwingen om antwoorden te genereren die consistent zijn over verschillende visuele perspectieven van dezelfde video, fungeert STRIVE als een regularisator. Het model wordt gestraft voor antwoorden die afhankelijk zijn van toevallige artefacten in één specifieke frame-selectie en wordt beloond voor redeneringen die stevig verankerd zijn in de onderliggende visuele structuur.

3. Importance-Aware Sampling (Gestuurde Exploratie):
Om te voorkomen dat willekeurige frame-selectie cruciale informatie verwijdert, introduceert STRIVE een temperatuur-geschaalde, belang-bewuste bemonsteringsstrategie:

• Relevantie Score: Er wordt per frame een relevantiescore ($s_f$) berekend op basis van de cross-modale overeenkomst tussen het frame en de vraag (gebruikmakend van embedding-similariteit of gradient-based attribution).
• Gestuurde Selectie: Het video wordt opgedeeld in segmenten. In plaats van puur de beste frame te kiezen (exploitatie) of volledig willekeurig (exploratie), wordt er stochastisch geselecteerd binnen elk segment met een temperatuurparameter ($\tau$). Dit waarborgt dat frames die semantisch relevant zijn voor de vraag prioriteit krijgen, terwijl er toch voldoende diversiteit blijft voor robuuste RL-training.

Belangrijkste Bijdragen

1. Oplossing voor Advantage Collapse: STRIVE lost het probleem van instabiele RL-training bij video's op door de variantie in beloningen structureel te verhogen via visuele varianten, in plaats van alleen te vertrouwen op tekstuele diversiteit.
2. Structuur in Exploratie: Het introduceert een mechanisme dat visuele exploratie semantisch richt op de vraag, waardoor het model leert om kritieke tijdsvensters te identificeren zonder de globale narratieve coherentie te verliezen.
3. Plug-and-Play Framework: Het is een onafhankelijk framework dat kan worden toegepast op bestaande GRPO-varianten (zoals GRPO en Dr.GRPO) zonder de onderliggende doelstelling (loss function) te hoeven veranderen.

Resultaten

De auteurs hebben STRIVE getest op zes uitdagende benchmarks voor video-redenering: VideoMME, TempCompass, VideoMMMU, MMVU, VSI-Bench en PerceptionTest.

• Prestatieverbetering: STRIVE overtreft consequent sterke RL-baselines (zoals standaard GRPO en Video-R1) op zowel Qwen2.5-VL-7B als Qwen3-VL-8B architecturen.
  • Bijvoorbeeld: Op de Qwen2.5-VL-7B basis steeg het gemiddelde van 59.0 (GRPO) naar 59.8 (STRIVE).
  • Bij de krachtigere Qwen3-VL-8B behaalde STRIVE een gemiddelde van 65.2, terwijl standaard GRPO zelfs achteruitging ten opzichte van de basis (van 64.2 naar 64.3) op specifieke benchmarks.
• Stabiliteit: Empirische analyse toont aan dat STRIVE de frequentie van "zero-advantage" updates (waarbij de gradiënt verdwijnt) drastisch verlaagt en een veel stabielere gradiëntnorm behoudt tijdens het trainingsproces.
• Ablatie Studies:
  • Visuele vs. Tekstuele Diversiteit: Een gebalanceerde verdeling (bijv. $M=2$ visuele varianten en $G=4$ tekstuele generaties) werkt beter dan puur tekstuele diversiteit ($M=1, G=8$).
  • Scoring Mechanismen: Het gebruik van de policy-model zelf voor het scoren van frames gaf de beste resultaten, maar lichtere modellen (zoals LLaVA-OV-0.5B) deden het ook goed en vermijden truncatie van lange vragen.
  • Kwalitatieve Analyse: STRIVE slaagt erin om relevante tijdsvensters te isoleren (bijv. het herkennen van autorijden versus lopen) waar basismodellen worden afgeleid door irrelevante frames.

Significantie

Dit paper markeert een paradigmaverschuiving in het trainen van multimodale modellen voor video-taken. Het toont aan dat structurele spatiotemporale exploratie een fundamentele vereiste is voor stabiele versterkingslearning in video-contexten. Door de visuele input dynamisch te variëren op basis van de vraag, dwingt STRIVE het model om dieper te redeneren over de visuele bewijslast in plaats van te vertrouwen op taalkundige priors of statische video-frames. Dit biedt een principieel mechanisme om de stabiliteit en prestaties van RL in complexe multimodale domeinen te verbeteren.