STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

1. Problemstellung

Das Paper adressiert ein zentrales Problem beim Einsatz von Reinforcement Learning (RL) für Video-Frage-Antwort-Aufgaben (Video QA) mit großen multimodalen Modellen (LMMs).

• Der „Advantage Collapse" (Zusammenbruch des Vorteils): Herkömmliche gruppenbasierte Optimierungsverfahren wie GRPO (Group Relative Policy Optimization) generieren mehrere Textantworten für ein einziges, festes Video. Wenn die generierten Antworten in einer Gruppe alle ähnlich korrekt oder alle ähnlich falsch sind, sinkt die Varianz der Belohnungen (Rewards) gegen Null.
• Folge: Da der Vorteil (Advantage) in GRPO durch die Normalisierung der Belohnungsdifferenz durch die Standardabweichung berechnet wird ($A_i = \frac{r_i - \mu}{\sigma}$), führt eine Standardabweichung nahe Null zu instabilen Gradienten (Explosion oder Zusammenbruch auf Null). Dies verhindert effektive Policy-Updates.
• Mangelnde visuelle Diversität: Bestehende Methoden diversifizieren nur die Textausgaben, ignorieren aber die inhärente räumlich-zeitliche Struktur von Videos, die alternative, valide Perspektiven für das Schlussfolgern bieten könnte.

2. Methodik: Das STRIVE-Framework

STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration) löst dieses Problem durch eine fundamentale Verschiebung der Diversität vom Ausgabe- in den Eingaberaum.

A. Dual-Grouping Paradigma (Doppelte Gruppierung)

Anstatt nur Textantworten für ein festes Video zu gruppieren, konstruiert STRIVE eine $G \times M$-Matrix von Antworten:

• $M$ visuelle Varianten: Aus dem Eingabe-Video werden $M$ verschiedene räumlich-zeitliche Varianten (z. B. durch andere Abtastraten, zufällige Cropping oder semantisch relevante Auswahl) generiert.
• $G$ Textantworten: Für jede der $M$ Varianten werden $G$ Textantworten generiert.
• Gemeinsame Normalisierung: Der Vorteil wird nicht nur innerhalb einer Textgruppe, sondern über den gesamten Pool von $G \times M$ Antworten hinweg berechnet. Dies stellt sicher, dass die Varianz der Belohnungen ($\sigma$) stets positiv bleibt, da die visuellen Varianten unterschiedliche Schwierigkeitsgrade und Kontexte bieten.

B. Implizite Konsistenz-Regularisierung

Durch die gemeinsame Optimierung über verschiedene visuelle Perspektiven fungiert das Framework als Regularisierer. Das Modell wird gezwungen, Antworten zu generieren, die über verschiedene zeitliche und räumliche Transformationen hinweg konsistent sind. Dies verhindert, dass das Modell sich auf zufällige sprachliche Priors verlässt, und zwingt es, seine Antworten auf robuste visuelle Evidenz zu stützen.

C. Importance-Aware Sampling (Bewusste Stichprobennahme)

Um sicherzustellen, dass die visuellen Varianten semantisch relevant sind und nicht nur zufälliges Rauschen darstellen, führt STRIVE einen temperatur-gesteuerten, gewichteten Sampling-Mechanismus ein:

• Relevanz-Score: Für jeden Frame wird ein Relevanz-Score basierend auf der Ähnlichkeit zwischen dem Frame-Embedding und der Eingabe-Frage (Cross-Modal Embedding) berechnet.
• Segmentiertes Sampling: Das Video wird in zeitliche Segmente unterteilt. Innerhalb jedes Segments wird ein Frame stochastisch basierend auf seinem Relevanz-Score ausgewählt (Softmax mit Temperatur $\tau$).
• Ziel: Dies priorisiert Frames, die für die Beantwortung der Frage kritisch sind, behält aber durch die Temperatur und Segmentierung eine ausreichende Exploration und globale zeitliche Abdeckung bei, um Overfitting auf einzelne Momente zu vermeiden.

3. Schlüsselbeiträge

1. Strukturelle Lösung für Advantage Collapse: STRIVE löst das Problem der instabilen RL-Optimierung bei Video QA, indem es visuelle Varianten direkt in die Gruppenbildung integriert, anstatt nur Textvariationen zu nutzen.
2. Neue Optimierungslandschaft: Die Einführung der $G \times M$-Matrix erweitert den Suchraum und dient als impliziter Konsistenz-Regularisierer, der die Abhängigkeit von visuellen Beweisen stärkt.
3. Semantisch geführte Exploration: Der Mechanismus zur gewichteten Frame-Auswahl stellt sicher, dass die visuelle Diversität nicht blind (zufällig), sondern durch die Fragestellung geleitet ist, was die Effizienz des Lernens erhöht.
4. Plug-and-Play Kompatibilität: Das Framework ist als Erweiterung für gruppenbasierte RL-Algorithmen (wie GRPO und Dr.GRPO) konzipiert und erfordert keine Änderung der zugrunde liegenden Policy-Objektivfunktion.

4. Ergebnisse

Die Autoren evaluierten STRIVE auf sechs herausfordernden Benchmarks (VideoMME, TempCompass, VideoMMMU, MMVU, VSI-Bench, PerceptionTest) unter Verwendung der Modelle Qwen2.5-VL-7B und Qwen3-VL-8B.

• Leistungssteigerung: STRIVE übertraf konsistent starke RL-Baselines (einschließlich Standard-GRPO und Video-R1) auf allen Benchmarks.
  • Auf Qwen2.5-VL-7B erreichte STRIVE einen Durchschnitt von 59,8 (vs. 59,0 bei GRPO).
  • Auf Qwen3-VL-8B erreichte STRIVE 65,2 (vs. 64,3 bei GRPO), wobei STRIVE Performance-Einbrüche bei spezifischen Benchmarks (wie VideoMME), die bei Standard-GRPO auftraten, vollständig vermied.
• Stabilität: Die Analyse der Trainingsdynamik zeigte, dass STRIVE die Varianz der Belohnungen hoch hält und die Häufigkeit von „Zero-Advantage"-Schritten (wo der Gradient verhungert) effektiv unterdrückt. Im Gegensatz dazu zeigte Standard-GRPO instabile Gradienten-Normen und chaotische Sprünge.
• Ablationsstudien:
  • Die Kombination aus semantisch geführtem Sampling (basierend auf Cross-Modal-Similität) und räumlichen Augmentierungen erwies sich als am effektivsten.
  • Ein ausgewogenes Verhältnis von visuellen Varianten ($M=2$) zu Textgenerierungen ($G=4$) bei festem Gesamtbudget ($M \times G = 8$) erwies sich als optimal.

5. Bedeutung und Fazit

STRIVE demonstriert, dass die explizite Nutzung der räumlich-zeitlichen Struktur von Videos für die Policy-Optimierung entscheidend ist. Anstatt Video QA nur als Textproblem mit festem Bildkontext zu behandeln, nutzt STRIVE die inhärente Vielfalt des visuellen Inputs, um stabile und informative Lernsignale zu erzeugen.

Dies ist ein wichtiger Schritt hin zu robusteren multimodalen Modellen, die nicht nur sprachliche Muster auswendig lernen, sondern tatsächlich visuelle Beweise für ihre Schlussfolgerungen heranziehen. Die Methode bietet einen principled (prinzipiengeleiteten) Weg, um Reinforcement Learning in komplexen, multimodalen Umgebungen zu stabilisieren und die Leistung bei anspruchsvollen Reasoning-Aufgaben signifikant zu verbessern.