Technischer Überblick: Erlernen räumlich-zeitlicher Sensitivität in Video-LLMs durch kontrafaktisches Reinforcement Learning

1. Problemstellung

Video-Large-Language-Modelle (Video LLMs) haben auf Standard-Benchmarks starke Leistungen erzielt, doch neuere Studien deuten darauf hin, dass hohe Genauigkeit häufig auf „Abkürzungen" statt auf echtes räumlich-zeitliches Verständnis zurückzuführen ist. Modelle verlassen sich häufig auf statische Hinweise (z. B. Merkmale einzelner Frames) oder sprachliche Priors, um Fragen zu beantworten, und versagen dabei, zu verfolgen, wie sich Ereignisse im Zeitverlauf entfalten. Dieses Problem wird durch das Fine-Tuning mittels Reinforcement Learning (RL) verschärft. Standard-RL-Methoden wie GRPO verwenden typischerweise ausschließlich Belohnungen basierend auf Korrektheit. Wenn ein Modell eine Frage mithilfe einer statischen Abkürzung korrekt beantworten kann, erhält es eine hohe Belohnung, ohne jemals gelernt zu haben, dynamische Videoinhalte zu verarbeiten. Folglich kann ein RL-Ansatz, der nur auf Korrektheit abzielt, diese Abkürzungspolitiken verstärken, was die Benchmark-Ergebnisse verbessert, aber möglicherweise die Sensitivität des Modells gegenüber dynamischen Beweisen schwächt.

Bestehende Versuche, dieses Problem zu adressieren, wie etwa die Verwendung von perturbierten Videos (z. B. durchgemischte Frames oder zeitliche Umkehrungen) zur Formung der Belohnung, behandeln das perturberte Video oft nur als diagnostisches Signal für den ursprünglichen Zweig. Sie trainieren die Politik nicht aktiv auf dem kontrafaktischen Input selbst, was ihre Fähigkeit einschränkt, konsistentes räumlich-zeitliches Schlussfolgern durchzusetzen.

2. Methodik: Kontrafaktische Relationale Policy-Optimierung (CRPO)

Die Autoren schlagen Counterfactual Relational Policy Optimization (CRPO) vor, ein RL-Framework mit zwei Zweigen, das darauf ausgelegt ist, die räumlich-zeitliche Sensitivität zu verbessern. Die Kernidee besteht darin, dass ein Modell auf kontrollierte kontrafaktische visuelle Welten vorhersehbar reagieren sollte: Wenn sich der visuelle Beweis ändert, die Frage jedoch gleich bleibt, sollte sich die Antwort bei dynamischen Fragen ändern (Äquivarianz) und bei statischen Fragen gleich bleiben (Invarianz).

2.1 Architektur mit zwei Zweigen

CRPO erweitert das Standard-GRPO-Framework, indem es für jeden Trainingsprompt zwei parallele Zweige beibehält:

1. Ursprünglicher Zweig: Verarbeitet das Originalvideo $X$ und die Frage $Q$.
2. Kontrafaktischer Zweig: Verarbeitet ein transformiertes Video $X_T$ und dieselbe Frage $Q$.

Ein Task Router (implementiert als reines Text-Reasoning-Modell) klassifiziert die Frage basierend auf hypothetischen Transformations-Tests (z. B. „Wenn wir die Welt horizontal spiegeln, würde sich die Antwort ändern?") in einen von vier Typen: Räumlich, Zeitlich, Räumlich-Zeitlich oder Statik. Basierend auf dieser Klassifizierung wird eine spezifische Transformation $T$ angewendet:

• Räumlich/Zeitlich/Räumlich-Zeitlich: Horizontales Spiegeln oder zeitliche Umkehrung.
• Statik: Eine Transformation wird dennoch angewendet, aber das Belohnungssignal fördert die Invarianz der Antwort.

2.2 Kontrafaktische Relationale Belohnung (CRR)

Die zentrale Innovation ist die Counterfactual Relation Reward (CRR), die die beiden Zweige verknüpft. Im Gegensatz zu früheren Methoden, die Perturbationen nur zur Formung der Belohnung im ursprünglichen Zweig verwenden, aktualisiert CRPO die Politik unter Verwendung von Gradienten aus beiden Zweigen.

Die Belohnungsfunktion kombiniert:

• Korrektheits-Belohnung ($R_{correct}$): Standard-Genauigkeitsbelohnung für den ursprünglichen Zweig.
• Verhaltens-Belohnung ($R_{behave}$): Wird auf den kontrafaktischen Zweig angewendet. Sie belohnt das Modell, wenn sich die Antwort bei dynamischen Aufgaben ändert ($o^T \neq o^*$) und bei statischen Aufgaben korrekt bleibt ($o^T = o^*$).
• Zweigübergreifender Relationaler Term ($R_{CRR}$):
  • Für den ursprünglichen Zweig belohnt $R_{CRR}$ die Politik, wenn die Antworten des kontrafaktischen Zweigs das erwartete Verhalten zeigen (Änderung bei dynamischen, Beibehaltung bei statischen Aufgaben), vorausgesetzt, die ursprüngliche Antwort ist korrekt.
  • Für den kontrafaktischen Zweig belohnt $R_{CRR}$ die Politik, wenn der ursprüngliche Zweig korrekt ist, vorausgesetzt, die kontrafaktische Antwort zeigt das erwartete Verhalten.

Dies erzeugt eine symmetrische gegenseitige Belohnungsstruktur. Die höchste Belohnung wird nur erreicht, wenn das Modell das Originalvideo korrekt beantwortet und das korrekte relationale Verhalten auf dem kontrafaktischen Video demonstriert. Dies erschwert es Abkürzungspolitiken (die unabhängig von der Video-Transformation dieselbe Antwort geben würden), konsistent über beide Zweige hinweg die Belohnung zu maximieren.

2.3 Optimierung und Null-Option

CRPO verwendet eine hybride Normalisierungsstrategie für Vorteile, bei der die Standardabweichung gemeinsam über beide Zweige (2G Werte) berechnet wird, um ein stabiles Training zu gewährleisten. Um Fälle zu behandeln, in denen die korrekte Antwort für ein kontrafaktisches Video nicht in den ursprünglichen Multiple-Choice-Optionen vorhanden ist (z. B. impliziert ein umgekehrtes Video eine andere Richtung), wird eine Option „Keine der oben genannten" (Null-Option) angehängt. Die Auswahl dieser Option für eine dynamische Aufgabe zählt als gültige Antwortänderung und löst die Äquivalenz-Belohnung aus, ohne explizite kontrafaktische Ground-Truth-Labels zu erfordern.

3. Hauptbeiträge

1. CRPO-Framework: Eine einfache Erweiterung des RL mit zwei Zweigen, die kontrafaktische relationale Belohnungen verwendet, um räumlich-zeitliche Sensitivität durchzusetzen. Es trainiert sowohl auf dem ursprünglichen als auch auf dem kontrafaktischen Zweig und schreckt die Abhängigkeit von Abkürzungen ab, ohne kostspielige räumlich-zeitliche Annotationen oder kontrafaktische Labels zu benötigen.
2. DyBench: Ein neues gepaartes kontrafaktisches Benchmark mit 3.014 Videos (1.507 Paaren), das drei Teilaufgaben abdeckt: Reversible Dynamik (z. B. Blühen vs. Schließen), Bewegungsrichtung und Ereignissequenz.
3. Strenges Evaluationsmetrik: Die Einführung der Pair Accuracy (P-Acc), bei der ein Paar nur dann als korrekt gezählt wird, wenn sowohl das Original- als auch das kontrafaktische Video korrekt beantwortet werden. Diese Metrik verhindert, dass Modelle ihre Ergebnisse durch die Verwendung von Abkürzungen mit festen Antworten aufblähen.

4. Experimentelle Ergebnisse

Experimente wurden auf den Backbones Qwen3-VL-4B und Qwen3-VL-8B durchgeführt, wobei CRPO mit Standard-GRPO, T-GRPO und ArrowRL verglichen wurde.

• Räumlich-zeitliche Sensitivität: CRPO schneidet auf Benchmarks, die räumlich-zeitliche Sensitivität erfordern, deutlich besser ab als alle Baselines. Auf Qwen3-VL-8B verbessert CRPO die DyBench P-Acc um +7,7 und die TimeBlind I-Acc um +8,2 gegenüber dem Basismodell. Die Gewinne bei gepaarten Metriken (P-Acc) sind unverhältnismäßig größer als bei der Standardgenauigkeit, was auf eine genuine Verringerung der Abkürzungsabhängigkeit hindeutet.
• Allgemeine Leistung: CRPO behält auf Benchmarks für allgemeines Videoverständnis (VideoMME, MVBench) eine wettbewerbsfähige Leistung bei und zeigt, dass die Durchsetzung räumlich-zeitlicher Sensitivität die allgemeinen Fähigkeiten nicht verschlechtert.
• Ablationsstudien:
  • Das Entfernen der zweigübergreifenden CRR-Belohnung oder des kontrafaktischen Zweigs selbst führt zu signifikanten Einbußen bei der P-Acc, was bestätigt, dass das relationale Signal und die Optimierung mit zwei Zweigen essenziell sind.
  • Die Gewinne von CRPO können nicht einfach auf erhöhte Daten oder Rechenleistung (verdoppelte Rollouts) zurückgeführt werden, da Kontrollen mit verdoppelten Daten/Rollouts die Leistung von CRPO bei gepaarten Metriken nicht erreichten.
• Trainingsdynamik: CRPO zeigt im Vergleich zu Baselines eine langsamere anfängliche Konvergenz bei Korrektheitsbelohnungen, was darauf hindeutet, dass es das frühe Erlernen von Abkürzungen unterdrückt. Es konvergiert jedoch zu einer ähnlichen Endgenauigkeit, während es einen geringeren Anteil an Gruppen mit Null-Vorteilen beibehält, was auf reichhaltigere Lernsignale hindeutet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CRPO ein direktes Trainingssignal für räumlich-zeitliche Sensitivität bietet, das für statische Abkürzungen schwer zu erfüllen ist. Indem CRPO explizit die Beziehung zwischen Antworten auf faktische und kontrafaktische Videos belohnt, zwingt es das Modell, seine Schlussfolgerungen im dynamischen Inhalt des Videos zu verankern und nicht in statischen Priors.

Die Autoren positionieren DyBench und die Pair-Accuracy-Metrik als notwendiges Diagnosewerkzeug, um echtes räumlich-zeitliches Verständnis von abkürzungsbasiertem Erfolg zu unterscheiden. Sie kommen zu dem Schluss, dass CRPO zwar die Leistung bei dynamischen Aufgaben verbessert, dies jedoch ohne Opferung des allgemeinen Videoverständnisses tut, und einen Schritt hin zu Video-LLMs darstellt, die sensibler darauf reagieren, wie sich visuelle Zustände im Zeitverlauf ändern. Die Arbeit erkennt Einschränkungen an, wie etwa die Beschränkung auf einfache geometrische/zeitliche Transformationen und den Fokus auf kurze Videos, und lässt komplexere semantische Kontrafakten für zukünftige Forschung offen.