Technisches Resümee: Die Niedrigfrequenz-Falle: Video-Sprach-Modelle scheitern an einfachem Event-Bookkeeping

Problemstellung

Echte Video-Benchmarks für Video-Sprach-Modelle (VLMs) verstricken oft mehrere Variablen – Ereignisanzahl, Rate, Dauer, visuelle Komplexität und Semantik – was es schwierig macht, spezifische Fehlermodi zu isolieren. Während bestehende programmatische Benchmarks eine bessere Kontrolle bieten, bewerten sie typischerweise nur die finale Antwort und versäumen es, zu prüfen, ob ein Modell Ereignisse übersehen, deren Timing verwechselt, den Verlauf einer Sequenz verloren oder lediglich bei der Aggregation Fehler gemacht hat. Infolgedessen können Metriken der Endantwort-Genauigkeit schwache zeitliche Zugriffsfähigkeiten oder brüchiges Denken verschleiern und die Tatsache maskieren, dass Modelle bei zunehmender zeitlicher Last an elementarem Event-Bookkeeping scheitern können.

Methodik

Die Autoren führen das trace-grounded parametric profiling ein, ein kontrolliertes Evaluations-Framework, das darauf ausgelegt ist, zeitliches Denkvermögen von der visuellen Komplexität zu isolieren.

Kontrollierter Aufgabenraum

Die Studie nutzt programmatisch generierte Videos mittels der Manim-Animationsengine, um eine frame-genaue Kontrolle über räumliche Trajektorien und das Timing zu gewährleisten. Drei distinkte Domänen werden evaluiert:

1. Bounce Ball: Zählen der Wandkontakte eines springenden Balls.
2. Blinking: Zählen von On-Pulsen eines visuellen Objekts (transiente Ereignisse).
3. State Machine: Zählen von kategorischen Zustandsübergängen (persistente Ereignisse).

Experimentelle Parameter

Das Framework variiert systematisch zwei orthogonale Parameter, während Rendering, Semantik und Aufgabenregeln fixiert bleiben:

• Ereignisanzahl ($N$): Von 0 bis 12.
• Ereignisfrequenz ($F$): Von 0,5 Hz bis 4,0 Hz.
• Dauer: Alle Clips sind auf 24 Sekunden fixiert. Die aktive Ereignissequenz umfasst etwa $N/F$ Sekunden, wobei statische Frames den Rest ausfüllen.

Ground Truth und Metriken

Jedes Video ist mit einem ausführbaren Ground-Truth-Trace gepaart, der Zeitstempel der Ereignisse, Zustandsänderungen und kumulative Zählungen enthält. Dies ermöglicht eine granulare Evaluierung jenseits der einfachen Endantwort-Genauigkeit. Zentrale Metriken sind:

• Final Answer Exact Match (Acc): Ob die angegebene Anzahl gleich $N$ ist.
• Trace Precision ($P$) und Recall ($R$): Übereinstimmung zwischen den vom Modell berichteten Zeitstempeln und der Ground Truth innerhalb eines ratenbezogenen Fensters $\delta(F) = 1/(2F)$.
• Visual Observation Ratio (VOR): Das Verhältnis von berichteten zu tatsächlichen Ereignissen ($M/N$), was auf Über- oder Unterberichterstattung hinweist.
• Accidental Correctness Rate (ACR): Fälle, in denen die finale Anzahl korrekt ist, trotz eines Low-Fidelity-Traces.
• Reasoning Failure Rate (RFR): Fälle, in denen der Trace treu ist (hohes F1), aber die finale Anzahl falsch ist.

Evaluierte Modelle

Die primäre Evaluierung konzentriert sich auf Gemini 3.6 Flash (erhält ~1 FPS Input) und Qwen3-VL-235B (erhält 2 FPS Input). Ergänzende Cross-System-Checks umfassen verschiedene Skalierungen von Qwen3-VL und InternVL3.5.

Kernbeiträge

1. Kontrolliertes Evaluations-Framework: Ersetzt einzelne aggregierte Scores durch Capability-Surfaces, die über die Ereignisanzahl ($N$) und Frequenz ($F$) abgebildet werden.
2. Trace-Grounded Benchmark: Auditiert die vom Modell berichteten Ereignisse gegen die ausführbare Ground Truth und unterscheidet zwischen ungestützten korrekten Zählungen und einer treuen Ereigniswiederherstellung.
3. Gezielte Interventionen: Diagnostiziert Fehlerquellen via dichterer Abtastung, ereigniszentrierter Keyframes (Oracle Evidence) und verschiedener Prompting-Strategien (z. B. Chain-of-Thought, strukturiertes Tracing).
4. Natural-Video Transfer: Validiert, ob die in kontrollierten Settings beobachteten Fehlermuster in realen Videos mit wiederkehrenden Ereignissen (TransRAC Dataset) bestehen bleiben.

Ergebnisse

Gestufte zeitliche Ausfälle

Die Ergebnisse zeigen ein „gestuftes“ Fehlermuster, das von der Repräsentation der Ereignisse abhängt (persistent vs. transient):

• Persistente Ereignisse (State Machine): Gemini 3.6 Flash zählt zuverlässig bis zu $N=12$ bei 0,5 Hz und 1,0 Hz. Die Performance sinkt mit steigender Frequenz und fällt auf $N=2$ bei 1,5 Hz.
• Transiente Ereignisse (Blinking): Es existiert keine zuverlässige Positiv-Zählungs-Region; das Modell scheitert daran, transiente Ereignisse selbst bei niedrigen Zählungen und Frequenzen konsistent zu erfassen.
• High-Load-Regime: Unter Bedingungen mit hoher Last (hohe Anzahl, hohe Frequenz) sind lediglich 0,2 % der finalen Zählungen korrekt, und das Modell stellt nur 18,1 % der wahren Ereignisse wieder her.

Die Rolle des visuellen Zugriffs vs. Reasoning

• Abtastdichte: Eine Erhöhung der Abtastrate von 1 FPS auf 4 FPS verbesserte die Genauigkeit beim Bounce Ball von 19,6 % auf 29,3 %. Die berichtete Sequenz stimmte jedoch nur in 3,7 % der Fälle mit der Ground Truth überein. Dies deutet darauf hin, dass zusätzliche Frames die finalen Scores aufblähen können (durch Accidental Correctness), ohne eine treue Ereigniswiederherstellung zu erzeugen.
• Oracle Keyframes: Die Bereitstellung ereigniszentrierter Keyframes (Reduzierung der Suchlast) steigerte die Genauigkeit auf 68,6 % für $N \le 5$, aber die Performance brach für $N \ge 6$ zusammen. Dies legt nahe, dass der visuelle Zugriff zwar ein Flaschenhals ist, aber Retention und Akkumulation der Sequenz weiterhin limitierende Faktoren sind, selbst wenn Ereignisse perfekt lokalisiert sind.
• Prompting-Strategien: Verschiedene Prompting-Techniken (Direct Answer, Structured Trace, Multi-Turn, CoT, Role Prompting) lieferten ähnlich begrenzte Gewinne und erweiterten den zuverlässigen Operationsbereich nicht.

Trace-Level Diagnostik

• Low Load: Modelle neigen oft zur Überberichterstattung (VOR > 1) und zur Accidental Correctness, wobei die finale Anzahl zwar stimmt, trotz fehlender oder halluzinierter Zeitstempel.
• High Load: Der dominante Fehlermodus verschiebt sich zur Unterberichterstattung (VOR < 1) und zum Auslassen. Das Modell berichtet weniger Ereignisse als stattfinden, und die wenigen berichteten Ereignisse sind oft zeitlich korrekt, aber unvollständig.
• Aggregationsfehler: Eine nicht-null Reasoning Failure Rate (RFR) zeigt, dass selbst wenn das Modell die Ereignissequenz erfolgreich wiederherstellt (hohes Trace F1), es manchmal scheitert, diese korrekt in eine finale Anzahl zu aggregieren.

Natural Video Transfer

Die Evaluierung auf dem TransRAC-Datensatz bestätigt, dass die Konzentration des Erfolgs bei niedrigen Ereigniszahlen ($N \le 4$) auch in natürlichen Videos mit Kamerabewegung und Unordnung bestehen bleibt, was unterstreicht, dass das Fehlermuster über Domänen hinweg robust ist.

Signifikanz und Behauptungen

Das Paper argumentiert, dass die Genauigkeit der Endantwort allein das zeitliche Denken falsch charakterisiert. Ein Modell kann die richtige Zahl durch Raten oder die Aggregation halluzinierter Ereignisse erreichen und so die fundamentale Unfähigkeit zur Verfolgung zeitlicher Sequenzen maskieren.

Die Autoren behaupten:

1. Ereignisrepräsentation ist entscheidend: Ob ein Ereignis persistent oder transient ist, bestimmt den initialen Zugriff auf Evidenz.
2. Visueller Zugriff ist notwendig, aber nicht ausreichend: Eine höhere Frame-Dichte oder die Bereitstellung von Oracle-Keyframes verbessert die Leistung, eliminiert aber nicht die durch Sequenzlänge und Retention gesetzte Grenze.
3. Gestufter Ausfall: Der Prozess des Scheiterns umfasst distinkte Phasen: erstens den Zugriff auf das Ereignis, zweitens die Beibehaltung (Retention) der Sequenz und drittens die Aggregation der Anzahl.
4. Evaluations-Shift: Das Trace-grounded Profiling verschiebt die Video-Evaluierung von aggregierten Metriken hin zu einer detaillierten Diagnostik darüber, wo das zeitliche Denken scheitert (Zugriff vs. Retention vs. Aggregation) und ob die berichteten Evidenzen die finale Antwort tatsächlich stützen.

Die Studie kommt zu dem Schluss, dass aktuelle VLMs Schwierigkeiten mit elementarem Event-Bookkeeping haben, wenn die zeitliche Last zunimmt – eine Einschränkung, die selbst durch fortgeschrittenes Prompting oder erhöhte visuelle Abtastung bestehen bleibt.