What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation
Dieses Paper führt eine label-freie „Reversal-Drop“-Metrik ein, um die Scores zeitlicher Video-VLM-Benchmarks zu dekomponieren, was aufzeigt, dass Modelle oft eher auf Positionskodierungen als auf visuellen Inhalten basieren, und demonstriert, dass aggregierte Scores distinkte, nicht austauschbare Fehlermodi zwischen positionsdominanten und visuell-sequenzdominanten Architekturen maskieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Video-Detektiv-Durcheinander: Warum zwei Modelle mit demselben Score eigentlich unterschiedlich sind
Stellen Sie sich vor, Sie testen zwei Detektive, Molmo2 und Qwen3-VL, um zu sehen, wer besser darin ist, Videomysterien zu lösen. Sie geben ihnen eine Reihe kurzer Clips und stellen Fragen wie: „Ist die Katze gesprungen, bevor oder nachdem der Hund gebellt hat?“ Beide Detektive erzielen eine hohe Punktzahl in Ihrem Test, sagen wir etwa 0,96 (oder 96 % Genauigkeit). Sie könnten denken: „Großartig! Beide verstehen die Zeit perfekt.“
Doch dieses Paper argumentiert, dass Ihr Test eigentlich ein Trick ist. Es ist, als würde man einen Detektiv fragen: „Hast du den Fall gelöst?“, ohne zu fragen, wie er ihn gelöst hat. Das Paper enthüllt, dass beide Detektive zwar die richtige Antwort gegeben haben, aber völlig unterschiedliche und entgegengesetzte Methoden angewandt haben, um dorthin zu gelangen. Der eine ist ein „Zeitreisender“, der ignoriert, was er sieht, und der andere ein „Realist“, der seinen Augen vertraut.
Die zwei Fragen, die in einem einzigen Score verborgen sind
Die Autoren sagen, dass ein Standard-Video-Test-Score eigentlich ein chaotischer Cocktail aus zwei verschiedenen Fragen ist:
- Die Aufgabenfrage: Erfordert die Frage tatsächlich das Anschauen des Videos in der richtigen Reihenfolge? (z. B. „Ist der Ball aufgesprungen?“ benötigt vielleicht nur einen Frame, aber „Ist der Ball aufgesprungen und dann gerollt?“ benötigt die Sequenz.)
- Die Kanalfrage: Wenn das Modell die Reihenfolge tatsächlich benötigt, woher bezieht es diese Information? Liest es die Pixel (die tatsächliche Bewegung auf dem Bildschirm) oder schummelt es, indem es die Positionsnummern liest (die unsichtbaren Etiketten, die dem Computer sagen, welches Frame #1, #2, #3 ist)?
Die meisten Tests prüfen nur die erste Frage. Sie mischen die Frames durch und schauen, ob die Punktzahl sinkt. Wenn die Punktzahl sinkt, sagen sie: „Okay, das Modell benötigt die Reihenfolge.“ Aber sie prüfen nicht, welcher Teil des Modells die eigentliche Arbeit leistet.
Der magische Trick: Der „Reversal-Drop“
Um herauszufinden, wie die Modelle wirklich arbeiten, führten die Autoren einen magischen Trick durch, den sie reversal-drop nennen.
Stellen Sie sich ein Video von einem aufblähenden Ballon vor.
- Die Pixel: Die visuellen Frames zeigen den Ballon, der größer wird.
- Die Positions-Labels (RoPE): Dies sind unsichtbare Tags, die an jedem Frame hängen und sagen: „Frame 1“, „Frame 2“, „Frame 3“.
Die Autoren nahmen ein Video, kehrten die Pixel um (sodass der Ballon nun schrumpft – von groß zu klein), aber behielten die Positions-Labels vorwärts bei (sodass der Computer immer noch denkt, er sehe Frame 1, dann Frame 2, dann Frame 3).
Nun sagen die Pixel „schrumpfend“, aber die Labels sagen „aufblähend“. Die beiden Kanäle kämpfen gegeneinander.
- Molmo2 (Der positions-dominante Detektiv): Wenn die Pixel und die Labels gegeneinander kämpfen, ignoriert Molmo2 die Pixel. Es schaut auf die Labels, sieht „Frame 1, 2, 3“ und antwortet so, als würde der Ballon aufgehen. Obwohl es einen schrumpfenden Ballon sieht, sagt es: „Er bläht sich auf!“, weil die Labels es dazu veranlasst haben.
- Das Ergebnis: Seine Genauigkeit änderte sich kaum. Es war es egal, dass das Video umgekehrt war. Es las die Positionsindizes.
- Qwen3-VL (Der visuell-sequenz-dominante Detektiv): Wenn die Pixel und die Labels gegeneinander kämpfen, ignoriert Qwen3-VL die Labels. Es schaut auf die Pixel, sieht den Ballon schrumpfen und antwortet: „Er schrumpft!“
- Das Ergebnis: Seine Genauigkeit brach zusammen. Es gab die falsche Antwort, weil es durch das umgekehrte Video getäuscht wurde. Es las die visuelle Reihenfolge.
Die Zahlen lügen nicht
Das Paper maß diesen „Drop“ in der Genauigkeit, um den Unterschied zu beweisen:
- Auf einem Benchmark namens TVBench, als das Video umgekehrt wurde, aber die Labels vorwärts blieben:
- Molmo2 sank um fast nichts (etwa +0,00 bis +0,08 Punkte). Es war völlig unbeeindruckt.
- Qwen3-VL sank um einen riesigen Betrag (zwischen +0,24 und +0,55 Punkten). Es brach ein.
- Auf TempCompass, unter Verwendung eines speziellen „Paired Ground Truth“-Tests (bei dem man die Antwort sowohl für das Vorwärts- als auch für das Rückwärts-Video kennt):
- Molmo2 beantwortete das „Vorwärts“-Ereignis (unter Ignorieren des umgekehrten Videos) in beiden Fällen mit einem Wert von 0,965.
- Qwen3-VL sank von 0,944 (normal) auf 0,576 (umgekehrt).
Dies beweist, dass zwei Modelle exakt denselben hohen Score in einem normalen Test haben können, aber eines sich auf die „Karte“ (Labels) und das andere auf das „Gelände“ (Pixel) verlässt. Wenn man die Karte durch eine falsche ersetzt, scheitert das erste Modell, während das zweite vielleicht noch stabil bleibt.
Was das Paper ausschließt
Die Autoren waren sehr sorgfältig, um sicherzustellen, dass dies nicht nur ein Glitch oder ein seltsames Artefakt ihres Tests war.
- Es ist nicht nur „Verwirrung“: Sie nutzten eine Technik namens Activation Patching (was so ähnlich ist wie das Austauschen der Gehirnzellen eines Modells mit den „korrekten“ Gehirnzellen eines anderen), um zu beweisen, dass der Unterschied real ist.
- Als sie das „Gehirn“ von Molmo2 in der allerersten Schicht korrigierten, erholte es sich perfekt.
- Als sie das „Gehirn“ von Qwen3-VL in der ersten Schicht korrigierten, scheiterte es immer noch ein wenig. Sie mussten es bis zu den Schichten 0, 1 und 2 korrigieren (wo ein Feature namens DeepStack zusätzliche visuelle Daten einspeist), um eine Erholung zu erreichen.
- Dies beweist, dass der Unterschied eine tiefe, interne Eigenschaft der Modellstruktur ist und kein oberflächlicher Trick.
- Es sind nicht nur „Zeitstempel“: Sie prüften, ob die Modelle lediglich die auf dem Bildschirm geschriebene Zeit lesen (wie „00:01“, „00:02“). Sie fanden heraus, dass Zeitstempel zwar helfen, die Modelle aber selbst dann stark auf die Positions-Labels oder die Pixel angewiesen sind, wenn die Zeitstempel entfernt werden.
- Es ist nicht nur „Single-Frame“-Schummeln: Sie zeigten, dass beide Modelle tatsächlich mehrere Frames benötigen, um diese Probleme zu lösen (sie erhalten einen Boost von +0,20, wenn sie das ganze Video statt nur eines einzelnen Frames sehen). Sie raten also nicht einfach von einem einzigen Bild aus; sie verarbeiten tatsächlich die Sequenz, nur auf unterschiedliche Weise.
Das große Fazit
Das Paper kommt zu dem Schluss, dass ein einzelner „temporaler Score“ irreführend ist. Es ist, als würde man sagen, zwei Autos hätten die gleiche Höchstgeschwindigkeit, aber eines fährt mit Benzin und das andere mit Strom. Wenn man mit ihnen auf einer Straße ohne Tankstellen fährt, versagt das Elektroauto, obwohl sie im Geschwindigkeitstest gleich gut abschnitten.
- Molmo2 ist positions-dominant: Es vertraut den unsichtbaren Labels (RoPE) mehr als dem, was es sieht.
- Qwen3-VL ist visuell-sequenz-dominant: Es vertraut dem, was es sieht (Pixeln), mehr als den Labels.
Die Autoren schlagen vor, dass zukünftige Tests aufhören sollten, nur eine einzige Zahl anzugeben. Stattdessen sollten sie den „Reversal-Drop“ melden, um zu sehen, ob ein Modell die Karte oder das Gelände liest. Dies hilft uns zu verstehen, wie ein Modell scheitert, nicht nur, dass es scheitert. Wenn Sie ein Modell benötigen, das der tatsächlichen Video-Inhalte Beachtung schenkt, wollen Sie nicht dasjenige, das nur die Labels liest. Wenn Sie eines benötigen, das einem strikten Zeitplan folgt, bevorzugen Sie vielleicht den Label-Leser. Aber man kann den Unterschied nicht allein durch den finalen Score erkennen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.