Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

Technisches Resümee: „Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME“

Problemstellung
Die Arbeit adressiert eine vorherrschende Annahme bei der Anpassung von Vision-Language Models (VLMs) an die Video-Fragebeantwortung (Video-QA): dass das Erzwingen von Chain-of-Thought (CoT)-Begründungsschritten vor der Antwort die Zuverlässigkeit und Genauigkeit verbessert. Während CoT weit verbreitet ist, bleibt sein funktionaler Nutzen im Video-Kontext unverifiziert. Die Autoren stellen die „Boilerplate-Chain“-Nullhypothese infrage – die Vorhersage, dass erzwungene CoT-Ketten weitgehend input-invariant sein könnten (d. h. der Text der Begründung bleibt unabhängig vom Video-Input ähnlich), aber dennoch die endgültige Antwort aufgrund von Formateffekten verändern, ohne dass das Modell den visuellen Input sinnvoll „liest“. Umgekehrt hinterfragen sie auch, ob selbst dann, wenn die Ketten tatsächlich video-konditioniert sind, dies zwangsläufig zu einer verbesserten Genauigkeit bei Multiple-Choice-Fragen (MCQ) führt.

Methodik: Ein Drei-Sonden-Evaluierungsrezept
Die Autoren schlagen ein spezifisches, drei-sondiges Evaluierungsrezept vor, das auf dem Video-MME-Benchmark unter Verwendung der Qwen2.5-VL-Familie (7B- und 32B-Parameter-Varianten) instanziiert wurde. Die Pipeline ist darauf ausgelegt, die Qualität der Ketten-Generierung von der Nützlichkeit der finalen Antwort zu entkoppeln.

1. Sonde 1: Paarweise Genauigkeit mit Formatkontrollen

   • Design: Evaluiert die Leistung unter vier Bedingungen: Direkt (nur Antwort), CoT (erzwungene Begründungsschritte), Answer-First (Antwort dann Begründung) und No-Video (nur Text).
   • Bewertung: Verwendet zwei Regex-basierte Scorer, um Antworten zu extrahieren:
     • Strict (Strikt): Erfordert explizite Tags (z. B. „Answer: X“) oder spezifische Zeilenanfang-Formatierungen.
     • Permissive (Nachgiebig): Beinhaltet eine Fallback-Regel, um Ablehnungs-ähnliche Ausgaben in eine Buchstabenwahl zu zwingen.
   • Statistik: Berichtet gepaarte McNemar-Tests, 50k-Bootstrap-Konfidenzintervalle (CIs) und Holm-korrigierte $p$-Werte über eine im Manuskript deklarierte primäre Familie von vier Tests.

2. Sonde 2: Kontrafaktische Video-Swap-Diagnose

   • Design: Re-evaluiert CoT-Antworten, bei denen das Originalvideo durch ein anderes Video desselben Aufgabentyps ersetzt wurde.
   • Metriken:
     • Chain Token-Jaccard: Misst die Überlappung zwischen der Begründungskette des realen Videos und der des getauschten Videos.
     • Final Letter Flip Rate: Misst, wie oft sich die vorhergesagte Antwort ändert, wenn das Video wechselt.
     • Original-Label Retention: Prüft, ob das Modell die Antwort für das Originalvideo beibehält, wenn ihm das getauschte Video gezeigt wird (eine Diagnose für Ablehnung vs. Zufall).
   • Ziel: Zu testen, ob Ketten wirklich input-konditioniert sind. Eine „Boilerplate“-Kette würde eine hohe Jaccard-Ähnlichkeit und niedrige Flip-Raten zeigen; eine input-konditionierte Kette das Gegenteil.

3. Sonde 3: Visuelle Degradationsleiter

   • Design: Evaluiert die CoT-Leistung entlang einer monoton fallenden visuellen Signalleiter: Real $\to$ Shuffled Frames $\to$ Single Frame (repetiert) $\to$ Black Frames. Zwei Kontaminationsbedingungen (getauschte Aufgabe/Domäne) werden separat berichtet.
   • Metriken: Spearman-Korrelation ($\rho$) zwischen visueller Degradation und Genauigkeit/Ketten-Ähnlichkeit.
   • Ziel: Zu bestimmen, ob die Begründungskette das visuelle Signal nutzt und ob die Genauigkeit parallel zum Verlust der visuellen Information sinkt.

Hauptergebnisse
Die Evaluierung auf Qwen2.5-VL (7B und 32B) liefert ein zweiteiliges Ergebnis:

1. Ketten sind stark video-konditioniert:

   • Die „Boilerplate-Chain“-Nullhypothese wird verworfen. Wenn das Video gewechselt wird, sinkt die Chain Token-Jaccard-Ähnlichkeit signifikant (auf 0,14 für 32B und ~0,12 für 7B), und die Final Letter Flip Rates sind hoch (67 % für 32B, ~60 % für 7B).
   • Qualitative Beispiele zeigen, dass das Modell explizit den Inhalt des getauschten Videos beschreibt und die Antwort verweigert, falls der Inhalt nicht mit den Optionen übereinstimmt, anstatt eine generische Vorlage zu generieren.

2. Video-konditionierte Ketten verbessern die Genauigkeit nicht (und können schaden):

   • 32B Modell: Erzwungenes CoT verbessert die MCQ-Genauigkeit gegenüber der direkten Beantwortung nicht. Unter strikter Bewertung zeigt CoT einen leichten Rückgang (-5,33 pp, $p=0,048$), der die Holm-Korrektur nicht übersteht. Unter nachgiebiger Bewertung ist der Rückgang kleiner (-2,33 pp) und nicht signifikant. Ein Vorzeichenwechsel tritt in den rein geparsten Subsets auf, was auf Selektionseffekte der Parse-Rate zurückgeführt wird und nicht auf echte Verbesserung.
   • 7B Modell: Erzwungenes CoT produziert einen statistisch belegten Rückgang der Genauigkeit. Unter dem strikten Scorer beträgt der Rückgang -7,32 Prozentpunkte ($p=0,003$, Holm-adjustiert $p=0,012$). Dies ist das einzige Ergebnis in der primären Familie, das die Holm-Korrektur bei $\alpha=0,05$ besteht. Die Autoren hypothetisieren, dass dies auf Fehlerfortpflanzung zurückzuführen ist, bei der das kleinere Modell sich auf Zwischeninferenzen festlegt, die die finale Antwort verschlechtern.
   • Visuelle Leiter: Genauigkeit und Ketten-Ähnlichkeit nehmen beide monoton ab, während das visuelle Signal degradiert (Real $\to$ Black), was bestätigt, dass die Ketten den visuellen Input nutzen, diese Erdung jedoch nicht mit Genauigkeitsgewinnen im CoT-Format korreliert.

Bedeutung und Ansprüche
Die Arbeit behauptet nicht, dass CoT universell nutzlos ist, noch behauptet sie, dass diese Ergebnisse über die Qwen2.5-VL / Video-MME-Instanziierung hinaus verallgemeinerbar sind. Ihre Bedeutung liegt vielmehr in der Evaluierungsmethodik und der spezifischen Entdeckung einer Entkopplung zwischen Ketten-Erdung (Grounding) und Aufgaben-Nützlichkeit.

• Methodischer Beitrag: Die Autoren bieten ein „Drei-Sonden-Rezept“, um CoT in multimodalen Settings rigoros zu testen. Sie argumentieren, dass Standard-Genauigkeitsvergleiche unzureichend sind; Evaluierer müssen separat die Input-Konditionierung (via Swap-Sonden) und die Parse-Rate-Sensitivität (via striktem vs. nachgiebigem Scoring) messen.
• Empirische Erkenntnis: Die Arbeit demonstriert, dass ein Modell Begründungsspuren generieren kann, die hochsensibel gegenüber dem visuellen Input sind (was beweist, dass es das Video „sieht“), aber dennoch nicht in der Lage ist, diese Begründung zur Verbesserung der finalen Antworten zu nutzen, und im Falle kleinerer Modelle die Leistung sogar aktiv verschlechtert.
• Evaluierungs-Lektion: Die Autoren warnen davor, dass „geerdete Begründungsspuren“ keine hinreichende Bedingung für nachgelagerte Gewinne sind. Sie plädieren dafür, die Parse-Raten neben der Genauigkeit zu berichten, Input-Substitution-Sonden zur Verifizierung der Ketten-Konditionierung zu verwenden und „CoT hilft/hilft nicht“ als eine facettenreiche Frage zu behandeln, die spezifische diagnostische Werkzeuge erfordert, statt eines einzelnen aggregierten Scores.

Die Autoren erklären explizit, dass ihr benutzerdefinierter Regex-Scorer nicht der offizielle Video-MME-Evaluator ist und dass ihre primäre Signifikanzwahl (strikte Bewertung) post-hoc erfolgte. Sie veröffentlichen die Rohantworten und ein Re-Computation-Skript, um die Reproduzierbarkeit aller Zahlen zu gewährleisten und zukünftige Arbeiten einzuladen, diese Erkenntnisse auf dem vollständigen Benchmark und anderen Modellfamilien zu validieren.