💻 computer science

From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA

Diese Arbeit auditiert VideoQA-Benchmarks für Verkehrsunfälle, um aufzuzeigen, dass hohe Genauigkeit oft aus textuellen Abkürzungen statt aus visuellen Belegen resultiert, und schlägt neue Metriken sowie eine trainingsfreie Filterungsmethode vor, um abkürzungsanfällige Fragen zu identifizieren und zu entfernen, wodurch eine echte visuelle Fundierung in sicherheitskritischen Anwendungen gewährleistet wird.

Ursprüngliche Autoren: Sena Korkut, María Alejandra Bravo Sarmiento, Sanghwan Kim, Zeynep Akata

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sena Korkut, María Alejandra Bravo Sarmiento, Sanghwan Kim, Zeynep Akata

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie machen eine Fahrprüfung. Der Prüfer zeigt Ihnen ein Video eines Verkehrsunfalls und fragt: „Was hat diesen Unfall verursacht?“

Idealerweise sollten Sie das Video aufmerksam beobachten, sehen, wie das Auto ausweicht, bemerken, wie der Fußgänger auf die Straße tritt, und dann basierend auf dem antworten, was Sie gesehen haben. Genau das wollen wir von einer KI: auf die Beweise schauen.

Dieses Paper deckt jedoch ein Problem auf: Einige KI-Modelle „schummeln“. Sie schauen sich das Video gar nicht wirklich an. Stattdessen lesen sie die Frage und die Multiple-Choice-Antworten und raten die richtige Antwort basierend auf Mustern in den Wörtern allein. Es ist wie ein Schüler, der den Lösungsschlüssel auswendig lernt, ohne jemals das Lehrbuch studiert zu haben.

Hier ist eine Aufschlüsselung dessen, was die Forscher herausgefunden haben und wie sie es behoben haben, unter Verwendung einfacher Analogien.

1. Das Problem: Die „blinde“ KI

Die Forscher testeten mehrere KI-Modelle an vier verschiedenen Quizfragen zu Verkehrsunfällen. Dabei entdeckten sie ein seltsames Phänomen, das sie „Modality Collapse“ nennen.

Die Analogie: Stellen Sie sich einen Detektiv vor, der versucht, ein Verbrechen aufzuklären. Wenn der Detektiv die Augen schließt, ein Noise-Cancelling-Headset aufsetzt und den Fall trotzdem perfekt löst, wissen Sie, dass er den Tatort nicht tatsächlich angesehen hat. Er hat nur basierend auf der Beschreibung des Verbrechens geraten.
Das Ergebnis: Bei einem speziellen Test namens MM-AU wurden die KI-Modelle sogar besser, wenn das Video entfernt wurde! Wenn sie gezwungen waren, das Video anzusehen, sanken ihre Punktzahlen. Das bedeutet, das Video verwirrte sie eher, und sie verließen sich vollständig auf „Text-Abkürzungen“ (das Raten basierend auf Wortmustern).

2. Die Diagnose: Zwei neue Lineale

Um zu messen, wie viel eine KI tatsächlich „sieht“ im Gegensatz zum bloßen „Raten“, erfanden die Autoren zwei neue Lineale (Metriken):

Der „Blind Gap“ (Wie gut sind Sie im Raten?): Dies misst, wie gut die KI abschneidet, wenn sie mit verbundenen Augen ist (nur Text). Wenn die KI während des Blindtests eine hohe Punktzahl erreicht, bedeutet das, dass die Fragen „Abkürzungen“ enthalten, die kein Hinsehen erfordern.
- Analogie: Wenn ein Schüler eine Mathearbeit bestehen kann, indem er nur die Multiple-Choice-Optionen liest, ohne die Mathematik zu betreiben, hat die Prüfung einen hohen „Blind Gap“.
Der „Visual Gain“ (Wie sehr hilft das Video?): Dies misst, wie sehr sich die Punktzahl der KI verbessert, wenn sie das Video sehen darf.
- Analogie: Wenn die Gabe eines Taschenrechners (das Video) an den Schüler deren Punktzahl steigen lässt, ist der Taschenrechner nützlich. Wenn die Punktzahl sinkt, weil der Taschenrechner ablenkend wirkt, ist der Test fehlerhaft.

Die Ergebnisse:

MM-AU: Hatte einen riesigen „Blind Gap“ und einen negativen „Visual Gain“. Die KI hat geschummelt, und das Video war nutzlos.
TrafficQA: Hatte einen niedrigen „Blind Gap“ und einen hohen „Visual Gain“. Die KI benötigte das Video tatsächlich, um die richtige Antwort zu finden.

3. Die Lösung: Der „Shortcut Score“

Die Forscher wollten das Problem nicht nur messen, sondern auch den Test korrigieren. Sie erstellten einen „Shortcut Score“ für jede einzelne Frage.

So funktioniert es: Sie gaben der KI eine Frage auf zwei Arten: einmal blind und einmal mit dem Video.
- Wenn die KI die Frage im Blindzustand mit hoher Zuversicht richtig beantwortete, erhält die Frage einen hoen Shortcut Score (es ist eine schlechte Frage).
- Wenn die KI die Frage erst nach dem Ansehen des Videos richtig beantwortete, erhält die Frage einen niedrigen Shortcut Score (es ist eine gute, visuelle Frage).
Der Filter: Sie nutzten diesen Score, um die „schummelnden“ Fragen auszusortieren und nur die zu behalten, die wirklich das Ansehen des Videos erforderten.

4. Das Ergebnis: Ein fairer Test

Nach dem Filtern der schlechten Fragen:

Konnte die KI nicht mehr schummeln.
Der „Blind Gap“ verschwand (die KI konnte die Antworten ohne das Video nicht mehr erraten).
Der „Visual Gain“ wurde positiv (das Video half der KI tatsächlich).

Das Wichtigste in Kürze:
Das Paper argumentiert, dass hohe Genauigkeit eine Falle ist. Nur weil eine KI 90 % der Antworten richtig hat, bedeutet das nicht, dass sie das Video versteht. Sie könnte einfach ein Meister im Wort-Raten sein. Für sicherheitskritische Aufgaben wie Verkehrsunfälle müssen wir sicherstellen, dass die KI tatsächlich die Szene sieht und nicht nur die Frage liest.

Die Autoren merkten auch an, dass der Grund, warum einige Tests so leicht zu schummeln waren, darin lag, dass die Fragen und Antworten zu repetitiv waren. Es ist, als ob jede Multiple-Choice-Frage das gleiche Antwortformat hätte; die KI würde das Muster lernen, nicht den Inhalt. Durch die Bereinigung der Fragen zwangen sie die KI dazu, tatsächlich zu „sehen“.

Technisches Resümee: Von der Genauigkeit zur visuellen Abhängigkeit: Auditierung und Filterung von Modalkollaps in Traffic VideoQA

1. Problemstellung

Hohe Benchmark-Genauigkeit in der Video Question Answering (VideoQA) garantiert nicht, dass Modelle visuelle Belege nutzen. Im Bereich der Analyse von Verkehrsunfällen sollten korrekte Antworten theoretisch von szenenspezifischen visuellen Hinweisen abhängen (z. B. Fahrzeuginteraktionen, zeitliche Dynamiken, kausale Strukturen). Modelle zeigen jedoch häufig einen Modalkollaps (Modality Collapse), bei dem sie sich auf textuelle Abkürzungen, Sprachpriors oder datensatzspezifische Artefakte verlassen, um korrekt zu antworten, während sie das Video-Input effektiv ignorieren.

Dieser Fehlermodus ist besonders kritisch in sicherheitsrelevanten Anwendungen wie der Analyse von Verkehrsunfällen, in denen Systeme erfolgreich sein müssen, weil sie die visuelle Szene verstehen, und nicht, weil sie Annotation-Artefakte ausnutzen. Das Paper argumentiert, dass aktuelle Benchmarks oft nicht zwischen echtem visuellem Denken und der Ausnutzung von Abkürzungen unterscheiden können, da eine hohe Genauigkeit selbst erreicht werden kann, wenn das Video-Input entfernt wird oder wenn das Hinzufügen von mehr Frames die Leistung verschlechtert.

2. Methodik

Die Autoren schlagen ein Diagnose-Framework vor, um den Modalkollaps sowohl auf Datensatz- als auch auf Instanzebene zu auditieren und zu filtern.

2.1 Datensatz-Diagnostik

Die Autoren führen zwei Metriken ein, um die visuelle Abhängigkeit über einen Benchmark hinweg zu quantifizieren:

Blind Gap (BG): Misst, wie weit die rein textbasierte Genauigkeit über dem Zufall liegt.
$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$
Ein hoher BG deutet darauf hin, dass der Benchmark allein mit Text lösbar ist.
Visual Gain (VG): Misst den Grenznutzen des Hinzufügens von Video-Input.
$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$
Ein positiver VG deutet auf nützliche visuelle Evidenz hin, während ein negativer VG darauf hindeutet, dass das Video-Input die Leistung aktiv verschlechtert oder ignoriert wird.

2.2 Instanz-basierte Shortcut-Diagnostik

Um spezifische Fragen zu identifizieren, die zu Shortcut-Verhalten führen, definieren die Autoren einen kontinuierlichen Shortcut Score ( $S(q)$ ) für jede Frage $q$ :

Textual Evidence Score ( $T(q)$ ): Misst die Konfidenz und Korrektheit rein textbasierter Large Language Models (LLMs). Er wird als Durchschnitt der konfidenzgewichteten korrekten Vorhersagen über ein Panel von rein textbasierten Modellen berechnet.
$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$
Visual Necessity Score ( $V(q)$ ): Misst, ob das Hinzufügen von Video die Wahrscheinlichkeit für die korrekte Antwort erhöht.
$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$
wobei $\Delta_m(q)$ der Gewinn an Wahrscheinlichkeit für die korrekte Antwort ist, wenn Video hinzugefügt wird.
Shortcut Score ( $S(q)$ ): Kombiniert diese Signale:
$S(q) = T(q) - V(q)$
Ein hoher $S(q)$ deutet auf eine Shortcut-anfällige Frage hin (hohe textuelle Lösbarkeit, geringe visuelle Notwendigkeit), während ein niedriger oder negativer $S(q)$ auf eine visuell nützliche Frage hindeutet.

2.3 Shortcut-bewusste Filterung

Die Autoren schlagen vor, eine „geerdete“ Teilmenge des Datensatzes zu konstruieren, indem sie nur Fragen behalten, bei denen $S(q) \leq \tau$ gilt. Diese Filterung ist trainingsfrei und kontinuierlich, was einen Kompromiss zwischen Datenabdeckung und der Entfernung von Shortcut-anfälligen Proben ermöglicht.

3. Kernbeiträge

Audit von Traffic VideoQA Benchmarks: Das Paper auditiert vier öffentliche Benchmarks (MM-AU, VRU-Accident, SUTD-TrafficQA und AccidentBench) unter Verwendung von Open-Weight Vision-Language Models (VLMs) und rein textbasierten LLMs.
Diagnostische Metriken: Einführung von Blind Gap und Visual Gain zur Quantifizierung des Modalkollapses auf Datensatzebene.
Shortcut Score: Ein neuartiger, kontinuierlicher Metrik auf Instanzebene, der textbasierte Konfidenz mit visuellen Notwendigkeitssignalen kombiniert, um Shortcut-anfällige Fragen ohne Hilfstraining zu identifizieren und zu filtern.
Filterungs-Framework: Eine Methode zur Erzeugung „geerdeter“ Evaluierungs-Teilmengen, die den Shortcut-Bias reduzieren und die Metriken für visuelle Erdung verbessern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten mehrere VLMs (z. B. InternVL, Qwen-VL, LLaVA-OneVision) und rein textbasierte LLMs über die vier Benchmarks hinweg.

Benchmark-Disparitäten:
- MM-AU: Zeigt extremen Modalkollaps. Das Entfernen des Videos verbesserte die Genauigkeit konsistent, und das Hinzufügen von mehr Frames (bis zu 256) verschlechterte die Leistung weiter. Der Blind Gap war hoch (bis zu 40,33%), und der Visual Gain war für alle VLMs negativ. Rein textbasierte LLMs erreichten eine vergleichbare oder höhere Leistung als VLMs.
- VRU-Accident: Zeigte einen positiven Visual Gain, litt aber dennoch unter einem hohen Blind Gap (bis zu 25%), was auf eine teilweise textuelle Lösbarkeit hindeutet.
- SUTD-TrafficQA: Demonstrierte die stärkste visuelle Abhängigkeit mit einem niedrigen Blind Gap (<9%) und einem konsistent positiven Visual Gain (~11-12%).
- AccidentBench: Lag zwischen diesen Extremen mit einem niedrigen Blind Gap und moderatem Visual Gain.
Effektivität der Filterung:
- Die Anwendung des Shortcut Score Filters (mit $\tau = 0,1$ ) auf MM-AU und VRU-Accident reduzierte den Blind Gap signifikant und wandelte den negativen Visual Gain in positive Werte um.
- Auf MM-AU reduzierte das Filtern den BG von 25,70% auf 10,38% und verschob den VG von -0,24% auf 7,42%.
- Binäre Filter-Baselines (LLM-Inspector, B-Clean) waren weniger effektiv; B-Clean entfernte beispielsweise auch visuell nützliche Fragen zusammen mit Shortcuts, was zu einem stark negativen Visual Gain führte.
Ursachenanalyse: Das Paper identifiziert repetitive Textmuster und Antwortformulierungen (z. B. spezifische Satzstrukturen, die hunderte Male vorkommen) als primären Treiber für Shortcuts in MM-AU.
Trainingseffekt: Das Fine-Tuning von Modellen auf Verkehrsdaten verbesserte die Video-Genauigkeit, steigerte aber nicht zwangsläufig die visuelle Erdung (BG und VG blieben auf Standard-Teilmengen flach oder negativ), was darauf hindeutet, dass Genauigkeitsgewinne nicht mit echtem visuellem Denken gleichzusetzen sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Benchmark-Genauigkeit allein nicht ausreicht, um Fortschritte in der sicherheitskritischen VideoQA zu bewerten. Die Ergebnisse zeigen:

Mehrere weit verbreitete Benchmarks für Verkehrsunfälle ermöglichen es Modellen, durch das Ausnutzen textueller Abkürzungen statt visueller Evidenz erfolgreich zu sein.
Eine visuell geerdete Evaluierung, gemessen an Metriken wie Blind Gap und Visual Gain, ist essenziell, um echtes Denken von der Ausnutzung von Abkürzungen zu unterscheiden.
Der vorgeschlagene Shortcut Score bietet einen praktischen, trainingsfreien Mechanismus, um Evaluierungs-Teilmengen zu kuratieren, die die Fähigkeit eines Modells zur Nutzung visueller Evidenz besser widerspiegeln.
Die zukünftige Datensatzkonstruktion muss repetitive Fragenformate und identische Antwortformulierungen vermeiden, um zu verhindern, dass Modelle hochfrequente Muster ausnutzen.

Die Autoren kommen zu dem Schluss, dass für zuverlässige multimodale Systeme in sicherheitskritischen Domänen die Bewertung ihrer Fähigkeit entscheidend ist, sich auf visuelle Evidenz zu verlassen, und nicht nur auf ihre finalen Genauigkeitswerte.