💻 computer science

From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA

Dit artikel auditeert benchmarks voor VideoQA over verkeersongevallen om aan te tonen dat een hoge nauwkeurigheid vaak voortkomt uit tekstuele shortcuts in plaats van visueel bewijs, en stelt nieuwe metrieken en een training-vrije filtermethode voor om op shortcuts gevoelige vragen te identificeren en te verwijderen, waardoor echte visuele gronding in veiligheidskritische toepassingen wordt gewaarborgd.

Oorspronkelijke auteurs: Sena Korkut, María Alejandra Bravo Sarmiento, Sanghwan Kim, Zeynep Akata

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sena Korkut, María Alejandra Bravo Sarmiento, Sanghwan Kim, Zeynep Akata

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rijexamen doet. De examinator laat je een video zien van een verkeersongeluk en vraagt: "Wat heeft deze crash veroorzaakt?"

Ideaal gezien zou je de video aandachtig moeten bekijken, de auto een uitwijking moeten zien maken, de voetganger moeten opmerken die de weg opstapt, en vervolgens antwoorden op basis van wat je hebt gezien. Dit is wat we van AI willen: naar het bewijs kijken.

Echter, dit artikel onthult een probleem: sommige AI-modellen zijn aan het "valsspelen". Ze kijken niet echt naar de video. In plaats daarvan lezen ze de vraag en de meerkeuzeantwoorden en raden ze het juiste antwoord op basis van patronen in de woorden alleen. Het is als een student die het antwoordformulier uit het hoofd leert zonder ooit het tekstboek te hebben bestudeerd.

Hier is een overzicht van wat de onderzoekers hebben gevonden en hoe ze het hebben opgelost, met behulp van eenvoudige analogieën.

1. Het Probleem: De "Blinde" AI

De onderzoekers testten verschillende AI-modellen op vier verschillende quizzen over verkeersongevallen. Ze ontdekten een vreemd fenomeen dat ze "Modality Collapse" noemen.

De Analogie: Stel je een detective voor die een misdaad probeert op te lossen. Als de detective zijn ogen sluit, een ruisonderdrukkende koptelefoon opzet en de zaak nog steeds perfect oplost, dan weet je dat hij niet daadwerkelijk naar de plaats delict heeft gekeken. Hij heeft simpelweg geraden op basis van de beschrijving van de misdaad.
De Bevinding: Op een specifieke test genaamd MM-AU behaalden de AI-modellen zelfs hogere scores wanneer de video werd verwijderd! Wanneer ze werden gedwongen om naar de video te kijken, daalden hun scores. Dit betekent dat de video hen eigenlijk in verwarring bracht, en dat ze volledig vertrouwden op "tekst-snelkoppelingen" (raden op basis van woordpatronen).

2. De Diagnose: Twee Nieuwe Meetlatten

Om te meten hoeveel een AI daadwerkelijk "kijkt" versus alleen maar "raadt", hebben de auteurs twee nieuwe meetlatten (metrieken) uitgevonden:

De "Blind Gap" (Hoe goed ben je in raden?): Dit meet hoe goed de AI presteert wanneer hij geblinddoekt is (alleen tekst). Als de AI een hoge score haalt terwijl hij geblinddoekt is, betekent dit dat de vragen "snelkoppelingen" bevatten die geen kijken vereisen.
- Analogie: Als een student een wiskundetoets kan halen door alleen de meerkeuzeopties te lezen zonder de wiskunde te doen, heeft de toets een hoge "Blind Gap".
De "Visual Gain" (Hoeveel helpt de video?): Dit meet hoeveel de score van de AI verbetert wanneer het de video mag zien.
- Analogie: Als het geven van een rekenmachine (de video) aan de student ervoor zorgt dat hun score omhoog gaat, is de rekenmachine nuttig. Als de score juist daalt omdat de rekenmachine afleidt, is de toets kapot.

De Resultaten:

MM-AU: Had een enorme "Blind Gap" en een negatieve "Visual Gain". De AI was aan het valsspelen, en de video was nutteloos.
TrafficQA: Had een lage "Blind Gap" en een hoge "Visual Gain". De AI had de video daadwerkelijk nodig om het juiste antwoord te krijgen.

3. De Oplossing: De "Shortcut Score"

De onderzoekers wilden het probleem niet alleen meten; ze wilden de test ook repareren. Ze creëerden een "Shortcut Score" voor elke individuele vraag.

Hoe het werkt: Ze gaven de AI een vraag op twee manieren: één keer geblinddoekt en één keer met de video.
- Als de AI de vraag terwijl hij geblinddoekt was met een hoge mate van vertrouwen goed beantwoordde, krijgt de vraag een hoge Shortcut Score (het is een slechte vraag).
- Als de AI de vraag pas goed beantwoordde nadat hij de video had gezien, krijgt de vraag een lage Shortcut Score (het is een goede, visuele vraag).
De Filter: Ze gebruikten deze score om de "valsspelende" vragen weg te gooien en alleen de vragen over te houden die echt kijken naar de video vereisten.

4. Het Resultaat: Een Fairdere Test

Na het filteren van de slechte vragen:

Kon de AI niet meer valsspelen.
De "Blind Gap" verdween (de AI kon de antwoorden niet meer raden zonder de video).
De "Visual Gain" werd positief (de video hielp de AI daadwerkelijk).

De Belangrijkste Les:
Het artikel betoogt dat hoge nauwkeurigheid een valstrik is. Alleen omdat een AI 90% van de antwoorden goed heeft, betekent niet dat hij de video begrijpt. Het kan zijn dat hij gewoon een meester is in het raden van woorden. Voor taken met een hoog risico, zoals verkeersongevallen, moeten we ervoor zorgen dat de AI daadwerkelijk naar de scène kijkt, en niet alleen de vraag leest.

De auteurs merkten ook op dat de reden waarom sommige tests zo makkelijk te bedriegen waren, was dat de vragen en antwoorden te repetitief waren. Het is alsof elke meerkeuzevraag hetzelfde antwoordformaat heeft; de AI zou dan het patroon leren, niet de inhoud. Door de vragen op te schonen, dwongen ze de AI om daadwerkelijk te "zien".

Technische Samenvatting: Van Accuraatheid naar Visuele Afhankelijkheid: Auditing en Filtering van Modality Collapse in Traffic VideoQA

1. Probleemstelling

Hoge benchmark-accuraatheid in Video Question Answering (VideoQA) garandeert niet dat modellen gebruikmaken van visuele bewijslast. In het domein van verkeersongevallenanalyse zouden modellen theoretisch afhankelijk moeten zijn van scenario-specifieke visuele aanwijzingen (bijv. interacties tussen voertuigen, temporele dynamiek, causale structuren). Echter, modellen vertonen vaak modality collapse, waarbij ze vertrouwen op tekstuele shortcuts, taalprioriteiten of dataset-specifieke artefacten om correcte antwoorden te geven, waardoor ze de video-input effectief negeren.

Deze foutmodus is bijzonder kritiek in veiligheidskritische toepassingen zoals de analyse van verkeersongevallen, waarbij systemen moeten slagen omdat ze de visuele scène begrijpen, en niet omdat ze annotatie-artefacten exploiteren. Het artikel stelt dat huidige benchmarks er vaak niet in slagen om onderscheid te maken tussen genuwe visuele redenering en het exploiteren van shortcuts, aangezien een hoge accuraatheid kan worden bereikt zelfs wanneer de video-input wordt verwijderd of wanneer het toevoegen van meer frames de prestaties verslechtert.

2. Methodologie

De auteurs stellen een diagnostisch kader voor om modality collapse te auditen en te filteren op zowel dataset- als instantieniveau.

2.1 Dataset-niveau Diagnostiek

De auteurs introduceren twee metrieken om visuele afhankelijkheid over een benchmark te kwantificeren:

Blind Gap (BG): Meet hoe ver de tekst-alleen accuratheid de willekeurige kans overstijgt.
$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$
Een hoge BG geeft aan dat de benchmark met alleen tekst kan worden opgelost.
Visual Gain (VG): Meet het marginale voordeel van het toevoegen van video-input.
$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$
Een positieve VG duidt op nuttig visueel bewijs, terwijl een negatieve VG suggereert dat video-input de prestaties actief verslechtert of wordt genegeerd.

2.2 Instantie-niveau Shortcut Diagnostiek

Om specifieke vragen te identificeren die shortcut-gedrag aansturen, definiëren de auteurs een continue Shortcut Score ( $S(q)$ ) voor elke vraag $q$ :

Textual Evidence Score ( $T(q)$ ): Meet de betrouwbaarheid en correctheid van tekst-alleen Large Language Models (LLMs). Dit wordt berekend als het gemiddelde van de betrouwbaarheidsgewogen correcte voorspellingen over een panel van tekst-alleen modellen.
$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$
Visual Necessity Score ( $V(q)$ ): Meet of het toevoegen van video de waarschijnlijkheid van het juiste antwoord vergroot.
$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$
waarbij $\Delta_m(q)$ de waarschijnlijkheidswinst is voor het juiste antwoord wanneer video wordt toegevoegd.
Shortcut Score ( $S(q)$ ): Combineert deze signalen:
$S(q) = T(q) - V(q)$
Een hoge $S(q)$ duidt op een shortcut-gevoelige vraag (hoge tekstuele oplosbaarheid, lage visuele noodzakelijkheid), terwijl een lage of negatieve $S(q)$ een visueel nuttige vraag aangeeft.

2.3 Shortcut-bewuste Filtering

De auteurs stellen voor om een "gegronde" subset van de dataset te construeren door alleen vragen te behouden waar $S(q) \leq \tau$ . Deze filtering is training-vrij en continu, waardoor een afweging kan worden gemaakt tussen datadekking en het verwijderen van shortcut-gevoelige samples.

3. Belangrijkste Bijdragen

Audit van Traffic VideoQA Benchmarks: Het artikel auditeert vier publieke benchmarks (MM-AU, VRU-Accident, SUTD-TrafficQA en AccidentBench) met behulp van open-weight Vision-Language Models (VLMs) en tekst-alleen LLMs.
Diagnostische Metrieken: Introductie van Blind Gap en Visual Gain om modality collapse op dataset-niveau te kwantificeren.
Shortcut Score: Een nieuwe, continue, instantie-niveau metriek die tekst-alleen betrouwbaarheid combineert met visuele noodzakelijkheidssignalen om shortcut-gevoelige vragen te identificeren en te filteren zonder hulp bij training.
Filtering Framework: Een methode om "gegronde" evaluatiesubsets te genereren die shortcut-bias verminderen en visuele grounding-metrieken verbeteren.

de Experimentele Resultaten

De auteurs evalueerden meerdere VLMs (bijv. InternVL, Qwen-VL, LLaVA-OneVision) en tekst-alleen LLMs over de vier benchmarks.

Benchmark Verschillen:
- MM-AU: Vertoont extreme modality collapse. Het verwijderen van video verbeterde de accuratheid consistent, en het toevoegen van meer frames (tot 256) verslechterde de prestaties verder. De Blind Gap was hoog (tot 40,33%), en de Visual Gain was negatief voor alle VLMs. Tekst-alleen LLMs matchen of overtreffen de VLM-prestaties.
- VRU-Accident: Toonde een positieve Visual Gain, maar leed nog steeds onder een hoge Blind Gap (tot 25%), wat wijst op gedeeltelijke tekstuele oplosbaarheid.
- SUTD-TrafficQA: Demonstreerde de sterkste visuele afhankelijkheid, met een lage Blind Gap (<9%) en een consistent positieve Visual Gain (~11-12%).
- AccidentBench: Viel tussen deze extremen in met een lage Blind Gap en een bescheiden Visual Gain.
Effectiviteit van Filtering:
- Het toepassen van de Shortcut Score filter (met $\tau = 0,1$ ) op MM-AU en VRU-Accident verminderde de Blind Gap aanzienlijk en veranderde de negatieve Visual Gain in positieve waarden.
- Op MM-AU reduceerde filtering de BG van 25,70% naar 10,38% en verschoof de VG van -0,24% naar 7,42%.
- Binaire filtering baselines (LLM-Inspector, B-Clean) waren minder effectief; B-Clean verwijderde bijvoorbeeld ook visueel nuttige vragen samen met de shortcuts, wat resulteerde in een sterk negatieve Visual Gain.
Oorzaakanalyse: Het artikel identificeert repetitieve tekstpatronen en antwoordformuleringen (bijv. specifieke zinsstructuren die honderden keren voorkomen) als een primaire drijfveer van shortcuts in MM-AU.
Impact van Training: Het fine-tunen van modellen op verkeersdata verbeterde de video-accuraatheid, maar verbeterde niet noodzakelijkerwijs de visuele grounding (BG en VG bleven vlak of negatief op standaard subsets), wat suggereert dat winst in accuratheid niet gelijkstaat aan echte visuele redenering.

5. Betekenis en Claims

Het artikel claimt dat benchmark-accuratheid alleen onvoldoende is voor het evalueren van vooruitgang in veiligheidskritische VideoQA. De bevindingen onthullen dat:

Verschillende breed gebruikte verkeersongevallen-benchmarks modellen de ruimte geven om te slagen door gebruik te maken van tekstuele shortcuts in plaats van visueel bewijs.
Visueel gegronde evaluatie, gemeten met metrieken zoals Blind Gap en Visual Gain, essentieel is om genuwe redenering te onderscheiden van het exploiteren van shortcuts.
De voorgestelde Shortcut Score een praktische, training-vrije methode biedt om evaluatiesubsets te cureren die beter reflecteren op het vermogen van een model om visueel bewijs te gebruiken.
Toekomstige datasetconstructie moet repetitieve vraagformaten en identieke antwoordformuleringen vermijden om te voorkomen dat modellen hoogfrequente patronen exploiteren.

De auteurs concluderen dat voor multimodale systemen om betrouwbaar te zijn in veiligheidskritische domeinen, ze geëvalueerd moeten worden op hun vermogen om afhankelijk te zijn van visueel bewijs, en niet alleen op hun uiteindelijke accuraatheidsscores.