Sintesi Tecnica: Dalla Precisione alla Dipendenza Visiva: Audit e Filtraggio del Collasso Modale nel VideoQA del Traffico

1. Definizione del Problema

L'elevata precisione nei benchmark per il Video Question Answering (VideoQA) non garantisce che i modelli stiano utilizzando prove visive. Nel dominio dell'analisi degli incidenti stradali, le risposte corrette dovrebbero teoricamente dipendere da indizi visivi specifici della scena (ad es., interazioni tra veicoli, dinamiche temporali, strutture causali). Tuttavia, i modelli spesso mostrano un collasso modale, in cui si affidano a scorciatoie testuali, priorità linguistiche o artefatti specifici del dataset per rispondere correttamente, ignorando di fatto l'input video.

Questo modo di fallimento è particolarmente critico nelle applicazioni critiche per la sicurezza come l'analisi degli incidenti stradali, dove i sistemi devono avere successo perché comprendono la scena visiva, non perché sfruttano artefatti di annotazione. Il paper sostiene che gli attuali benchmark spesso non riescono a distinguere tra il vero ragionamento visivo e lo sfruttamento di scorciatoie, poiché un'elevata precisione può essere raggiunta anche quando l'input video viene rimosso o quando l'aggiunta di più frame degrada le prestazioni.

2. Metodologia

Gli autori propongono un framework diagnostico per auditare e filtrare il collasso modale sia a livello di dataset che a livello di istanza.

2.1 Diagnostica a livello di Dataset

Gli autori introducono due metriche per quantificare la dipendenza visiva attraverso un benchmark:

• Blind Gap (BG): Misura quanto la precisione del solo testo ecceda il caso casuale.
  $$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$$
  Un BG elevato indica che il benchmark è risolvibile utilizzando solo il testo.
• Visual Gain (VG): Misura il beneficio marginale dell'aggiunta dell'input video.
  $$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$$
  Un VG positivo indica prove visive utili, mentre un VG negativo suggerisce che l'input video degradi attivamente le prestazioni o venga ignorato.

2.2 Diagnostica delle Scorciatoie a livello di Istanza

Per identificare le domande specifiche che guidano il comportamento di scorciatoia, gli autori definiscono un Punteggio di Scorciatoia (Shortcut Score $S(q)$) continuo per ogni domanda $q$:

• Punteggio di Evidenza Testuale ($T(q)$): Misura la confidenza e la correttezza dei Large Language Models (LLM) basati solo sul testo. È calcolato come la media delle predizioni corrette pesate sulla confidenza attraverso un panel di modelli solo-testo.
  $$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$$
• Punteggio di Necessità Visiva ($V(q)$): Misura se l'aggiunta del video aumenta la probabilità assegnata alla risposta corretta.
  $$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$$
  dove $\Delta_m(q)$ è il guadagno di probabilità per la risposta corretta quando viene aggiunto il video.
• Punteggio di Scorciatoia ($S(q)$): Combina questi segnali:
  $$S(q) = T(q) - V(q)$$
  Un $S(q)$ elevato indica una domanda soggetta a scorciatoie (alta risolvibilità testuale, bassa necessità visiva), mentre un $S(q)$ basso o negativo indica una domanda visivamente utile.

2.3 Filtraggio Consapevole delle Scorciatoie

Gli autori propongono di costruire un sottoinsieme "fondato" (grounded) del dataset mantenendo solo le domande in cui $S(q) \leq \tau$. Questo filtraggio è privo di addestramento (training-free) e continuo, permettendo un compromesso tra la copertura dei dati e la rimozione dei campioni soggetti a scorciatoie.

3. Contributi Chiave

1. Audit dei Benchmark di Traffic VideoQA: Il paper esamina quattro benchmark pubblici (MM-AU, VRU-Accident, SUTD-TrafficQA e AccidentBench) utilizzando modelli Vision-Language (VLM) open-weight e LLM solo-testo.
2. Metriche Diagnostiche: Introduzione di Blind Gap e Visual Gain per quantificare il collasso modale a livello di dataset.
3. Punteggio di Scorciatoia: Un nuovo metrica continua a livello di istanza che combina la confidenza solo-testo con i segnali di necessità visiva per identificare e filtrare le domande soggette a scorciatoie senza addestramento ausiliario.
4. Framework di Filtraggio: Un metodo per generare sottoinsiemi di valutazione "fondati" che riducono il bias delle scorciatoie e migliorano le metriche di grounding visivo.

4. Risultati Sperimentali

Gli autori hanno valutato molteplici VLM (ad es., InternVL, Qwen-VL, LLaVA-OneVision) e LLM solo-testo attraverso i quattro benchmark.

• Disparità tra i Benchmark:
  • MM-AU: Mostra un estremo collasso modale. La rimozione del video ha migliorato costantemente la precisione, e l'aggiunta di più frame (fino a 256) ha ulteriormente degradato le prestazioni. Il Blind Gap era elevato (fino al 40,33%), e il Visual Gain era negativo per tutti i VLM. Gli LLM solo-testo eguagliavano o superavano le prestazioni dei VLM.
  • VRU-Accident: Ha mostrato un Visual Gain positivo, ma soffriva comunque di un alto Blind Gap (fino al 25%), indicando una parziale risolvibilità testuale.
  • SUTD-TrafficQA: Ha dimostrato la più forte dipendenza visiva, con un basso Blind Gap (<9%) e un Visual Gain costantemente positivo (~11-12%).
  • AccidentBench: Si è collocato tra questi estremi con un basso Blind Gap e un modesto Visual Gain.
• Efficacia del Filtraggio:
  • L'applicazione del filtro del Punteggio di Scorciatoia (con $\tau = 0.1$) a MM-AU e VRU-Accident ha ridotto significativamente il Blind Gap e ha trasformato il Visual Gain negativo in valori positivi.
  • Su MM-AU, il filtraggio ha ridotto il BG dal 25,70% al 10,38% e ha spostato il VG da -0,24% a 7,42%.
  • I baseline di filtraggio binario (LLM-Inspector, B-Clean) sono stati meno efficaci; B-Clean, ad esempio, ha rimosso domande visivamente utili insieme alle scorciatoie, risultando in un Visual Gain fortemente negativo.
• Analisi delle Cause Radice: Il paper identifica i pattern testuali ripetitivi e le formulazioni delle risposte (ad es., strutture di frasi specifiche che appaiono centinaia di volte) come il principale driver delle scorciatoie in MM-AU.
• Impatto dell'Addestramento: Il fine-tuning dei modelli sui dati del traffico ha migliorato la precisione video ma non ha necessariamente migliorato il grounding visivo (BG e VG sono rimasti piatti o negativi sui subset standard), suggerendo che i guadagni di precisione non equivalgono a un vero ragionamento visivo.

5. Significato e Rivendicazioni

Il paper sostiene che la sola precisione del benchmark è insufficiente per valutare il progresso nel VideoQA in contesti critici per la sicurezza. Le scoperte rivelano che:

• Diversi benchmark di incidenti stradali ampiamente utilizzati permettono ai modelli di avere successo sfruttando scorciatoie testuali piuttosto che prove visive.
• Una valutazione visivamente fondata, misurata tramite metriche come Blind Gap e Visual Gain, è essenziale per distinguere il vero ragionamento dallo sfruttamento di scorciatoie.
• Il proposto Punteggio di Scorciatoia fornisce un meccanismo pratico e privo di addestramento per curare sottoinsiemi di valutazione che riflettano meglio la capacità di un modello di utilizzare prove visive.
• La costruzione di futuri dataset deve evitare formati di domande ripetitivi e formulazioni di risposte identiche per impedire ai modelli di sfruttare pattern ad alta frequenza.

Gli autori concludono che, affinché i sistemi multimodali siano affidabili in domini critici per la sicurezza, devono essere valutati sulla loro capacità di dipendere da prove visive, non solo sul loro punteggio finale di precisione.