Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

Sintesi Tecnica: Diagnosi dei guasti alla affidabilità indotti da corruzione nei Vision-Language Models

Enunciato del Problema
Le attuali valutazioni dei modelli Vision-Language (VLM) sotto corruzione visiva si affidano pesantemente all'accuratezza top-1. Tuttavia, gli autori sostengono che l'accuratezza sia una metrica insufficiente per la affidabilità perché non riesce a catturare i cambiamenti nella struttura sottostante della predizione. Un modello può mantenere la risposta corretta pur perdendo il supporto distributivo (degradazione silenziosa), oppure può passare da una risposta errata a una corretta attraverso spostamenti instabili e iper-sicuri. Inoltre, i benchmark standard spesso includono campioni a bassa discriminatività dove le risposte rimangono stabili indipendentemente dalla corruzione, mascherando le differenze tra i modelli. Il documento identifica un "paradosso della qualità visiva" in cui corruzioni lievi talvolta migliorano l'accuratezza top-1, pur rimanendo incerto se tali guadagni riflettano una correzione affidabile o un comportamento instabile.

Metodologia
Per affrontare queste lacune, gli autori propongono BENCH-C, un banco di prova diagnostico controllato, e il Robustness Alignment Score (RAS), una metrica per misurare la affidabilità a livello di distribuzione.

1. Costruzione di BENCH-C:

   • Pool di Candidati: Gli autori aggregano 4.000 campioni da sei diversi benchmark a scelta multipla (es. SEEDBENCH2+, MMBENCH) che coprono compiti ricchi di testo, spaziali e di ragionamento fine-grained.
   • Protocollo di Corruzione: Applicano 19 corruzioni a fattore singolo (raggruppate in artefatti fotometrici, sfocatura, rumore, meteo e digitali) attraverso cinque livelli di severità ordinati, seguendo la convenzione ImageNet-C.
   • Selezione Diagnostica: Invece del campionamento casuale, BENCH-C seleziona campioni sensibili alla corruzione. Filtra i campioni in cui le predizioni variano attraverso i livelli di severità (misurato tramite l'impurità di Gini della traiettoria della risposta) e assicura la diversità semantica tramite selezione greedy sulle embedding di immagine e testo.
   • Dataset Finale: Il banco di prova risultante contiene 849 domande diagnostiche e 80.655 coppie immagine-domanda corrotte.

2. Diagnostica della Struttura della Predizione:

   • Gli autori analizzano la distribuzione di probabilità $p$ a livello di opzione piuttosto che solo la risposta argmax.
   • Spostamento dell'Incertezza ($\Delta S$): Misurato come la variazione dell'entropia normalizzata, indicando se la distribuzione diventa più piatta (meno decisiva) o più netta.
   • Spostamento dell'Allineamento Confidenza-Correttezza ($\Delta C$): Misurato come la variazione della differenza assoluta tra la confidenza top-1 del modello e la correttezza di tale predizione.
   • Robustness Alignment Score (RAS): Una metrica composita definita come $RAS = -\Delta C - [\Delta C]^+[-\Delta S]^+ - [-\Delta S]^+[\Delta C]^+$. Questo punteggio penalizza il "degrado iper-sicuro" (peggiore allineamento con minore entropia) e l' "esitazione di supporto" (migliore allineamento con maggiore entropia), premiando al contempo un migliore allineamento. Il RAS varia da -2 a 1.

3. Framework di Attribuzione:

   • Attribuzione della Sorgente: I cambiamenti sono attribuiti a campioni "originariamente corretti" ($Q_c$) vs "originariamente errati" ($Q_w$).
   • Attribuzione dello Stato: I campioni sono ulteriormente categorizzati in quattro stati basati sulla correttezza tra pulito e corrotto: $Q_{cc}$ (corretto $\to$ corretto), $Q_{cw}$ (corretto $\to$ errato), $Q_{wc}$ (errato $\to$ corretto) e $Q_{ww}$ (errato $\to$ errato).
   • Analisi della Traiettoria: Gli autori tracciano se i cambiamenti siano transitori o persistenti attraverso i cinque livelli di severità.

Risultati Chiave
Gli esperimenti su 13 VLM rivelano che i guasti alla affidabilità indotti dalla corruzione sono più strutturati di quanto suggerito dall'accuratezza:

• Discrepanza tra Accuratezza e Struttura: L'alta accuratezza "clean" non garantisce la robustezza. Ad esempio, Qwen2.5-VL aveva l'accuratezza clean più alta ma la maggiore perdita di accuratezza e il RAS più negativo. Al contrario, modelli con accuratezza clean inferiore esibivano talvolta una migliore robustezza strutturale (RAS).
• Degrado Nascosto: Sui campioni originariamente corretti ($Q_{cc}$), i modelli spesso mantengono la risposta corretta ma perdono il supporto distributivo (RAS negativo), indicando un degrado silenzioso.
• Guadagni Controintuitivi: I guadagni apparenti di accuratezza derivano spesso da transizioni "da errato a corretto" ($Q_{wc}$). Tuttavia, questi guadagni coesistono frequentemente con un significativo degrado sui campioni originariamente corretti. Il documento nota che corruzioni più forti possono far apparire le risposte originariamente errate come più corrette (spostamento strutturale positivo) mentre simultaneamente destabilizzano le predizioni originariamente corrette.
• Tendenze di Severità: All'aumentare della severità della corruzione, il danno ai campioni originariamente corretti diventa più negativo, mentre il miglioramento strutturale sui campoli originariamente errati diventa più positivo. Ciò suggerisce che la corruzione severa induce instabilità della struttura predittiva piuttosto che una correzione robusta.
• Tipi di Corruzione: La sfocatura (blur) è stata identificata come particolarmente dannosa per i campioni originariamente corretti, probabilmente a causa della perdita di contorni fine-grained e di indizi di grounding locale.

Significatività e Rivendicazioni
Il documento sostiene che BENCH-C e RAS forniscono un passaggio necessario dalla valutazione delle "risposte finali" alla valutazione della "struttura della predizione". La significatività risiede nel:

1. Rivelare Guasti Nascosti: Identificare che i modelli possono mantenere risposte corrette pur perdendo affidabilità (degrado silenzioso) o migliorare l'accuratezza attraverso meccanismi instabili.
2. Attribuire i Cambiamenti di Affidabilità: Distinguere tra il danno ai comportamenti affidabili e le correzioni di quelli inaffidabili, mostrando come i guadagni aggregati di accuratezza possano mascherare costi strutturali sottostanti.
3. Guidare l'Addestramento alla Robustezza: Gli autori suggeriscono che l'addestramento alla robustezza non dovrebbe semplicemente premiare l'invarianza della risposta, ma dovrebbe mirare a preservare l'allineamento confidenza-correttezza e il supporto distributivo, in particolare per l'evidenza visiva fine-grained.

Il lavoro conclude che la valutazione della robustezza deve andare oltre le metriche aggregate per includere analisi di sorgente, stato e traiettoria di severità, al fine di diagnosticare accuratamente dove e come avvengono i cambiamenti di affidabilità sotto degradazione visiva.