Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

Technische Samenvatting: Het diagnosticeren van door corruptie geïnduceerde betrouwbaarheidsfalen in Vision-Language Modellen

Probleemstelling
Huidige evaluaties van Vision-Language Modellen (VLM's) onder visuele corruptie leunen zwaar op top-1 nauwkeurigheid. De auteurs stellen echter dat nauwkeurigheid een onvoldoende metriek is voor betrouwbaarheid, omdat het er niet in slaagt veranderingen in de onderliggende voorspellingsstructuur te vangen. Een model kan het juiste antwoord behouden terwijl het distributionele ondersteuning verliest (stille degradatie), of het kan overstappen van een foutief naar een correct antwoord door instabiele, overmoedige verschuivingen. Bovendien bevatten standaard benchmarks vaak laag-onderscheidende monsters waarbij antwoorden stabiel blijven ongeacht corruptie, wat modelverschillen maskeert. Het papier identificeert een "visuele kwaliteitsparadox" waarbij milde corrupties de top-1 nauwkeurigheid soms verbeteren, terwijl het onduidelijk blijft of deze winsten reflecteren op een betrouwbare correctie of op instabiel gedrag.

Methodologie
Om deze hiaten aan te pakken, stellen de auteurs BENCH-C voor, een gecontroleerde diagnostische testomgeving, en de Robustness Alignment Score (RAS), een metriek voor het meten van betrouwbaarheid op distributieniveau.

1. BENCH-C Constructie:

   • Kandidatenpool: De auteurs aggregeren 4.000 monsters uit zes diverse meerkeuze-benchmarks (bijv. SEEDBENCH2+, MMBENCH) die tekstrijke, ruimtelijke en fijnmazige redeneertaken dekken.
   • Corruptieprotocol: Ze passen 19 enkelvoudige factorcorrupties toe (gegroepeerd in fotometrische, onscherpte, ruis, weer en digitale artefacten) over vijf opeenvolgende ernstgraden, volgens de ImageNet-C conventie.
   • Diagnostische Selectie: In plaats van willekeurige bemonstering selecteert BENCH-C monsters die gevoelig zijn voor corruptie. Het filtert voor monsters waar voorspellingen variëren over ernstgraden (gemeten door de Gini-onzuiverheid van de antwoordtrajectorie) en waarborgt semantische diversiteit via selectie op basis van beeld- en tekstembeddings.
   • Einddataset: De resulterende testomgeving bevat 849 diagnostische vragen en 80.655 gecorrumpeerde beeld-vraagparen.

2. Voorspellingsstructuur Diagnostiek:

   • De auteurs analyseren de optie-niveau waarschijnlijkheidsverdeling $p$ in plaats van alleen het argmax-antwoord.
   • Onzekerheidsverschuiving ($\Delta S$): Gemeten als de verandering in genormaliseerde entropie, wat aangeeft of de verdeling platter (minder besluitvaardig) of scherper wordt.
   • Confidence-Correctness Alignment Shift ($\Delta C$): Gemeten als de verandering in het absolute verschil tussen de top-1 confidence van het model en de juistheid van die voorspelling.
   • Robustness Alignment Score (RAS): Een samengestelde metriek gedefinieerd als $RAS = -\Delta C - [\Delta C]^+[-\Delta S]^+ - [-\Delta S]^+[\Delta C]^+$. Deze score straft "overmoedige degradatie" (slechtere uitlijning met lagere entropie) en "haperende ondersteuning" (betere uitlijning met hogere entropie) af, terwijl het verbeterde uitlijning beloont. RAS varieert van -2 tot 1.

3. Attributiekader:

   • Bronattributie: Veranderingen worden toegeschreven aan "oorspronkelijk correcte" ($Q_c$) versus "oorspronkelijk foutieve" ($Q_w$) monsters.
   • Toestandsattributie: Monsters worden verder gecategoriseerd in vier toestanden op basis van de correctheid bij clean versus gecorrumpeerde beelden: $Q_{cc}$ (correct $\to$ correct), $Q_{cw}$ (correct $\to$ fout), $Q_{wc}$ (fout $\to$ correct), en $Q_{ww}$ (fout $\to$ fout).
   • Trajectanalyse: De auteurs volgen of veranderingen transient of persistent zijn over de vijf ernstgraden.

Belangrijkste Resultaten
Experimenten op 13 VLM's onthullen dat corruptie-geïnduceerde betrouwbaarheidsfalen gestructureerder zijn dan de nauwkeurigheid suggereert:

• Mismatch tussen Nauwkeurigheid en Structuur: Hoge schone nauwkeurigheid garandeert geen robuustheid. Bijvoorbeeld, Qwen2.5-VL had de hoogste schone nauwkeurigheid maar het grootste nauwkeurigheidsverlies en de meest negatieve RAS. Daarentegen vertoonden modellen met een lagere schone nauwkeurigheid soms een betere structurele robuustheid (RAS).
• Verborgen Degradatie: Op oorspronkelijk correcte monsters ($Q_{cc}$) behielden modellen vaak het juiste antwoord maar verloren ze distributionele ondersteuning (negatieve RAS), wat wijst op stille degradatie.
• Contraintuïtieve Winsten: Schijnbare nauwkeurigheidswinsten komen vaak voort uit "fout-naar-correct" transities ($Q_{wc}$). Deze winsten gaan echter vaak samen met significante degradatie op oorspronkelijk correcte monsters. Het papier merkt op dat sterkere corrupties oorspronkelijk foutieve antwoorden er meer correct kunnen doen lijken (positieve structurele verschuiving), terwijl ze tegelijkertijd oorspronkelijk correcte voorspellingen destabiliseren.
• Erstentrends: Naarmate de corruptie Ernst toeneemt, wordt de schade aan oorspronkelijk correcte monsters negatiever, terwijl de structurele verbetering op oorspronkelijk foutieve monsters positiever wordt. Dit suggereert dat ernstige corruptie voorspellings-structuurinstabiliteit induceert in plaats van robuuste correctie.
• Corruptietypes: Onscherpte (blur) werd geïdentificeerd als bijzonder schadelijk voor oorspronkelijk correcte monsters, waarschijnlijk door het verlies van fijnmazige contouren en lokale grounding-kenmerken.

Betekenis en Claims
Het papier beweert dat BENCH-C en RAS een noodzakelijke verschuiving bieden van het evalueren van "uiteindelijke antwoorden" naar het evalueren van "voorspellingsstructuur". De betekenis ligt in:

1. Het Onthullen van Verborgen Falen: Identificeren dat modellen correcte antwoorden kunnen behouden terwijl ze betrouwbaarheid verliezen (stille degradatie) of nauwkeurigheid kunnen verbeteren via instabiele mechanismen.
2. Het Attribueren van Betrouwbaarheidsveranderingen: Het onderscheiden van schade aan betrouwbaar gedrag en correcties van onbetrouwbaar gedrag, waarbij wordt aangetoond dat geaggregeerde nauwkeurigheidswinsten onderliggende structurele kosten kunnen maskeren.
3. Het Sturen van Robuustheidstraining: De auteurs suggereren dat robuustheidstraining niet alleen antwoordinvariantie moet belonen, maar ook moet streven naar het behoud van confidence-correctness alignment en distributionele ondersteuning, met name voor fijnmazige visuele bewijslast.

Het werk concludeert dat robuustheidsevaluatie verder moet gaan dan geaggregeerde metrieken en ook bron-, toestand- en ernst-trajectanalyses moet bevatten om accuraat te diagnosticeren waar en hoe betrouwbaarheidsveranderingen optreden onder visuele degradatie.