VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models

Dit paper introduceert VLM-RobustBench, een uitgebreid benchmark voor visueel-taalmodellen dat aantoont dat deze modellen semantisch sterk maar ruimtelijk kwetsbaar zijn, waarbij zelfs lichte geometrische vervormingen hun prestaties aanzienlijk meer beïnvloeden dan zware visuele corrupties.

De kern

De "VLM-RobustBench": Waarom slimme AI's soms verblinden door een simpele foto

Stel je voor dat je een groep superintelligente robots hebt die zowel kunnen kijken als kunnen lezen. Ze zijn getraind om foto's te analyseren en vragen daarover te beantwoorden, alsof ze een combinatie zijn van een fotograaf en een filosoof. In de perfecte wereld van het laboratorium, met heldere, scherpe foto's, scoren deze robots fantastisch. Ze lijken onfeilbaar.

Maar wat gebeurt er als je ze in de echte wereld zet? Waar het regent, de camera wazig is, of de foto een beetje scheef staat?

Dit is precies wat het onderzoek VLM-RobustBench onderzoekt. De auteurs hebben een enorme test ontwikkeld om te zien hoe deze slimme robots reageren als hun "ogen" worden misleid door alledaagse storingen.

Hier is wat ze hebben ontdekt, vertaald naar begrijpelijke taal:

1. De Grote Verrassing: Het is niet altijd de "slechte kwaliteit" die het probleem is

Je zou denken: "Als ik een foto heel erg vervorm, met veel ruis en vage kleuren, dan zal de robot het niet meer begrijpen." Dat is logisch, maar de robots doen het tegenovergestelde.

• De analogie: Stel je voor dat je een boek leest. Als je de pagina's heel vies maakt (vlekken, gekreukt papier), kun je de tekst nog steeds lezen. Maar als je de pagina's in de juiste volgorde verwisselt of een paar regels een beetje scheef zet, raak je de draad volledig kwijt.
• De bevinding: De robots zijn heel goed in het negeren van "slechte kwaliteit" (zoals korrelige beelden of regen). Maar ze zijn extreem kwetsbaar voor simpele ruimtelijke veranderingen. Een heel lichte vervorming (zoals een "glasblur" die de foto net iets wazig maakt alsof je erdoorheen kijkt) of een simpele herhaling van de afbeelding (upsample) kan hun prestaties met een klap laten zakken.
• Het resultaat: Een simpele, bijna onzichtbare vervorming kan de robot 34% minder goed laten presteren dan een foto die eruitziet alsof hij door een modderpoel is gehaald.

2. De "Spiegel" en de "Omgekeerde Kleuren"

De onderzoekers hebben ook simpele trucs geprobeerd, zoals het spiegelen van een foto (linksom/rechtsom) of het omkeren van de kleuren (zwart wordt wit).

• De analogie: Het is alsof je iemand die perfect Nederlands spreekt, plotseling een tekst voorhoudt die van achteren naar voren wordt gelezen. De woorden zijn er nog, maar de betekenis is weg.
• De bevinding: Voor deze robots is een verticaal gespiegelde foto een nachtmerrie. Ze verliezen hun oriëntatie volledig. Op een test met visuele vragen (MMBench) zorgde een simpele spiegeling voor een catastrofaal falen, terwijl zware ruis (zoals statische op een oude TV) ze nauwelijks stoorde. Dit betekent dat ze niet echt "begrijpen" wat ze zien, maar eerder patronen herkennen die heel gevoelig zijn voor de richting.

3. Twee verschillende soorten slimheid

De onderzoekers hebben de robots op twee soorten tests gezet:

1. Visuele tests: "Welk dier zit er op de foto?" (Hier moeten ze echt kijken).
2. Redeneer-tests: "Wat is de logica achter deze situatie?" (Hier kunnen ze meer vertrouwen op hun taal-kennis).

• De bevinding: Bij de visuele tests waren de robots erg kwetsbaar voor de simpele vervormingen. Bij de redeneer-tests waren ze sterker, omdat ze de antwoorden soms uit hun "taalgeheugen" haalden in plaats van echt naar de foto te kijken. Het is alsof ze bij moeilijke vragen zeggen: "Ik weet niet wat ik zie, maar ik gok dat het antwoord B is omdat dat vaak het geval is."

4. Waarom is dit belangrijk?

Deze robots worden steeds vaker gebruikt in veilige systemen, zoals zelfrijdende auto's of medische diagnose-apparatuur.

• Het gevaar: Als een zelfrijdende auto een robot is die getraind is op perfecte foto's, en hij rijdt door een regenbui of ziet een wegverkeersbord dat door de zon een beetje vervormd wordt, kan hij in paniek raken of een verkeerde beslissing nemen.
• De les: We moeten deze robots niet alleen trainen op mooie foto's, maar ze ook leren omgaan met "ruis", spiegelingen en vervormingen. Ze moeten leren dat een auto nog steeds een auto is, zelfs als de foto eruitziet alsof hij door een wazig glas is genomen.

Samenvatting in één zin

Deze studie laat zien dat onze slimste beeld-taal-robots momenteel sterk in woorden maar zwak in ruimte zijn: ze kunnen prachtige verhalen vertellen over wat ze zien, maar als je de foto een beetje scheef zet of wazig maakt, raken ze volledig de weg kwijt.

De boodschap aan de ontwikkelaars? Stop met alleen maar "mooie foto's" te gebruiken om ze te trainen, en begin ze te oefenen met de rommelige, imperfecte realiteit van onze wereld.

Technische samenvatting

1. Het Probleem

Vision-Language Models (VLMs) presteren momenteel uitstekend op gestructureerde, hoogwaardige datasets. Echter, er is een gebrek aan inzicht in hoe deze modellen presteren onder realistische omstandigheden, waarbij beelden vaak vervormd zijn door sensorruis, weersinvloeden, compressie-artefacten of geometrische veranderingen.

Bestaande benchmarks voor robuustheid (zoals ImageNet-C voor visuele modellen) zijn niet volledig overdraagbaar naar VLMs. Een centrale uitdaging is het begrijpen of taalkundig redeneren visuele waarneming kan compenseren wanneer de input degraded is. Bovendien wordt vaak aangenomen dat visuele ernst (severity) lineair correleert met modelmoeilijkheid: hoe vervormder het beeld, hoe slechter de prestatie. Het paper stelt deze aanname ter discussie voor multimodale modellen.

2. Methodologie: VLM-RobustBench

De auteurs introduceren VLM-RobustBench, een uitgebreid benchmark-framework om de robuustheid van VLMs systematisch te evalueren onder visuele corrupties.

• Augmentatie Taxonomie: Het benchmark omvat 49 verschillende augmentatietypes, onderverdeeld in:
  • 42 severity-gebaseerde corrupties: Deze worden getest op drie niveaus (laag, gemiddeld, hoog) en vallen onder negen categorieën: Blur, Noise, Weather, Digital, Geometric, Occlusion, Color/Tone, Resolution en VLM-specifiek (bijv. tekst-overlay, watermerk).
  • 7 binaire transformaties: Deze hebben geen severity-niveau en worden één keer toegepast (bijv. grijs maken, invert, spiegelen).
  • Dit resulteert in 133 unieke corruptie-instellingen per model-datasetcombinatie.
• Datasets: De evaluatie vindt plaats op twee complementaire benchmarks:
  • MMBench: Gericht op visueel onderbouwde taken (visuele waarneming).
  • MMMU-Pro: Gericht op complex redeneren en expertkennis.
• Modellen: Er worden 11 VLMs geëvalueerd uit vier families: Qwen3-VL, InternVL3.5, Molmo2 en Gemma3. De modellen variëren in grootte van 4B tot 30B parameters.
• Metrieken:
  • Accuracy Drop ($\Delta$): Het verschil in nauwkeurigheid tussen schone en vervormde beelden.
  • Visual Gain (VG): Maatstaf voor de afhankelijkheid van visuele input versus taalkundige prioren ($Acc_{clean} - Acc_{no-image}$).
  • Relative Corruption Error (RCE): Normaliseert de impact van corruptie op basis van de visuele afhankelijkheid van het model.
  • Worst-Case Drop & Severe-Failure Rate: Focus op tail-risk (extreme falen).

3. Belangrijkste Bijdragen en Bevindingen

A. De "Spatial Fragility" (Ruimtelijke Kwetsbaarheid)

De meest opvallende bevinding is dat VLMs semantisch sterk maar ruimtelijk fragiel zijn.

• Modellen zijn disproportioneel gevoelig voor resampling-artefacten (zoals upsample) en geometrische vervormingen (zoals elastic transform).
• Een upsample-operatie of een lichte geometrische vervorming kan leiden tot catastrofale prestatiedalingen van tot wel 34 percentagepunten (pp).
• Daarentegen worden zware fotometrische degradaties (zoals ruis of JPEG-compressie) vaak robuust gehanteerd.

B. Het "Severity Mismatch" (Ernst-Mismatch)

De aanname dat visuele ernst gelijkstaat aan modelmoeilijkheid, blijkt onjuist.

• Lage ernst kan dodelijker zijn: Een glass blur met lage ernst veroorzaakt een grotere daling in nauwkeurigheid (ca. 8 pp op MMBench) dan veel corrupties met hoge ernst (zoals helderheidsverlaging).
• Niet-monotone gedrag: Bij sommige augmentaties (zoals glass blur) neemt de prestatiedaling niet toe naarmate de ernst toeneemt; soms is de lage ernst erger dan de hoge ernst.

C. Catastrofale Binaire Transformaties

Triviale transformaties zonder geleerde parameters blijken verwoestend:

• Verticale spiegeling (Vertical Flip) en Kleurinvertie (Color Invert) veroorzaken catastrofale dalingen op MMBench (respectievelijk 10,3 pp en 10,1 pp).
• Verticale spiegeling is schadelijker dan 39 van de 42 corrupties met hoge ernst, wat suggereert dat VLMs sterke oriëntatie-priors hebben.

D. Familie-specifieke Kwetsbaarheden

Robuustheid is geen functie van het aantal parameters. Verschillende modelfamilies hebben unieke "vingerafdrukken" van kwetsbaarheid:

• InternVL3.5 is bijvoorbeeld zeer gevoelig voor pixelatie en ruis.
• Qwen3-VL toont over het algemeen betere robuustheid tegen resampling, maar heeft specifieke zwaktes.
• Dit wijst erop dat architecturale keuzes een doorslaggevende rol spelen in faalmodi.

4. Resultaten en Analyse

• Visuele vs. Taalafhankelijkheid: Op MMBench (visueel gericht) is de Visual Gain hoog, wat betekent dat modellen sterk afhankelijk zijn van het beeld. Op MMMU-Pro (redenerend) is de Visual Gain lager, wat aangeeft dat modellen vaker terugvallen op taalkundige prioren.
• Tail-Risk: Hoewel de meeste corrupties onschadelijk zijn, wordt de prestatie gedomineerd door een klein aantal "catastrophale" transformaties (voornamelijk resampling en geometrie).
• Flip Rates: Analyse van antwoord-flips toont aan dat ruimtelijke corrupties veel vaker leiden tot het verkeerd beantwoorden van eerder correcte vragen dan fotometrische corrupties.

5. Significantie en Aanbevelingen

Dit onderzoek heeft grote implicaties voor de ontwikkeling en inzet van VLMs in veiligheidskritische toepassingen (zoals autonoom rijden, medische diagnose en robotica).

Aanbevelingen voor de gemeenschap:

1. Geometrische Data Augmentatie: Trainingspijplijnen moeten voorbijgaan aan kleurjitter en mixup; zware resampling, elastische vervormingen, spiegelingen en blur moeten standaard worden opgenomen in het pre-training.
2. Robuustheidsbewuste Evaluatie: Benchmarks moeten prestaties rapporteren op gesplitste sets voor ruimtelijke corrupties om modellen die kwetsbaar zijn voor simpele geometrische veranderingen te straffen.
3. Visuele Afhankelijkheid: Modelproviders moeten resultaten publiceren voor taakstellingen die echt visueel onderbouwd zijn om te tonen of hun modellen daadwerkelijk "zien" of alleen "gissen" op basis van taal.
4. Familie-specifiek Curriculum: Training moet gericht zijn op de specifieke faalmodi van een architectuur in plaats van generieke ruis.

Conclusie:
VLM-RobustBench onthult dat huidige state-of-the-art VLMs kwetsbaar zijn voor subtiele ruimtelijke en resampling-vervormingen, ondanks hun sterke semantische redeneervermogen. Dit onderstreept de noodzaak van nieuwe evaluatieprotocollen en trainingsregimes die zich richten op geometrische invariantie en resampling-robuustheid.