OODBench: Out-of-Distribution Benchmark for Large Vision-Language Models

Dit paper introduceert OODBench, een geautomatiseerd benchmark voor het evalueren van de prestaties van Large Vision-Language Models op out-of-distribution data, waarbij wordt aangetoond dat bestaande modellen aanzienlijke prestatieverlies vertonen en een nieuwe, betrouwbare meetmethode voor deze uitdaging wordt gepresenteerd.

De kern

🚗 De "Onbekende Weg" voor Slimme Camera's

Stel je voor dat je een zeer slimme, zelflerende chauffeur hebt. Deze chauffeur heeft miljoenen kilometers gereden op bekende wegen: strakke asfaltwegen, heldere zonneschijn en duidelijke verkeersborden. Hij kent elke bocht en elk stoplicht uit zijn hoofd. We noemen dit ID-data (In-Distribution): data waar de computer al mee is getraind.

Maar wat gebeurt er als deze chauffeur plotseling op een weg belandt die hij nog nooit heeft gezien?

• Een weg waar de bomen in de vorm van auto's zijn gesnoeid.
• Een stopbord dat eruitziet als een pizza.
• Een voetganger die op een skateboard rijdt, maar dan gemaakt van taart.

Dit noemen we OOD-data (Out-of-Distribution). Het zijn situaties die wel bekend lijken (het is nog steeds een weg, een bord of een persoon), maar er net anders uitzien dan wat de computer in zijn "schoolboeken" heeft geleerd.

Het paper OODBench vertelt ons een belangrijk verhaal: Onze slimste AI's (zoals GPT-4o of Gemini) zijn verrassend slecht in het omgaan met deze "onbekende wegen".

🧪 Wat is OODBench eigenlijk?

Vroeger testten wetenschappers AI's met rare, vreemde dingen die niemand in het echte leven ziet (bijvoorbeeld een paard met drie poten). Maar in de echte wereld zijn de problemen vaak subtieler.

De auteurs van dit paper hebben een nieuwe testbank gebouwd, OODBench, die werkt als een gigantische, geautomatiseerde "verrassingstest".

1. De Opdracht: Ze nemen foto's van alledaagse dingen (auto's, mensen, stoelen) en kijken naar de "rare" details. Bijvoorbeeld: een stoel die eruitziet als een bloem, of een auto die half in de grond zit.
2. De Automatische Vinder: In plaats dat duizenden mensen elke foto moeten bekijken, gebruiken ze slimme software (zoals CLIP en BLIP2) die als een detective fungeert. Deze detectives zoeken naar foto's die de AI "verwart". Als de AI denkt: "Dit is een stoel", maar de foto toont iets dat er heel anders uitziet, dan is het een OOD-voorbeeld.
3. De Test: Ze hebben zo'n 40.000 van deze "verwarrende" voorbeelden verzameld. Dit is hun nieuwe examen voor AI's.

📉 Wat hebben ze ontdekt? (De Teleurstellende Resultaten)

Toen ze de beste AI's van dit moment (zoals GPT-4o, Gemini, LLaVA) deze test lieten doen, gebeurde er iets verrassends:

• Op bekende wegen (ID-data): De AI's scoorden perfect, bijna 90-95%. Ze waren super slim.
• Op de "onbekende wegen" (OOD-data): De scores vielen drastisch! Vaak zakte de prestatie met 20% tot 30%.

Zelfs de allerbeste AI's (zoals GPT-4o) konden niet goed omgaan met deze situaties. Ze begonnen te hallucineren (dingen verzinnen) of gaven gewoon het verkeerde antwoord, zelfs als het object dat ze zagen heel gewoon was (zoals een auto), maar net iets anders dan ze gewend waren.

De Metafoor: Het is alsof een student die alle wiskundeproblemen uit het boek uit zijn hoofd kent, een examen krijgt met een probleem dat er net anders uitziet. Hij raakt in paniek en maakt fouten, terwijl hij de basisprincipes eigenlijk wel zou moeten kennen.

📏 De "Stap-voor-Stap" Test (BAP-metriek)

Om te zien waarom de AI's faalden, hebben de auteurs een slimme testmethode bedacht, genaamd Basic-to-Advanced Progression (BAP). Stel je dit voor als een trap van moeilijkheidsgraden:

1. De Basis (Bestaan): "Zie je hier een auto?" (Ja/Nee).
   • Resultaat: De AI's deden het hier nog redelijk goed.
2. De Tussenstap (Aantellen): "Hoeveel auto's zie je?"
   • Resultaat: Hier begonnen ze al te struikelen. Ze zagen de auto, maar konden ze niet goed tellen.
3. De Top (Redeneren): "Zijn er meer auto's dan fietsen?"
   • Resultaat: Hier vielen ze volledig uit elkaar. Ze konden de losse stukjes niet meer logisch aan elkaar knopen.

Dit toont aan dat AI's goed zijn in het herkennen van beelden, maar slecht in het begrijpen en redeneren over beelden die afwijken van hun training.

🤔 Wat betekent dit voor de toekomst?

Dit paper is een wake-up call voor de wereld van kunstmatige intelligentie.

• Veiligheid: Als we AI's in zelfrijdende auto's of ziekenhuizen zetten, mogen ze niet faals als ze iets "anders" zien. Als een AI een voetganger mist omdat die een vreemde jas draagt, kan dat dodelijk zijn.
• Geen "Grootte" Oplossing: De auteurs ontdekten dat het simpelweg groter maken van de AI (meer parameters) niet helpt. Een gigantische AI faalt net zo goed op deze rare situaties als een kleinere. Het probleem zit in de manier waarop ze leren, niet in hoe groot ze zijn.
• Nieuwe Richting: We moeten AI's niet alleen trainen op "perfecte" data, maar ze leren omgaan met de chaos en de variatie van de echte wereld.

Samenvattend

OODBench is een nieuwe, strenge test die laat zien dat onze slimste computers nog steeds heel kwetsbaar zijn voor situaties die net iets afwijken van wat ze hebben geleerd. Het is alsof we ze hebben opgeleid voor een race op een circuit, maar we willen dat ze ook kunnen rijden in de modder. Totdat we dat oplossen, moeten we voorzichtig zijn met het vertrouwen op AI in kritieke situaties.

Technische samenvatting

Probleemstelling

Bestaande Vision-Language Models (VLMs), zoals GPT-4o, Gemini en LLaVA, hebben aanzienlijke vooruitgang geboekt door te worden getraind op enorme datasets, vaak onder de aanname dat data onafhankelijk en identiek verdeeld (IID) is. In real-world scenario's (bijv. autonoom rijden of medische hulp) is deze aanname echter vaak onrealistisch. Wanneer AI-systemen worden geconfronteerd met Out-of-Distribution (OOD) data, kunnen ze falen, wat tot veiligheidsrisico's leidt.

De huidige uitdagingen zijn:

1. Gebrek aan benchmarks: Er zijn geen geldige benchmarks die de prestaties van VLMs op OOD-data in realistische situaties kunnen beoordelen.
2. Onjuiste focus: Bestaande OOD-onderzoek richt zich vaak op semantische verschuivingen (nieuwe, zeldzame categorieën). Echter, moderne VLMs zijn vaak "category-agnostic" (ze kennen veel categorieën), waardoor het testen op zeldzame objecten niet representatief is voor de echte uitdagingen.
3. Covariatenverschuiving: De echte uitdaging ligt vaak in covariatenverschuivingen (C-OOD), waarbij de labels hetzelfde blijven, maar de data-distributie verandert (bijv. een object in een ongebruikelijke context, een variant van een object, of een niet-hoofdobject dat toch relevant is voor de vraag).

Methodologie

De auteurs introduceren OODBench, een grotendeels geautomatiseerde methode om een benchmark te construeren die zich richt op covariatenverschuivingen binnen veelvoorkomende categorieën.

1. Definitie van OOD-data voor VLMs:
In plaats van nieuwe categorieën te zoeken, definiëren de auteurs OOD-data vanuit het perspectief van semantisch leren van VLMs:

• Objecten in een afbeelding die geen hoofdobject zijn en semantisch niet gerelateerd zijn aan het hoofdobject.
• Varianten of abnormale vormen van het doelobject (bijv. een skateboard gemaakt van taart).

2. Geautomatiseerde Data-verdelingspiplijn:
Om handmatige screening van duizenden voorbeelden te vermijden, gebruiken ze een cross-validatie-methode met meerdere "generalized OOD detectors":

• Detectors: Ze gebruiken off-the-shelf modellen zoals CLIP en BLIP2 als OOD-detectoren.
• Purify-operatie: Om interferentie tussen labels te voorkomen (bijv. als een afbeelding zowel een kat als een hond bevat), wordt een "purify"-stap toegepast om de logit-scores van niet-geselecteerde labels op $-\infty$ te zetten.
• Classificatie:
  • OOD-Hard (OOD-H): Data die door beide detectors (CLIP en BLIP2) als OOD wordt geïdentificeerd (het snijpunt). Dit wordt gezien als de meest betrouwbare OOD-data.
  • OOD-Simple (OOD-S): Data die door slechts één detector als OOD wordt geïdentificeerd (het symmetrisch verschil).
• Validatie: Een lichte handmatige spot-check zorgt voor kwaliteit, maar het proces is primair geautomatiseerd.

3. Evaluatiemetric: Basic-to-Advanced Progression (BAP):
Om de impact van OOD-data op verschillende cognitieve niveaus te meten, stellen ze een progressieve vragenreeks voor:

• Existential (E-Acc): Is er een bepaald object in de afbeelding? (Ja/Nee).
• Counting (C-Acc): Hoeveel van dit object zijn er? (Getal).
• Logical Reasoning (L-Acc): Is het aantal van object A groter dan object B? (Ja/Nee).
  Deze stapsgewijze aanpak evalueert niet alleen herkenning, maar ook kwantitatieve waarneming en logisch redeneren.

4. Dataselectie:
De benchmark bevat ongeveer 40.000 instantie-niveau OOD-paren, afkomstig van natuurlijke scènes (COCO, LVIS) en autonoom rijden (nuScenes, Cityscapes).

Belangrijkste Bijdragen

1. OODBench: Een schaalbaar, grotendeels geautomatiseerd benchmark-framework voor VLMs dat zich richt op covariatenverschuivingen in veelvoorkomende categorieën, in plaats van zeldzame nieuwe categorieën.
2. Efficiënte Data-verdeling: Een methode die gebruikmaakt van de intersectie van meerdere detectors om OOD-data te isoleren met minimale menselijke inspanning.
3. BAP Metric: Een nieuwe evaluatiemetric die de degradatie van VLMs meet over een spectrum van taakcomplexiteit (herkenning -> tellen -> redeneren).
4. Uitgebreide Evaluatie: Een systematische evaluatie van 10 state-of-the-art VLMs (zowel open-source als gesloten, waaronder GPT-4o, Gemini, InternVL, Qwen2-VL) op deze benchmark.

Resultaten

De experimentele resultaten tonen een alarmerend beeld van de huidige VLM-capaciteiten:

• Significante Prestatie-daling: Alle geteste modellen vertonen een daling van 20% tot 30% in nauwkeurigheid op OOD-Hard data vergeleken met In-Distribution (ID) data. Zelfs de beste gesloten modellen (GPT-4o) dalen van ~91% op ID naar ~63% op OOD-Hard.
• Recall-problemen: Modellen missen OOD-instanties veel vaker dan ID-instanties (lage recall), wat in veiligheidskritieke toepassingen (zoals autonoom rijden) catastrofaal kan zijn.
• Chain-of-Thought (CoT) werkt niet: Het toevoegen van CoT-prompting (stap-voor-stap redeneren) verbetert de prestaties op OOD-data vaak niet; bij sommige modellen (zoals GPT-4o en Llama-3.2) leidt het zelfs tot verdere prestatiedalingen. Dit suggereert dat CoT gebaseerd is op training-distributie-kennis die niet van toepassing is op OOD-data.
• Schalingswetten: Het vergroten van het model (bijv. van 2B naar 7B parameters) lost het OOD-probleem niet op. Er is geen monotone relatie tussen modelgrootte en OOD-robustheid; grotere modellen falen even vaak op semantische verschuivingen.
• Vergelijking Hard vs. OOD: OOD-data is fundamenteel anders dan "harde" (hard-to-classify) data binnen de training-distributie. Harde data hangt sterk af van het specifieke model, terwijl OOD-data een consistente prestatiedaling veroorzaakt over alle modellen heen.

Betekenis en Impact

OODBench biedt een cruciale stap naar het ontwikkelen van veiligere en betrouwbaardere AI-systemen voor de realiteit.

• Veiligheid: Het benadrukt dat zelfs de meest geavanceerde VLMs kwetsbaar zijn voor data die buiten hun trainingsdistributie valt, zelfs als de objecten zelf "bekend" zijn. Dit is essentieel voor toepassingen waar fouten levensbedreigend kunnen zijn.
• Richting voor Onderzoek: Het paper wijst erop dat het simpelweg vergroten van datasets of modelgrootte niet voldoende is. Er is behoefte aan nieuwe trainingsmethodieken en architecturen die specifiek zijn ontworpen om robuust te zijn tegen covariatenverschuivingen en semantische varianten.
• Open Data: De dataset en de pipeline zijn openbaar beschikbaar, wat onderzoekers in staat stelt om hun eigen modellen te testen en te verbeteren op dit specifieke type uitdaging.

Kortom, OODBench blootlegt een fundamentele zwakte in huidige multimodale modellen: hun onvermogen om om te gaan met de complexiteit en variatie van de echte wereld, zelfs wanneer ze "kennis" hebben van de objecten die ze zien.