AVA-Bench: Atomic Visual Ability Benchmark for Vision Foundation Models

Dit paper introduceert AVA-Bench, het eerste benchmark dat 14 atomische visuele vaardigheden ontkoppelt om Vision Foundation Models systematisch en transparant te evalueren, waardoor selectie overgaat van gokwerk naar principieel engineering en efficiënter kan worden uitgevoerd met kleinere taalmodellen.

De kern

Stel je voor dat je een nieuwe auto koopt. De verkoper zegt: "Deze auto is geweldig! Hij rijdt snel, is comfortabel en ziet er mooi uit." Maar hoe weet je of hij echt goed is? Als je alleen maar een testrit doet op een racecircuit, weet je niet of hij ook goed is in het parkeren in een smalle straat of in de sneeuw rijden.

Dit is precies het probleem met de huidige Vision Foundation Models (VFM's). Dit zijn de "super-intelligente ogen" van kunstmatige intelligentie die beelden kunnen begrijpen. Tot nu toe hebben we ze getest met brede vragen (zoals "Wat zie je in deze foto?"), maar dat vertelt ons niet precies waarom ze een fout maken. Is het omdat ze kleuren niet goed zien? Of omdat ze niet weten wat "links" en "rechts" is?

De auteurs van dit paper hebben een nieuwe test ontwikkeld, genaamd AVA-Bench, om dit probleem op te lossen. Hier is een uitleg in simpele taal:

1. Het Probleem: De "Alles-in-één" Test is Verwarrend

Stel je voor dat je een student test op wiskunde. Je geeft ze een vraag die zowel algebra als meetkunde vereist. Als de student het fout heeft, weet je niet of hij de algebra niet snapt, of de meetkunde. Misschien is hij wel een algebra-genie, maar faalt hij bij meetkunde.

De oude tests voor AI deden precies dit: ze stelden complexe vragen waarbij de AI veel verschillende vaardigheden tegelijk moest gebruiken. Als de AI faalde, was het een raadsel welke vaardigheid er ontbrak.

2. De Oplossing: De "Atomic Visual Abilities" (AVA's)

De auteurs zeggen: "Laten we de auto niet op het racecircuit testen, maar elk onderdeel apart."

Ze hebben 14 basisvaardigheden (Atomic Visual Abilities) gedefinieerd, zoals:

• Tellend: Hoeveel appels zijn er?
• Locatie: Waar staat de auto precies?
• Diepte: Is die boom dichterbij dan die auto?
• Kleuren: Wat is de exacte kleur van dit shirt?
• Oriëntatie: Kijkt de hond naar voren of naar achteren?

In plaats van één grote, moeilijke test, hebben ze 14 kleine, specifieke tests gemaakt. Het is alsof je de auto apart test op remmen, versnellen, sturen en verlichting. Zo zie je precies waar de AI goed in is en waar hij tekortschiet.

3. De Grote Ontdekkingen

Toen ze deze nieuwe test toepasten op de beste AI-modellen van vandaag, vonden ze interessante dingen:

• Sommige modellen zijn "All-rounders": Modellen die zijn getraind met taal (zoals SigLIP) bleken het meest veelzijdig. Ze zijn als een "zwitserse zakmes": goed in bijna alles.
• Specialisten bestaan: Sommige modellen zijn niet goed in taal, maar zijn supersterk in specifieke visuele taken. Bijvoorbeeld, een model dat is getraind om objecten te "segmenteren" (in stukken te snijden) is heel goed in het herkennen van kleuren, maar slecht in het lezen van tekst.
• De "Grote LLM" is niet altijd nodig: Om deze tests te doen, gebruiken ze vaak enorme taalmodellen (zoals een 7 miljard parameter groot model). De auteurs ontdekten dat je een heel klein, lichtgewicht model (0,5 miljard parameters) kunt gebruiken om de resultaten te lezen. Dit werkt net zo goed voor het vergelijken van modellen, maar bespaart 8 keer zoveel energie en tijd. Het is alsof je voor het controleren van de bandenspanning geen hele garage met gereedschap nodig hebt, maar gewoon een simpele drukmeter.

4. Waarom is dit belangrijk?

Vroeger was het kiezen van het juiste AI-model voor een specifieke taak (bijvoorbeeld een app voor blinden of een systeem voor zelfrijdende auto's) een beetje gokken. "Ik denk dat dit model wel goed werkt."

Met AVA-Bench wordt het kiezen van een model een wetenschappelijke keuze.

• Heb je een systeem nodig dat goed kan tellen en diepte inschatten? Kies dan model X.
• Heb je een systeem nodig dat tekst in foto's kan lezen? Kies dan model Y.

Samenvatting

Dit paper introduceert een nieuwe, transparante manier om de "ogen" van AI te testen. In plaats van ze te laten raden op een moeilijke quiz, testen we ze op hun basisvaardigheden, één voor één. Hierdoor kunnen ontwikkelaars precies weten welk model ze moeten gebruiken voor hun specifieke probleem, en kunnen ze AI-systemen bouwen die betrouwbaarder en slimmer zijn.

Het is de overstap van "AI is geweldig, geloof maar" naar "AI is geweldig, en hier is precies wat hij kan en wat hij niet kan."

Technische samenvatting

Probleemstelling

De opkomst van Vision Foundation Models (VFMs) heeft geleid tot de noodzaak van systematische evaluatie. De huidige standaardpraktijk koppelt VFMs aan grote taalmodellen (LLMs) als algemene "heads" en evalueert ze op brede benchmarks voor Visuele Vraagbeantwoording (VQA). Het paper identificeert twee fundamentele blinde vlekken in deze protocol:

1. Data-mismatch: De data die gebruikt wordt voor instructie-tuning (tuning) komt vaak niet overeen met de verdeling van de testdata in VQA-benchmarks. Een fout in de voorspelling kan dus het gevolg zijn van een data-discrepantie in plaats van een werkelijk visueel tekortkoming van het VFM.
2. Gecombineerde vaardigheden: Bestaande VQA-vragen vereisen vaak meerdere visuele vaardigheden tegelijkertijd (bijv. tellen, ruimtelijk inzicht en objectherkenning). Als een model faalt, is het onduidelijk of dit komt door het ontbreken van alle benodigde vaardigheden of slechts één kritieke vaardigheid. Dit maakt het moeilijk om de specifieke sterktes en zwaktes van een model te diagnosticeren.

Methodologie: AVA-Bench

Om deze gaten op te vullen, stellen de auteurs AVA-Bench voor, het eerste benchmark dat expliciet 14 Atomaire Visuele Vaardigheden (Atomic Visual Abilities - AVAs) ontkoppelt. Deze AVAs zijn fundamentele perceptuele vaardigheden die samen complex redeneren mogelijk maken.

De 14 AVAs omvatten:

• Locatie & Ruimte: Localization, Spatial Reasoning, Absolute Depth, Relative Depth, Orientation.
• Perceptie & Eigenschappen: Counting, Color, Texture, Object Recognition, Fine-Grained Recognition (soorten), Scene Recognition, Action Recognition, Emotion Recognition.
• Tekst: OCR (Optical Character Recognition).

Dataset Curation:

• AVA-Bench bestaat uit 218.000 zorgvuldig samengestelde beeld-vraagparen uit 26 diverse datasets.
• Isolatie: Elke vraag is ontworpen om slechts één specifieke AVA te testen. Bijvoorbeeld, bij dieptestimatie wordt de objectlocatie (bounding box) expliciet gegeven om de taak te beperken tot dieptebepaling en niet objectherkenning.
• Balans: Er is strikte controle op train-test verdelingen. De objectklassen en antwoordcategorieën in de testset zijn exact gespiegeld in de trainset om data-mismatch te elimineren.
• Bias-vermindering: Er wordt gecontroleerd op biases, zoals het evenwicht van aantallen bij "tellen" of de grootte van objecten bij "localisatie".

Evaluatie Pipeline:

• Het protocol volgt de standaard LLaVA-achtige twee-stappen training: (1) Pre-training van een connector tussen het bevroren VFM en de LLM, en (2) Fine-tuning van de connector en LLM met instructie-data.
• Unieke aanpak: Voor elke AVA wordt de connector en LLM apart gefinetuned (met LoRA), terwijl het VFM bevroren blijft. Dit zorgt voor een schone evaluatie van het VFM's vermogen voor die specifieke taak.
• Efficiëntie: In plaats van zware LLM's (zoals Vicuna-7B/13B) te gebruiken, toont het paper aan dat een lichtgewicht 0.5B LLM (Qwen2) voldoende is om betrouwbare rangschikkingen van VFMs te behouden, terwijl de rekentijd met een factor 8 wordt gereduceerd.

Belangrijkste Resultaten

De auteurs hebben een reeks toonaangevende VFMs geëvalueerd, waaronder SigLIP, CLIP, InternVL, AIMv2, DINOv2, SAM en MiDas. De belangrijkste bevindingen zijn:

1. Taal-supervisie is cruciaal: Taal-gesuperviseerde modellen (zoals SigLIP-1/2 en AIMv2) presteren het meest veelzijdig en behalen de hoogste gemiddelde rangschikking over alle AVAs. Dit benadrukt de rol van taal in het verbeteren van algemene visuele capaciteiten.
2. Specialisatie van niet-taalmodellen:
   • DINOv2 (zelfsupervisie) presteert verrassend goed op visueel gecentreerde taken zoals oriëntatie, absolute diepte en lokalisatie, vaak beter dan taal-gesuperviseerde tegenhangers.
   • SAM (segmentatie) excelleert in kleurenherskenning, maar faalt bij semantisch rijke taken zoals fine-grained classificatie.
   • MiDas (diepte) heeft moeite met kleine objecten.
3. Taal-gerichte taken: Taken zoals OCR en tekstherkenning vereisen sterk taal-gesuperviseerde VFMs; niet-taalmodellen presteren hier significant slechter.
4. Lage tot middenniveau vaardigheden: Alle VFMs presteren over het algemeen goed op lage tot middenniveau AVAs (zoals textuur, relatieve diepte en objectherkenning), ongeacht hun trainingsdoel. Fouten in complexe taken komen dus vaak voort uit het ontbreken van één specifieke kritieke vaardigheid, niet uit een algemeen visueel onvermogen.
5. Efficiëntie: Het gebruik van een 0.5B LLM in plaats van een 7B LLM levert vergelijkbare rangschikkingen op met 8x lagere GPU-kosten.

Bijdragen

1. Diagnostisch Benchmark: Introductie van AVA-Bench, het eerste systeem dat VFMs systematisch evalueert op 14 atomaire vaardigheden, waardoor fundamentele sterktes en zwaktes helder worden blootgelegd.
2. Actiegerichte Inzichten: Gedetailleerde analyse van diverse leidende VFMs die praktische richtlijnen biedt voor het selecteren van het juiste model voor specifieke downstream taken (bijv. het kiezen van een VFM voor een aangepast MLLM).
3. Efficiënt Protocol: Een open-source, kostenefficiënt evaluatiekader dat de selectie van VFMs verandert van "geïnspireerd giswerk" naar "principiële engineering".

Significantie

Dit paper is significant omdat het de evaluatielandschap van Vision Foundation Models transformeert. In plaats van een "black box" aanpak waarbij modellen op complexe, onduidelijke VQA-benchmarks worden getest, biedt AVA-Bench een transparante, diagnostische tool. Dit stelt onderzoekers en ingenieurs in staat om:

• Precies te identificeren waar een model faalt.
• Modellen te selecteren of te ensemble-eren op basis van de specifieke visuele eisen van een toepassing.
• De volgende generatie VFMs te ontwikkelen die gebaseerd zijn op data-gedreven inzichten in atomaire vaardigheden in plaats van algemene prestatie-verbetering.

Het paper benadrukt dat de "Platonic Representation Hypothesis" (dat alle grote modellen convergeren naar dezelfde representaties) slechts gedeeltelijk waar is: modellen vertonen sterke convergentie op basisvaardigheden, maar blijven sterk verschillen in gespecialiseerde, taal-gerelateerde of complexe perceptieve taken.