Multimodal Large Language Models as Image Classifiers

Deze studie toont aan dat de schijnbare onderprestatie van Multimodale Grootte Taalmodellen bij beeldclassificatie voornamelijk het gevolg is van gebrekkige evaluatieprotocollen en ruis in de grondwaarheid, en dat het corrigeren van deze factoren de kloof met toezichtmodellen aanzienlijk verkleint.

De kern

Multimodale Grote Taalmodellen als Foto-herkenners: Een Simpele Uitleg

Stel je voor dat je een groep zeer intelligente, nieuwsgierige robots hebt die niet alleen kunnen lezen en schrijven, maar ook foto's kunnen bekijken. Dit zijn de Multimodale Grote Taalmodellen (MLLM's). Ze zijn als een supergeleerde die zowel een boek als een schilderij kan interpreteren.

De onderzoekers van deze paper hebben gekeken hoe goed deze robots foto's kunnen herkennen (bijvoorbeeld: "Is dit een hond of een kat?"). Maar ze ontdekten iets verrassends: de robots waren niet per se slecht, maar de test die we hen gaven, was vaak onfair.

Hier is de uitleg in drie simpele stukjes, met wat creatieve vergelijkingen:

1. De Verkeerde Spelregels (De "Quiz" vs. De "Vrije Vraag")

Vroeger dachten wetenschappers dat deze robots slecht waren in het herkennen van foto's. Ze deden dit door ze een meerkeuzevraag te stellen (bijv. "Is dit A, B of C?").

• Het probleem: De "verkeerde antwoorden" (de afleiders) in die vragen waren vaak zo makkelijk dat het als een grapje was. Het was alsof je een robot vraagt: "Is dit een auto, een vliegtuig of een banaan?" Natuurlijk kiest hij voor de auto als het een foto van een auto is. Dit gaf een te rooskleurig beeld.
• De echte test: Als je de robots vraagt om een foto te beschrijven zonder keuzemogelijkheden (een "Open Wereld" test), en je vergelijkt die beschrijving met een lijst van 1000 mogelijke dieren, dan zie je pas hoe slim ze echt zijn.
• De oplossing: De auteurs hebben een nieuwe methode bedacht (genaamd CW+). Stel je voor dat de robot een antwoord geeft dat niet in de lijst staat (bijv. "een bruine hond" in plaats van "hond"). In plaats van te zeggen "fout!", kijken we of dat antwoord dicht bij een goed antwoord ligt. Hierdoor bleek dat de robots veel beter zijn dan men dacht.

2. De Vlekken op de Antwoorden (De "Slechte Leraar")

Het grootste probleem bleek niet de robot te zijn, maar de antwoordenlijst die we als "waarheid" gebruikten.

• De analogie: Stel je voor dat je een leerling een toets geeft, maar de antwoorden op het antwoordblad zijn vol met fouten. Soms staat er "hond" terwijl het een "wolf" is, of staat er "auto" terwijl het een "vrachtwagen" is.
• Wat deden de onderzoekers? Ze hebben 625 categorieën van de beroemde ImageNet-database (een enorme verzameling foto's) opnieuw laten nakijken door mensen. Ze maakten de lijst schoon van fouten en dubbelzinnigheden.
• Het resultaat: Toen ze de robots met deze schone, nieuwe lijst testten, schoten hun scores omhoog! Soms met wel 10%. Dit betekent dat de robots niet dom waren; ze probeerden gewoon de verkeerde antwoorden te geven omdat de "waarheid" in de database verkeerd was.
• Belangrijk punt: Robots die niet puur op "leren uit voorbeelden" zijn getraind (zoals deze AI's), zijn juist heel gevoelig voor deze fouten. Als de leraar (de database) fouten maakt, leert de leerling (de AI) verkeerd.

3. De Robot als Hulpkracht (De "Tweede Mening")

De onderzoekers deden een experiment waarbij mensen en robots samenwerkten bij het nakijken van moeilijke foto's.

• Het scenario: Er waren foto's waar de mensen het niet eens waren over het juiste antwoord. Ze lieten de robot (GPT-4o) ook een gok doen.
• De uitkomst: In ongeveer 50% van de moeilijke gevallen bleek de robot gelijk te hebben, of gaf hij een suggestie die de menselijke nakijker hielp om de fout te vinden.
• De les: Deze robots zijn niet gemaakt om mensen te vervangen, maar om als een superkrachtige assistent te fungeren. Ze kunnen ons helpen om grote databases schoner en nauwkeuriger te maken door ons te waarschuwen voor mogelijke fouten.

Samenvatting in één zin

Deze robots zijn veel slimmer in het herkennen van foto's dan we dachten; we hadden ze alleen de verkeerde spelregels gegeven en een vuile antwoordlijst voorgelegd. Met schone regels en een beetje hulp van de AI zelf, kunnen we nu veel betere en eerlijkere tests doen.

Technische samenvatting

Probleemstelling

De prestaties van Multimodale Grootte Taalmodellen (MLLM's) bij beeldclassificatie worden momenteel beoordeeld met tegenstrijdige conclusies. Sommige studies suggereren dat MLLM's aanzienlijk slechter presteren dan traditionele, gesuperviseerde computer-vision-modellen, terwijl andere studies aangeven dat ze vergelijkbaar zijn met Vision-Language Models (VLM's).

De auteurs stellen dat deze tegenstrijdigheden voortkomen uit gebrekkige evaluatieprotocollen en een slechte kwaliteit van de "ground truth" (de referentielabels). Specifiek worden de volgende problemen geïdentificeerd:

1. Foutieve evaluatieprotocollen:
   • Open-World (OW): Vaak gebaseerd op simpele string-matching, wat de prestaties onderschat.
   • Multiple-Choice (MC): Gebruikt vaak te makkelijke distractors (afleiders), wat de prestaties kunstmatig opblaast.
   • Closed-World (CW): Modellen genereren vaak labels die niet in de voorgedefinieerde lijst staan ("Out-of-Prompt" of OOP hallucinaties), die in eerdere studies simpelweg als fout werden geteld, in plaats van semantisch te worden gemapt.
2. Ruis in Ground Truth: De ImageNet-1k dataset, de de facto standaard voor evaluatie, bevat bekende fouten: ongeveer 20% van de validatie-labels is incorrect, veel afbeeldingen bevatten meerdere objecten (multi-label), en er zijn overlappende klassendefinities.

Methodologie

De auteurs hebben een uitgebreide evaluatie uitgevoerd om deze problemen aan te pakken:

1. Herannotatie (ReGT):

   • Ze hebben 625 klassen van de ImageNet-1k validatieset opnieuw geannoteerd (ReGT).
   • Ze hebben zich gericht op het verminderen van ruis, het toevoegen van multi-labels waar nodig, en het elimineren van dubbele afbeeldingen.
   • Ze hebben een categorie-indeling gemaakt voor afbeeldingen op basis van overeenstemming tussen de originele labels (ImGT) en de nieuwe labels (ReGT), inclusief enkelvoudige labels, meervoudige labels en gevallen waar de originele label volledig ontbreekt.

2. Evaluatieprotocollen:

   • Open-World (OW): Het model genereert een vrije tekstbeschrijving die wordt gemapt naar de dichtstbijzijnde klasse in een tekst-embeddingspace (gebaseerd op nearest-neighbor search).
   • Multiple-Choice (MC): Het model kiest uit een lijst met opties. De auteurs testen verschillende strategieën voor het selecteren van distractors (willekeurig vs. gebaseerd op confusiematrices van gesuperviseerde modellen).
   • Closed-World (CW) & CW+: Het model moet kiezen uit alle 1000 klassen. Om het probleem van OOP-hallucinaties op te lossen, introduceren ze CW+: een post-processing stap waarbij afwijkende outputs worden gemapt naar de dichtstbijzijnde geldige klasse in de embeddingspace, in plaats van ze direct als fout te tellen.

3. Modellen:

   • Er zijn vijf MLLM's geëvalueerd: GPT-4o (gesloten bron), Qwen3-VL, LLaVA-OneVision, InternVL3.5 en PaliGemma 2.
   • Deze worden vergeleken met VLM's (zoals SigLIP) en gesuperviseerde modellen (zoals EfficientNet en EVA-02).

4. Ablatiestudies:

   • Er is gekeken naar de invloed van batchgrootte, volgorde van afbeeldingen, en de keuze van de tekst-encoder voor de embeddings.

Belangrijkste Bijdragen

1. Verbeterde Benchmark: Een systematische evaluatie van MLLM's op ImageNet-1k binnen één framework, inclusief de introductie van CW+ (die hallucinaties corrigeert via embeddings) en de ReGT-dataset (625 hergeannoteerde klassen).
2. Sensitiviteit voor Labelruis: Het aantonen dat MLLM's extreem gevoelig zijn voor de kwaliteit van de labels. Ze profiteren het meest van correcte labels (tot +10,8% verbetering), wat suggereert dat hun vermeende zwaktes vaak een artefact zijn van ruis in de dataset en niet van een fundamenteel gebrek aan het model.
3. Protocolgevoeligheid: Kwantificering van hoe ontwerpkeuzes (zoals de keuze van distractors in MC-taken) de gerapporteerde nauwkeurigheid drastisch beïnvloeden (bijv. moeilijke distractors kunnen de score met 10-15% verlagen).
4. MLLM's als Assistenten: Een case-studie waarin menselijke annotatoren in ongeveer 50% van de moeilijke gevallen de voorspellingen van GPT-4o hebben bevestigd of geïntegreerd, wat aantoont dat MLLM's effectief kunnen helpen bij het opsporen van resterende fouten in datasets.

Resultaten

• Impact van ReGT: Na herannotatie (ReGT) zien MLLM's de grootste prestatieverbetering (PaliGemma 2: +10,8%, LLaVA-OV: +8,6%, InternVL3.5: +8,3%). Gesuperviseerde modellen tonen minder verbetering, wat bevestigt dat ze sterker "geankerd" zijn aan de originele, ruisige labels.
• Gap Vermindering: De prestatiekloof tussen de beste MLLM's (GPT-4o) en gesuperviseerde modellen wordt bijna gehalveerd op de nieuwe labels.
• CW+ Effectiviteit: De CW+ methode lost OOP-problemen op en levert consequent hogere scores op dan standaard CW, vooral bij modellen met een hoge hallucinatiegraad (zoals LLaVA-OV).
• MC vs. Realiteit: MC-taken met willekeurige distractors geven een te optimistisch beeld. Moeilijkere distractors (gebaseerd op confusiematrices) leiden tot een aanzienlijke daling in prestaties, wat aantoont dat eerdere resultaten mogelijk overschat zijn.
• OW vs. CW: In tegenstelling tot eerdere studies, presteren sommige MLLM's (zoals LLaVA-OV en Qwen3-VL) beter in de Open-World setting dan in de Closed-World setting wanneer embeddings worden gebruikt voor mapping.
• Batch- en Volgorde-effecten: Batchgrootte en de volgorde van afbeeldingen hebben een significante invloed op de prestaties van sommige modellen (bijv. LLaVA-OV presteert slechter bij grotere batches), wat de noodzaak van zorgvuldige experimentele opzet onderstreept.

Betekenis en Conclusie

Het paper concludeert dat veel van de gerapporteerde onderprestaties van MLLM's bij beeldclassificatie niet het gevolg zijn van een inherente tekortkoming van de modellen, maar van ruis in de ground truth en gebrekkige evaluatieprotocollen.

• Schone Benchmarks: Er is een dringende behoefte aan schonerere benchmarks en gestructureerde evaluatieprotocollen (zoals CW+ en ReGT) om de echte capaciteiten van MLLM's te meten.
• Rol van MLLM's: MLLM's zijn niet alleen sterke classificeerders, maar kunnen ook als krachtige assistenten fungeren bij het cureren van grote datasets, waarbij ze menselijke annotatoren helpen bij het opsporen van fouten in moeilijke gevallen.
• Toekomst: Hoewel gesloten systemen (zoals GPT-4o) nog steeds een lichte voorsprong hebben in strikte Closed-World settings, verdwijnt deze kloof grotendeels in Open-World scenario's, wat wijst op een veelbelovende toekomst voor MLLM's in visuele herkenning, mits de evaluatie correct wordt uitgevoerd.