Multi-modal Data Spectrum: Multi-modal Datasets are Multi-dimensional

Deze studie onthult dat veel huidige meermodale benchmarks onbedoeld afhankelijkheid van afzonderlijke modaliteiten (zoals alleen tekst of alleen afbeeldingen) versterken in plaats van hun interactie, wat leidt tot een nieuwe kwantitatieve karakterisering voor een betere evaluatie van meervoudige modaliteiten.

De kern

Hier is een uitleg van het paper "Multi-modal Data Spectrum" in simpel, alledaags Nederlands, met behulp van creatieve vergelijkingen.

De Kernboodschap: De "Slimme" Dieren die de Testen Lezen

Stel je voor dat je een schooltest aflegt. Je hebt een boek (tekst) en een plaatje (beeld) voor je liggen. De bedoeling is dat je de vraag beantwoordt door te kijken naar beide en te begrijpen hoe ze met elkaar samenhangen.

De onderzoekers van dit paper hebben echter ontdekt dat de moderne "slimme computers" (de AI-modellen) niet echt naar het plaatje kijken als ze het boek kunnen lezen. En omgekeerd: als ze het plaatje kunnen "snappen", negeren ze soms het boek. Ze spelen het spelletje "sluipen" in plaats van echt te leren.

Deze paper is als een detectiveverhaal dat uitzoekt waarom onze AI-tests eigenlijk niet zo goed werken als we denken.

---

1. Het Probleem: De "Cursus" die niet klopt

In de wereld van AI bouwen wetenschappers steeds nieuwe tests (benchmarks) om te zien hoe slim een computer is. Ze zeggen: "Kijk, deze nieuwe test is heel moeilijk! De computer moet nu echt naar het plaatje én de tekst kijken."

Maar de onderzoekers zeggen: "Wacht even, laten we eens kijken wat de computer echt doet."

Ze ontdekten dat veel van deze tests eigenlijk valstrikken zijn. De computer leert niet hoe je plaatjes en tekst combineert, maar leert korte weggetjes (shortcuts) te nemen.

• Vergelijking: Stel je voor dat je een quiz hebt over dieren. De vraag is: "Wat eet de giraf?" en er staat een foto van een giraf.
  • De computer kijkt niet eens naar de foto. Hij leest alleen het woord "giraf" in de vraag en denkt: "Ah, giraf = gras." Hij heeft de foto niet nodig.
  • Of andersom: De computer kijkt alleen naar de foto van een giraf en denkt: "Ik zie een lange nek, dus het antwoord moet over gras gaan," zonder de vraag te lezen.

De onderzoekers noemen dit intra-modale afhankelijkheid: de computer vertrouwt op één ding (alleen tekst of alleen beeld) in plaats van op de combinatie.

2. De Experimenten: Het "Verkeerde Plaatje" Spel

Hoe hebben ze dit ontdekt? Ze hebben een heel slim experiment bedacht, dat we kunnen vergelijken met het verwisselen van puzzelstukken.

Ze namen een vraag en een plaatje, en deden het volgende:

1. Normaal: Vraag + Plaatje (Zoals het hoort).
2. Alleen Tekst: Ze verwijderden het plaatje en gaven er een willekeurig, totaal ander plaatje bij (bijvoorbeeld een vraag over een giraf, maar dan met een foto van een hersenen).
3. Alleen Beeld: Ze verwijderden de tekst en gaven er een willekeurige vraag bij (bijvoorbeeld een foto van een giraf, maar dan met de vraag "Hoeveel lagen heeft de aarde?").

Het verrassende resultaat:
De computer gaf vaak nog steeds het goede antwoord!

• Bij de vraag over de giraf met een foto van een hersenen: De computer las "giraf" en gaf het juiste antwoord, alsof de hersenen er niet waren.
• Bij de foto van de giraf met de vraag over de aarde: De computer keek naar de giraf en gaf een antwoord dat paste bij de giraf, alsof de vraag over de aarde er niet was.

Dit betekent dat de computer niet echt "multimodaal" (meervoudig) denkt. Hij is gewoon heel goed geworden in het raden op basis van één hint.

3. De "Katten-en-Muizen" Dans

De paper beschrijft dit als een katten-en-muisspel:

• De Muizen (De Testmakers): "De computer leest alleen de tekst! Laten we een nieuwe test maken waar de tekst geen antwoord geeft, zodat hij moet kijken naar het plaatje."
• De Katten (De AI): "Geen probleem! Als de tekst niet helpt, kijk ik gewoon heel goed naar het plaatje en raad ik het antwoord."
• De Muizen: "Oh nee, hij kijkt alleen naar het plaatje! Laten we de test nog moeilijker maken..."

Het probleem is dat we nu een heleboel tests hebben die de ene keer de tekst "kapot" maken en de andere keer het plaatje, maar de computer heeft altijd een manier gevonden om op één van de twee te vertrouwen. Hij leert nooit echt de verbinding tussen de twee.

4. Waarom Grotere Computers niet Nodig zijn

Je zou denken: "Maar als we een nog slimmere, grotere computer nemen, lost hij dit dan op?"

De onderzoekers zeggen: Nee.
Hoe groter de computer, hoe beter hij wordt in het vinden van deze korte weggetjes. Een enorme computer is niet per se "slimmer" in het begrijpen van de wereld, hij is gewoon beter in het raden op basis van één hint. Het is alsof je een briljante student hebt die de antwoorden uit het hoofd leert in plaats van de stof te begrijpen.

5. Wat moeten we nu doen? (De Oplossing)

De auteurs zeggen dat we stoppen met het bouwen van steeds meer "meerkeuzevragen" die we kunnen hacken. In plaats daarvan moeten we:

1. Open vragen stellen: Niet "Is dit een hond of een kat?", maar "Vertel me wat je ziet en waarom." Dit is moeilijker te hacken.
2. Toestaan dat de computer "weet" dat hij het niet weet: Als de vraag en het plaatje niet bij elkaar passen, moet de computer durven zeggen: "Ik weet het niet, want dit plaatje past niet bij deze vraag." Nu proberen ze altijd een antwoord te verzinnen, zelfs als het onzin is.
3. Meer transparantie: Als we een nieuwe test maken, moeten we ook laten zien hoe goed de computer doet als we alleen de tekst geven en alleen het plaatje. Zo weten we of hij echt slim is of gewoon een gokker.

Samenvattend

Deze paper zegt eigenlijk: "We zijn te langzaam aan het testen of onze AI echt slim is. We testen of hij goed kan gokken op één hint. Laten we stoppen met het hacken van de tests en beginnen met het testen van echt begrijpen."

Het is alsof we een auto testen door te kijken of hij op een rechte weg kan rijden, terwijl we vergeten zijn dat hij ook een stuurwiel heeft om bochten te nemen. De onderzoekers willen dat we eindelijk gaan testen of de auto ook echt kan sturen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Multi-modal Data Spectrum" in het Nederlands.

Titel: Multi-modal Data Spectrum: Een kwantitatieve karakterisering van intra- en inter-modale afhankelijkheden in MLLM-benchmarks

1. Het Probleem

De snelle vooruitgang van Multi-Modal Large Language Models (MLLMs) gaat gepaard met een explosie aan evaluatiebenchmarks (meer dan 200). Er is echter een fundamenteel tekort aan inzicht in wat deze datasets precies meten.

• Gebrek aan systematisch inzicht: Het is onduidelijk of nieuwe datasets echte multi-modale vaardigheden testen of dat ze redundant zijn met bestaande benchmarks.
• Het "Kat-en-Muis"-spel: Benchmarks worden ontworpen om uni-modale bias (bijv. tekst-only) te elimineren. Modellen leren echter vaak om deze nieuwe datasets te "kraken" door te vertrouwen op andere uni-modale shortcuts (bijv. beeld-only), in plaats van echte interactie tussen modaliteiten te leren.
• Onbetrouwbare scores: De huidige evaluatieprotocollen gebruiken vaak één geaggregeerde score, wat verbergt of een model succes heeft door echte multi-modale redenering of door het uitbuiten van intra-modale afhankelijkheden (afhankelijkheid van slechts één input).

2. Methodologie

De auteurs voeren een grootschalig empirisch onderzoek uit om de afhankelijkheden binnen 23 populaire Visual Question Answering (VQA) benchmarks te kwantificeren. Ze gebruiken een gestructureerd raamwerk gebaseerd op de Perceptual Score (Gat et al., 2021).

Het Evaluatiekader ("The Recipe"):
Om de bijdrage van elke modality te meten, wordt de prestatie van een model onder vier verschillende invoercondities gemeten:

1. Paired (Normaal): Originele beeld-tekst paren.
2. Image-only: De tekst wordt vervangen door een willekeurige tekst uit een ander datapunt (isolatie van beeld).
3. Text-only: Het beeld wordt vervangen door een willekeurig beeld (isolatie van tekst).
4. Random: Beide modaliteiten worden vervangen door ongecorreleerde, willekeurige data (bepaling van de random baseline).

Experimentele Opzet:

• Datasets: 23 benchmarks gedekt over algemene VQA, expertkennis (wetenschap, wiskunde), ruimtelijk begrip, OCR, en document/chart begrip.
• Modellen: Verschillende schalen (8B, 13B, 34B parameters) en architecturen (o.a. Cambrian-1, LLaVA-Next, Qwen-serie).
• Analyse: Er wordt gebruikgemaakt van een meerderheidsstemming (majority-vote ensemble) van diverse modellen om de bias van individuele modellen te minimaliseren en de intrinsieke dataset-afhankelijkheden bloot te leggen.

3. Belangrijkste Bijdragen

1. Grootschalige Empirische Analyse: De eerste systematische kwantificering van intra- (afhankelijkheid van één modality) en inter-modale (synergie tussen modaliteiten) afhankelijkheden over 23 benchmarks.
2. Multi-dimensionale Karakterisering: Het aantonen dat datasets niet binair zijn (wel/niet multi-modaal), maar bestaan op een continuüm van afhankelijkheden.
3. Ontmaskering van Benchmarks: Het identificeren dat veel benchmarks, die bedoeld waren om tekst-bias te verminderen, per ongeluk sterke beeld-bias hebben geïntroduceerd.
4. Methodologische Richtlijn: Een principieel raamwerk bieden voor het ontwerpen en selecteren van toekomstige benchmarks op basis van hun specifieke afhankelijkheidsprofiel.

4. Resultaten

De resultaten tonen aan dat de afhankelijkheden sterk variëren, zowel tussen als binnen benchmarks:

• Zeldzaamheid van echte Inter-modale afhankelijkheid: Slechts een handvol datasets (zoals POPE, MME, COCO en V*Bench) vereisen daadwerkelijk de interactie tussen beeld en tekst. In de meeste gevallen kunnen modellen de vraag beantwoorden met slechts één modality.
• Tekst-afhankelijkheid (Text-only bias): Veel benchmarks voor algemene kennis en expertredenering (zoals ScienceQA, MMMU, GQA) kunnen grotendeels worden opgelost door alleen de tekstvraag te lezen. De visuele input wordt vaak genegeerd.
• Beeld-afhankelijkheid (Image-only bias): Benchmarks die specifiek zijn ontworpen om tekst-bias te bestrijden (zoals MMBench, SEED-Bench, TextVQA), hebben vaak een sterke beeld-bias. Modellen halen hoge scores door alleen naar het beeld te kijken en de vraag te negeren.
• Effect van Modelgrootte: Het vergroten van het model (van 8B naar 34B parameters) lost het probleem niet op. Grote modellen worden vaak beter in het uitbuiten van uni-modale shortcuts in plaats van meer multi-modale redenering te tonen.
• Sub-categorie Variatie: Zelfs binnen één benchmark kunnen subgroepen (bijv. specifieke vraagtypes of vakgebieden) sterk verschillende afhankelijkheden hebben. Een geaggregeerde score verbergt deze nuances.
• Foutpatronen: Modellen vertonen vaak "hallucinaties" waarbij ze een antwoord kiezen dat visueel of tekstueel logisch lijkt binnen één modality, maar dat incorrect is in de context van de andere modality (zie Figuur 6 in het paper).

5. Betekenis en Conclusie

Het paper concludeert dat er momenteel geen dataset is die "echt" multi-modaal is in de zin dat het altijd de synergie tussen modaliteiten vereist. De huidige evaluatiecyclus leidt tot oppervlakkige verbeteringen waarbij modellen leren om benchmarks te "hacken" via uni-modale shortcuts.

Aanbevelingen voor de toekomst:

• Meer dan één score: Rapportage moet niet alleen de totale nauwkeurigheid bevatten, maar ook de prestaties op "Image-only", "Text-only" en "Random" baselines.
• Open-ended evaluatie: Bewegen weg van multiple-choice vragen (die vaak shortcuts toelaten) naar open-ended generatie, hoewel dit evalueren moeilijker maakt.
• Mogelijkheid tot afzien (Abstention): Modellen moeten de mogelijkheid krijgen om aan te geven dat een vraag onbeantwoordbaar is als de modaliteiten niet overeenkomen of onvoldoende informatie bieden, in plaats van een plausibel maar fout antwoord te genereren.
• Kritische evaluatie: De gemeenschap moet stoppen met het blindelings toevoegen van benchmarks en in plaats daarvan kritisch kijken naar de onderliggende afhankelijkheden van bestaande evaluaties.

Kortom, het paper pleit voor een verschuiving van het jagen op leaderboard-scores naar een dieper, kwantitatief begrip van wat multi-modale modellen daadwerkelijk leren en hoe we dat correct kunnen meten.