🤖 AI

XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models

Dit paper introduceert XModBench, een grootschalig driemodale benchmark die aantoont dat bestaande omni-taalmodellen, zelfs de krachtigste zoals Gemini 2.5 Pro, nog steeds worstelen met modale-invariante redenering door aanzienlijke prestatieverschillen en directionele onevenwichtigheden tussen tekst, audio en visuele input.

Oorspronkelijke auteurs: Xingrui Wang, Jiang Liu, Chao Huang, Xiaodong Yu, Ze Wang, Ximeng Sun, Jialian Wu, Alan Yuille, Emad Barsoum, Zicheng Liu

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xingrui Wang, Jiang Liu, Chao Huang, Xiaodong Yu, Ze Wang, Ximeng Sun, Jialian Wu, Alan Yuille, Emad Barsoum, Zicheng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

XModBench: De "Meertalige" Test voor AI's die Alles Horen en Zien

Stel je voor dat je een superintelligente robot bouwt die niet alleen tekst kan lezen, maar ook foto's kan zien en geluiden kan horen. Dit noemen we een "Omni-Model". De makers van deze robots hopen dat deze machine net als een mens is: of je nu vertelt dat er een hond blaft, een foto van een blaffende hond laat zien, of het geluid van een blaffende hond afspeelt, de robot moet precies hetzelfde begrijpen en hetzelfde antwoord geven.

Maar is dat echt zo? Of is de robot een beetje "voorkeur" voor één zintuig?

Dit is precies wat de onderzoekers van XModBench wilden weten. Ze hebben een nieuwe, enorme test ontwikkeld om te kijken of deze AI's echt slimmer worden, of dat ze gewoon trucs gebruiken.

De Grote Test: Een Spel met Drie Spelregels

De onderzoekers hebben een spel bedacht met 61.320 vragen. Het idee is heel slim en eerlijk:

Stel je een vraag voor: "Wat maakt dit geluid?"

Versie A: Je hoort een hond blaffen (Audio) en moet kiezen uit tekstopties.
Versie B: Je ziet een foto van een hond (Visueel) en moet kiezen uit tekstopties.
Versie C: Je leest "hond blaft" (Tekst) en moet kiezen uit geluidsbestanden.
Enzovoort...

Ze hebben elke vraag in zes verschillende combinaties van zintuigen gezet. Het is alsof je een kind laat proeven van een appel, maar dan drie keer:

Eén keer geef je het kind de appel te zien.
Eén keer geef je het kind de appel te proeven.
Eén keer geef je het kind een tekening van de appel.

Als het kind echt begrijpt wat een appel is, moet het antwoord altijd hetzelfde zijn, ongeacht hoe je het kind de appel presenteert. Als het kind alleen de tekening herkent maar niet de smaak, dan is het niet echt slim, maar heeft het gewoon de tekening uit zijn hoofd geleerd.

Wat Vonden Ze? De "Gaten" in het Brein

Toen ze de beste AI's ter wereld (zoals de nieuwste versies van Gemini) deze test lieten doen, kwamen ze op verrassende resultaten:

De "Oren" zijn nog zwak: De AI's zijn geweldig in het lezen van tekst en het kijken naar plaatjes. Maar zodra het om geluid gaat, zakken ze dramatisch in. Het is alsof de robot een bril draagt die perfect is, maar zijn oren zijn dichtgeplakt met tape. Ze begrijpen tekst en beelden goed, maar geluiden vinden ze nog een mysterie.
De "Richting" telt: Het maakt voor de AI uit hoe je de vraag stelt. Als je eerst een plaatje ziet en dan een tekst moet kiezen, gaat het goed. Maar als je eerst de tekst ziet en dan een plaatje moet kiezen, faalt de robot soms. Het is alsof de robot beter is in het vertalen van "beeld naar woord" dan van "woord naar beeld".
Ruimte en Tijd zijn lastig: De AI's vinden het heel moeilijk om te begrijpen waar iets gebeurt (links of rechts) of wanneer iets gebeurt (eerst dit, dan dat). Dit is een grote zwakte, zelfs voor de slimste modellen.

Waarom is dit belangrijk?

Vroeger keken we alleen of een AI het juiste antwoord gaf. Nu kijken we met XModBench naar hoe het antwoord werd gevonden.

Het is alsof je twee studenten een wiskundetoets laat doen.

Student A rekent alles netjes uit.
Student B kijkt naar de antwoorden in het antwoordboekje en schrijft die over.

Beiden krijgen een 10. Maar XModBench is de test die ontdekt dat Student B eigenlijk niet begrijpt wat hij doet. De onderzoekers zeggen: "Onze AI's doen het goed op papier, maar ze zijn nog niet echt 'all-round' slim. Ze vertrouwen te veel op één manier van leren."

Conclusie

XModBench is de nieuwe "reality check" voor AI. Het laat zien dat we nog ver weg zijn van een robot die echt alles begrijpt, ongeacht of je het zegt, schrijft of laat zien. Het is een hulpmiddel voor de bouwers van deze robots om te zien waar ze hun "oefeningen" moeten verbeteren, zodat de robot in de toekomst niet meer trapt in de valkuilen van vandaag.

Kortom: De AI's zijn slim, maar ze zijn nog niet helemaal "in balans". Ze moeten nog veel leren om alle zintuigen even goed te gebruiken.

Probleemstelling

Omni-modale grote taalmodellen (OLLM's) zijn ontworpen om audio, visuele informatie en tekst te integreren binnen één raamwerk voor redeneren. Hoewel bestaande benchmarks de algemene prestaties van cross-modale vraag-antwoordtaken evalueren, blijft het onduidelijk of deze modellen werkelijk modaal-invariant redeneren. Dat wil zeggen: kunnen ze dezelfde semantische inhoud begrijpen en verwerken, ongeacht of deze wordt gepresenteerd als gesproken audio, geschreven tekst of een visueel beeld?

Huidige benchmarks missen vaak de systematische evaluatie van cross-modale consistentie. Ze testen zelden of een model dezelfde correcte conclusie trekt wanneer de input-modality verandert, maar de betekenis gelijk blijft. Dit leidt tot het risico dat modellen afhankelijk zijn van oppervlakkige patronen in specifieke modaliteiten (bijvoorbeeld tekst) in plaats van een gedeeld semantisch begrip te hebben.

Methodologie: XModBench

De auteurs stellen XModBench voor, een grootschalige benchmark specifiek ontworpen om cross-modale consistentie te meten. De kern van de methodologie ligt in een zorgvuldig gebalanceerd ontwerp dat alle mogelijke combinaties van de drie modaliteiten (Audio, Visie, Tekst) omvat.

Tri-modale Drietalen: De dataset is gebaseerd op 10.220 unieke semantische instanties (objecten of gebeurtenissen), elk vertegenwoordigd door een gealigneerd triplet van tekst, afbeelding en audio.
Zes Modale Configuraties: Elke vraag wordt geïnstantieerd in zes verschillende configuraties door de rol van de context (de vraag) en de kandidaten (de antwoordopties) te permuteren tussen de modaliteiten. De zes richtingen zijn:
- Audio $\to$ Tekst, Audio $\to$ Visie
- Tekst $\to$ Audio, Tekst $\to$ Visie
- Visie $\to$ Audio, Visie $\to$ Tekst
Taak Taxonomie: De benchmark omvat 61.320 meerkeuzevragen verdeeld over vijf taakfamilies en 17 subtaken:
- Perceptie: Object- en activiteitsherkenning (bijv. instrumenten, dieren, natuurgeluiden).
- Ruimtelijk Redeneren: 2D-arrangement, 3D-localisatie en bewegingsrichting.
- Temporaal Redeneren: Volgorde van gebeurtenissen, tellen van herhalingen en tijdsberekening.
- Linguïstisch Begrip: Tekstherkenning (OCR/ASR), vertaling (Engels-Chinees) en emotieclassificatie.
- Externe Kennis: Herkenning van films, muziekgenres en zangers.
Data Curation: De data is verzameld via herschrijving van bestaande datasets, synthetische generatie (bijv. met TTS-systemen) en web-collectie, gevolgd door strikte filtering en menselijke verificatie om kwaliteit en consistentie te garanderen.

Kernbijdragen

Eerste Tri-modale Consistentie Benchmark: XModBench is de eerste benchmark die expliciet alle zes cross-modale mappingrichtingen tussen audio, visie en tekst test om de invariantie van redeneren te evalueren.
Uitgebreide Dekking: Met 61.320 vragen over vijf domeinen biedt het een gedetailleerde diagnose van zwakke plekken in OLLM's die door eerdere benchmarks werden gemist.
Nieuwe Diagnostische Metrieken: De auteurs introduceren twee nieuwe concepten om prestaties te analyseren:
- Modale Dispariteit (Modality Disparity): Meet het verschil in prestaties wanneer dezelfde vraag in verschillende modaliteiten wordt gesteld (bijv. Audio $\to$ Tekst vs. Visie $\to$ Tekst).
- Directionele Onbalans (Directional Imbalance): Meet de asymmetrie wanneer de rollen van context en kandidaten worden omgewisseld (bijv. Visie $\to$ Tekst vs. Tekst $\to$ Visie).

Resultaten

De auteurs hebben XModBench gebruikt om diverse state-of-the-art modellen te evalueren, waaronder de Gemini-serie (1.5 Pro, 2.0 Flash, 2.5 Pro), Qwen2.5-Omni, EchoInk-R1 en andere open-source modellen. De belangrijkste bevindingen zijn:

Algemene Prestaties: Zelfs het sterkste model, Gemini 2.5 Pro, scoort minder dan 60% op ruimtelijk en temporaal redeneren, terwijl het op perceptie- en linguïstische taken rond de 70-80% scoort. Menselijke prestaties liggen rond de 91%.
Audio is de Zwakste Schakel: Modellen presteren significant slechter wanneer audio de input of output is. Er is een grote prestatiedaling (tot wel 25 punten) wanneer audio wordt gebruikt in plaats van tekst, wat aangeeft dat auditieve representaties minder goed zijn verankerd.
Systematische Onbalans: Er is een duidelijke directionele onbalans. Modellen presteren beter wanneer tekst de kandidaten zijn (bijv. Visie $\to$ Tekst) dan wanneer tekst de context is (bijv. Tekst $\to$ Visie). Dit suggereert een bias in de trainingdata waarbij tekst als dominante output-modality fungeert.
Impact van Interleaved Data: Modellen die zijn getraind op "interleaved" multimodale data (waarbij audio en visie door elkaar worden gebruikt in instructies), zoals Qwen2.5-Omni en Gemini 2.5, tonen minder directionele onbalans dan modellen die voornamelijk op niet-interleaved data zijn getraind.
Post-Training Effecten: Verdere fine-tuning op specifieke instructiedata (zoals bij EchoInk-R1) kan de cross-modale consistentie soms verslechteren als de trainingdata niet breed genoeg is gedekt, wat leidt tot grotere dispariteiten.

Betekenis en Conclusie

XModBench positioneert zich als een fundamentele diagnostische tool voor de ontwikkeling van de volgende generatie omni-modale modellen. De resultaten tonen aan dat huidige OLLM's nog ver verwijderd zijn van ware modaal-invariantie. Ze vertrouwen vaak op oppervlakkige cues van specifieke modaliteiten in plaats van een diep, gedeeld semantisch begrip.

De paper benadrukt dat voor echte cross-modale intelligentie:

Trainingdata moet worden uitgebreid met meer niet-spraak audio (zoals omgevingsgeluiden en muziek).
Trainingstrategieën moeten gericht zijn op het verminderen van directionele onbalans, waarschijnlijk door middel van meer interleaved multimodale instructies.
Evaluatie moet altijd de consistentie tussen modaliteiten testen, niet alleen de absolute nauwkeurigheid.

XModBench biedt de community de tools en de dataset om deze problemen systematisch aan te pakken en modellen te bouwen die robuust redeneren, ongeacht hoe informatie wordt gepresenteerd.