Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark

Deze paper introduceert Uni-MMMU, een uitgebreid benchmark dat de wederzijdse synergie tussen visuele begrip en generatie systematisch evalueert over acht redeneringsgerichte domeinen om de ontwikkeling van geïntegreerde multimodale modellen te bevorderen.

De kern

De "Uni-MMMU": Een Nieuwe Test voor Slimme AI's die Kunnen Denken én Maken

Stel je voor dat je een AI hebt die twee superkrachten heeft:

1. Het "Oog" (Begrijpen): Het kan foto's bekijken, puzzels oplossen en wiskundige formules lezen.
2. Het "Handje" (Maken): Het kan prachtige tekeningen maken, foto's bewerken en nieuwe beelden creëren.

Tot nu toe hebben we deze twee vaardigheden vaak apart getest. Alsof we een chef-kok alleen laten proeven van een gerecht (begrijpen) en hem daarna alleen laten koken zonder te proeven (maken). Maar in het echte leven werken deze twee samen: een kunstenaar tekent eerst een schets om een idee te verduidelijken, en een wiskundestudent tekent een figuur om een probleem op te lossen.

De auteurs van dit paper hebben een nieuwe test bedacht, genaamd Uni-MMMU, om te kijken of AI's deze twee krachten echt kunnen samenwerken.

De Grote Uitdaging: De "Twee-Weg Snelweg"

Deze test bestaat uit 8 verschillende soorten taken, verdeeld in twee hoofdgroepen. Je kunt het zien als een tweewegsnelweg:

1. Het "Handje" helpt het "Oog" (Tekenen om te begrijpen)
Soms is een probleem te moeilijk om alleen in je hoofd op te lossen. Je moet iets tekenen om het te zien.

• Het Labyrint: De AI moet een route door een doolhof vinden. In plaats van alleen te zeggen "ga links", moet de AI echt een nieuwe kaart tekenen na elke stap. Als de muur verkeerd getekend is, loopt de AI vast.
• De Schuifpuzzel: Net als bij het labyrint, maar dan met gekleurde blokjes. De AI moet de blokjes verschuiven en na elke zet een nieuwe foto maken van de puzzel.
• De Puzzel: Er ontbreekt een stukje in een foto. De AI moet twee mogelijke stukken "inpainten" (invullen) en dan zelf beslissen welk stukje het beste past.
• De Meetkunde: Een wiskundevraag waarbij de AI eerst zelf hulplijnen moet tekenen op een figuur om het antwoord te kunnen berekenen.

2. Het "Oog" helpt het "Handje" (Begrijpen om te maken)
Soms moet je eerst heel goed begrijpen wat er gebeurt voordat je iets kunt maken.

• Wetenschap (Fysica, Chemie, Biologie): De AI krijgt een vraag, bijvoorbeeld: "Wat gebeurt er met een paarse lakmoesstrook in citroensap?" De AI moet eerst uitleggen waarom het rood wordt (begrijpen) en daarna een foto maken van die rode strook (maken). Als het niet begrijpt dat citroensap zuur is, maakt het de verkeerde foto.
• Code Tekenen: De AI krijgt computercode (SVG) en moet die "lezen" en vervolgens precies het plaatje tekenen dat bij die code hoort.

Hoe wordt er getoetst? (De Rechter)

In het verleden keek een mens vaak naar het eindresultaat en zei: "Niet slecht!" Maar dat is te vaag. De Uni-MMMU test is veel strenger:

• Twee scores: Voor elke taak krijgt de AI een score voor de tekst (het antwoord) én een score voor de afbeelding (het plaatje).
• Tussenstappen: De test kijkt niet alleen naar het eindantwoord, maar ook naar elke tussenstap. Als de AI in het labyrint een muur verkeerd tekent, krijgt hij strafpunten, zelfs als hij later het juiste pad vindt.
• Automatische Rechter: Er wordt gebruikgemaakt van andere slimme AI's als "rechter" om te beoordelen of de tekeningen en antwoorden kloppen. Dit is sneller en eerlijker dan duizenden mensen vragen om te kijken.

Wat hebben ze ontdekt? (De Resultaten)

Toen ze de beste AI's van vandaag de dag op deze test lieten, kwamen ze tot een paar interessante conclusies:

1. Ze zijn beter in kijken dan in maken: De meeste AI's zijn heel goed in het begrijpen van vragen, maar ze struikelen over het maken van de juiste tekeningen. Het "handje" is vaak het zwakke punt.
2. Tekenen helpt echt: Als een AI eerst een tussenstap tekent (zoals een hulplijn in de meetkunde), krijgt hij vaak een beter antwoord. Zelfs als die tekening niet perfect is, helpt het de AI om beter na te denken.
3. De valkuil: Veel AI's maken fouten in de details. Ze tekenen muren die niet kloppen, vergeten kleuren, of tekenen tekst op een plaatje waar het niet thuishoort. Het lijkt alsof ze de "geest" van de opdracht begrijpen, maar de "techniek" nog niet onder de knie hebben.

Waarom is dit belangrijk?

Vroeger dachten we dat we AI's konden bouwen die alleen maar goed konden kijken of alleen maar goed konden maken. Dit paper laat zien dat de toekomst ligt in unieke AI's die beide kunnen en die weten hoe ze die vaardigheden moeten laten samenwerken.

Het is alsof we een nieuwe rijbewijs-test hebben bedacht voor een zelfrijdende auto. Vroeger keken we alleen of de auto stopte bij een rood licht (begrijpen) of alleen of hij mooi kon parkeren (maken). Nu testen we of de auto terwijl hij rijdt, de weg kan lezen, een route kan plannen én die route ook daadwerkelijk kan volgen zonder de bomen aan te rijden.

De Uni-MMMU is dus de nieuwe "rijexamen" voor de slimste AI's van de wereld, om te zien of ze echt klaar zijn voor de complexe wereld van morgen.

Technische samenvatting

Probleemstelling

Huidige multimodale modellen (Unified Multimodal Models) streven ernaar om visueel begrip (understanding) en visuele generatie (generation) in één architectuur te verenigen. Echter, bestaande benchmarks falen in het beoordelen van de ware integratie van deze twee vaardigheden.

• Isolatie: Veel evaluaties behandelen begrip en generatie als gescheiden taken.
• Oppervlakkigheid: Andere benchmarks die beide testen, focussen vaak op simpele associaties of consistentie, zonder de noodzakelijke logische afhankelijkheid tussen de twee processen te forceren.
• Het Gaten: Er ontbreekt een benchmark die complexe, meerstaps problemen evalueert waarbij generatie en begrip cyclisch op elkaar moeten inwerken (bijv. het tekenen van hulplijnen om een wiskundig probleem op te lossen, of het begrijpen van een natuurkundig principe om een correcte afbeelding te genereren).

Methodologie: Uni-MMMU

Om deze kloof te dichten, stellen de auteurs Uni-MMMU voor: een uitgebreide, discipline-bewuste benchmark die de wederzijdse synergie tussen generatie en begrip systematisch ontleedt over acht redeneringsgerichte domeinen (wetenschap, codering, wiskunde, puzzels, etc.).

De benchmark is opgebouwd rond twee hoofdparadigma's:

1. Generatie helpt Begrip (Generation aids Understanding)

In deze taken fungeert visuele generatie als een cognitieve "steiger" (scaffold) voor redenering. Het model moet visuele tussenstappen genereren om een probleem op te lossen.

• Maze Navigation (Labyrint): Het model moet een pad plannen door een labyrint en na elke stap een geüpdatet beeld van het labyrint genereren.
• Sliding Puzzle: Het model moet de kortste reeks zetten voor een schuifpuzzel bepalen, waarbij elke zet visueel wordt weergegeven.
• Geometry with Auxiliary Lines: Het model moet hulplijnen tekenen op een geometrische figuur om een bewijs of berekening te faciliteren.
• Jigsaw Puzzle: Het model moet twee kandidaat-patches genereren om een ontbrekend stuk in te vullen en vervolgens redeneren welke correct is.

2. Begrip helpt Generatie (Understanding aids Generation)

Hier moet het model eerst conceptueel redeneren en vervolgens een afbeelding genereren die gebaseerd is op dit begrip.

• Scientific Reasoning (Fysica, Chemie, Biologie): Het model moet een wetenschappelijk principe begrijpen (bijv. zuur-base reacties) en de visuele uitkomst (bijv. verkleuring van lakmoes) genereren.
• Code Rendering: Het model moet SVG-code interpreteren en de bijbehorende vectorafbeelding nauwkeurig renderen zonder externe tools.

Evaluatieprotocol

Een uniek kenmerk van Uni-MMMU is het dual-level evaluatieprotocol:

• Deterministische Parsers: Voor taken zoals labyrinten en schuifpuzzels worden geautomatiseerde parsers gebruikt om de gegenereerde beelden te analyseren (kleurdiscretisatie, rasteranalyse).
• Model-as-a-Judge: Voor complexere taken (zoals geometrie en wetenschap) worden krachtige Vision-Language Models (zoals Qwen2.5-VL) ingezet als beoordelaars. Deze beoordelen zowel de logische consistentie van de tekst als de semantische en visuele nauwkeurigheid van de gegenereerde afbeelding.
• Twee Kanalen: Elke taak levert twee scores op: één voor de tekstuele output (redenering/antwoord) en één voor de visuele output (tussenstappen/finaal beeld). Dit zorgt voor fijne-granulariteit in foutanalyse.

Belangrijkste Bijdragen

1. Uni-MMMU Benchmark: Een suite van acht wederzijds gekoppelde taken die logische afhankelijkheden tussen generatie en begrip afdwingen.
2. Deterministisch Evaluatiekader: Een reproduceerbaar protocol met "oracle" trajecten (ideale tussenstappen) en programmeerbare metrics om objectieve scores te leveren voor zowel tekst als beeld.
3. Uitgebreide Analyse: Een diagnose van de staat van de kunst (SOTA) modellen, waarbij wordt onderzocht waar synergie werkt en waar deze faalt.

Resultaten en Inzichten

De auteurs evalueerden state-of-the-art unified modellen (zoals Bagel, OmniGen2, GPT-4o/4.1) en gespecialiseerde modellen.

• Synergie is cruciaal: De resultaten tonen aan dat de synergie tussen generatie en begrip het meest effectief is bij taken met sterke logische afhankelijkheden. Het gebruik van gegenereerde tussenstappen (zelfs imperfecte) verbetert de uiteindelijke nauwkeurigheid aanzienlijk ten opzichte van end-to-end benaderingen zonder tussenstappen.
• Onbalans in huidige modellen: Unified modellen vertonen een duidelijke onbalans: ze zijn over het algemeen sterker in begrip dan in generatie. Generatie is vaak de "bottleneck".
  • Foutpatronen: Onnauwkeurige beeldbewerking, synthesefouten in schema's, en gebrek aan fijnmazige ruimtelijke redenering.
  • Voorbeeld: Bij labyrinten kunnen modellen het pad correct redeneren, maar falen ze in het correct tekenen van de muren, wat leidt tot fouten in de volgende stappen.
• Prestatieverschillen: Modellen zoals GPT-4.1 (in combinatie met generatie) presteren het beste, vooral omdat ze wereldkennis en redenering goed integreren. Open-source modellen zoals Bagel tonen sterke redeneervermogens maar kampen met beperkingen in de visuele uitvoering.
• Ruimtelijke Bewustzijn: Een algemene zwakte bij alle modellen is de precisie in ruimtelijke plaatsing (position accuracy), die vaak lager scoort dan de vorm- of kleurnauwkeurigheid.

Significantie

Uni-MMMU stelt een nieuwe standaard voor het evalueren van geavanceerde multimodale systemen. Het bewijst dat voor complexe probleemoplossing (zoals in de wetenschap of wiskunde) visuele generatie niet slechts een "decoratief" element is, maar een essentieel cognitief hulpmiddel.

De benchmark biedt een betrouwbare basis voor de ontwikkeling van de volgende generatie unified modellen, waarbij de focus moet verschuiven van het losse verbeteren van begrip of generatie, naar het optimaliseren van de iteratieve lus tussen beide. Het identificeert specifiek dat toekomstige modellen betere controle moeten hebben over tussenstappen en ruimtelijke invariantheid om complexe, multi-stap taken succesvol te voltooien.