UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark

Dit paper introduceert UniM, het eerste benchmarkdataset en evaluatiesuite voor 'any-to-any' interleaved multimodale taken, samen met het UniMA-basismodel om de uitdagingen en vooruitgang van uniforme multimodale intelligentie te onderzoeken.

De kern

Stel je voor dat je een super slimme digitale assistent hebt, zoals een futuristische Jeeves. Tot nu toe konden deze assistents vooral goed met tekst en foto's praten. Je gaf ze een foto en een vraag, en ze antwoordden met tekst.

Maar in het echte leven is het veel chaotischer. Je geeft ze misschien een video van een ongeluk, een audio-opname van een getuige, een PDF met de regels, en een 3D-model van de auto. En je verwacht dat ze niet alleen tekst teruggeven, maar misschien ook een nieuwe video maken, een code schrijven om de schade te berekenen, of een geluidsbericht met advies.

Deze paper introduceert UNIM, een nieuw "examen" voor kunstmatige intelligentie (AI) om te testen of ze deze complexe, gemengde wereld echt kunnen begrijpen en beheersen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Twee-voetige" Assistent

Tot nu toe waren de slimste AI-modellen als mensen die alleen met hun linkerbeen (tekst) en rechterbeen (foto's) konden lopen. Ze konden goed rennen op een vlakke weg (standaard taken), maar als je ze vroeg om te dansen op een trampoline terwijl ze een viool speelden (video + audio + tekst + code tegelijk), vielen ze om.

Bestaande tests keken alleen of ze konden praten over foto's. Maar in de echte wereld (bijvoorbeeld bij een ingenieur, een arts of een programmeur) werken mensen met alles: geluid, video, documenten, code en zelfs 3D-ruimtes.

2. De Oplossing: UNIM (De Grote Mix)

De auteurs hebben UNIM bedacht. Dit is de eerste grote "proef" die AI's test op hun vermogen om alles met alles te mengen.

• Het Examen: UNIM bevat 31.000 moeilijke vragen.
• De Ingrediënten: Het gebruikt 7 verschillende soorten "voedsel" voor de AI: Tekst, Afbeeldingen, Audio, Video, Documenten, Code en 3D-objecten.
• De Vraag: De AI moet een vraag krijgen die een mix is (bijv. een video + een geluidsopname + een tekst) en een antwoord geven dat ook een mix is (bijv. een nieuwe video + een tekst + een geluidsbestand).

De Analogie:
Stel je voor dat je een kok vraagt: "Hier is een foto van een koe, hier is het geluid van een melkveehouder, en hier is een recept in het Frans. Maak een gerecht dat past bij dit verhaal, maar serveer het als een video met een stemvertelling."
Een oude AI zou zeggen: "Ik kan alleen een recept in het Frans schrijven."
UNIM test of de AI echt kan koken met alle ingrediënten en het in alle vormen kan serveren.

3. De Nieuwe Scorebord (UNIM EVALUATION SUITE)

Omdat het antwoord van een AI niet meer alleen maar "goed" of "fout" is (zoals bij een meerkeuzevraag), hebben ze een nieuw scorebord nodig. Ze kijken naar drie dingen:

1. Betekenis & Kwaliteit: Is het verhaal logisch? En ziet de gegenereerde video er goed uit, of is het wazig?
2. Structuur: Als de AI gevraagd werd om 3 foto's en 1 geluid te maken, heeft hij dan precies 3 foto's en 1 geluid geleverd? Of heeft hij er 2 foto's vergeten en 1 extra geluid toegevoegd? (Dit is als een bakker die beloofde 3 taarten te bakken, maar er 4 bracht en 1 vergeten was).
3. Samenhang: Klinkt het verhaal als één geheel? Of is het alsof iemand een tekst leest terwijl er een totaal andere video afspelt? De AI moet zorgen dat tekst, beeld en geluid perfect op elkaar aansluiten.

4. De Nieuwe Ster: UNIMA

De auteurs hebben niet alleen een examen bedacht, maar ook een nieuwe "student" die dit examen gaat doen: UNIMA.

• Hoe werkt het? UNIMA is geen simpele robot die direct antwoordt. Het werkt als een detective met een team.
  • Stap 1: Het luistert naar alle inputs (video, geluid, tekst) en maakt een samenvatting.
  • Stap 2: Het denkt na: "Moet ik hier rekenen? Moet ik code schrijven?" Als ja, dan roept het een speciaal gereedschap (een rekenmachine of programmeur) in.
  • Stap 3: Het maakt een strikt plan: "Ik ga nu een video maken, dan een tekst, dan een geluid."
  • Stap 4: Een controleur kijkt of het plan klopt voordat het antwoord wordt gegeven. Als er een foutje is, gaat het terug naar stap 1 en corrigeert het.

De Analogie:
Stel je voor dat je een film regisseur bent.

• De oude AI's waren als een regisseur die direct de camera aanzet en hoopt dat het goed komt. Vaak is het resultaat rommelig.
• UNIMA is als een regisseur die eerst een script schrijft, een storyboard tekent, de acteurs instrueert, en dan pas de camera start. En als er een foutje in het script staat, stopt hij en corrigeert hij het voordat hij verder draait.

5. Wat leerden we?

Toen ze de huidige slimme AI's (zoals AnyGPT, NExT-GPT) op dit nieuwe examen UNIM legden, bleek het ontzettend moeilijk.

• De meeste bestaande AI's faalden. Ze konden de complexe mix van video, audio en code niet goed samenbrengen. Ze vergeten vaak instructies of leveren het verkeerde formaat op.
• UNIMA deed het veel beter, maar zelfs die was niet perfect. Het bewijst dat we nog een lange weg te gaan hebben voordat AI's echt "algemeen slim" zijn in deze gemengde wereld.

Conclusie

Deze paper zegt eigenlijk: "We hebben een nieuwe, veel moeilijkere test bedacht voor AI, omdat de wereld niet uit losse tekst en foto's bestaat, maar uit een wirwar van geluid, beeld en data. En we hebben een nieuwe, slimmere manier bedacht om AI's te laten denken en plannen, zodat ze deze test kunnen halen."

Het is de eerste stap naar een AI-assistent die echt mee kan denken in onze chaotische, multimodale wereld.

Technische samenvatting

Titel: UNIM: Een Unified Any-to-Any Interleaved Multimodal Benchmark

1. Het Probleem

Huidige Multimodale Large Language Models (MLLMs) hebben zich ontwikkeld van systemen die zich richten op visueel-taalbegrip naar modellen die zowel begrijpen als genereren. Echter, bestaande benchmarks en modellen zijn vaak beperkt tot eenvoudige tekst-beeld paren of simpele sequenties. Ze falen in het modelleren van de complexiteit van echte wereldinteracties, waarbij gebruikers inputs en outputs kunnen leveren in willekeurige, verweven (interleaved) combinaties van verschillende modaliteiten (zoals tekst, audio, video, documenten, code en 3D).

De huidige uitdagingen zijn:

• Beperkte modaliteitsdekking: De meeste benchmarks focussen alleen op tekst en beeld, terwijl real-world toepassingen (zoals AI-assistenten of engineering systemen) vaak audio, video, code en 3D-modellen vereisen.
• Gebrek aan complexe redenering: Bestaande datasets testen vaak geïsoleerde vaardigheden in plaats van de gecombineerde, verweven redenering die nodig is voor complexe taken.
• Onduidelijke evaluatie: Traditionele metrieken (zoals nauwkeurigheid) zijn ontoereikend voor het beoordelen van flexibele, open-vormige multimodale generatie.

2. Methodologie

De auteurs introduceren een drieledige aanpak om deze kloof te overbruggen:

A. Het UNIM Dataset (Benchmark)

• Omvang en Diversiteit: Een dataset van 31.026 hoogwaardige instances, afkomstig uit diverse bronnen (publieke datasets, sociale media, kennisbanken zoals YouTube en Wikipedia).
• Modaliteiten: Dekking van 7 modaliteiten: tekst, afbeelding, audio, video, document, code en 3D.
• Interleaved Structuur: Elke instance bevat willekeurig geordende sequenties van deze modaliteiten in zowel de vraag (input) als het antwoord (output).
• Domeinen: De data beslaat 30 verschillende domeinen (bijv. natuurwetenschappen, sociale wetenschappen, algemene gebieden).
• Moeilijkheidsgraad: Instances zijn ingedeeld in drie niveaus (Eenvoudig, Middel, Moeilijk) op basis van de complexiteit van de modaliteiten, het aantal verweveningen en de redeneervereisten.

B. UNIM EVALUATION SUITE
Omdat traditionele metrieken tekortschieten, ontwikkelen de auteurs een nieuwe evaluatie-suite met drie dimensies:

1. Semantische Correctheid & Generatiekwaliteit (SQCS): Combineert semantische alignering met de grondwaarheid (via LLM-as-a-Judge) met perceptuele kwaliteitsmetingen (bijv. NIQE voor afbeeldingen, signaalanalyse voor audio).
2. Integriteit van de Response Structuur (StS & LeS): Evalueert of het model precies de juiste modaliteiten en aantallen genereert die in de taak worden gevraagd (Strict vs. Lenient).
3. Interleaved Coherentie (ICS): Meet de logische samenhang en stilistische harmonie tussen de verschillende modaliteiten in de output (Holistic Coherence en Stylistic Harmony).
4. Support Rate: Een correctiefactor die rekening houdt met het vermogen van een model om specifieke modaliteiten überhaupt te verwerken.

C. UNIMA (Baseline Model)
Om de benchmark te testen, introduceren de auteurs UNIMA, een agentic model dat is ontworpen voor deze specifieke taak:

• Architectuur: Gebruikt een modulaire aanpak met een Receiving Module (omzet niet-tekst inputs naar dichte captions), een Traceable Evidence Reasoning (TER) Module en een Generating Module.
• Traceable Evidence Reasoning (TER): Dit is de kern. In plaats van impliciete redenering, bouwt UNIMA een expliciete, traceerbare redeneerketen op. Het plant, valideert en verfijnt tussenstappen (zoals het genereren van een data-rapport via een code-interpreter) voordat de uiteindelijke output wordt gegenereerd.
• Iteratieve Validatie: Een Checker en Judger submodule controleren de output op fouten en kunnen terugkeren naar eerdere stappen voor correctie (backtracking), wat de coherentie en structuur verbetert.

3. Belangrijkste Bijdragen

• Eerste Unified Any-to-Any Benchmark: UNIM is het eerste dataset en benchmark dat specifiek is ontworpen voor willekeurige, verweven combinaties van 7 modaliteiten in zowel input als output.
• Uitgebreide Evaluatie-metrieken: De ontwikkeling van de UNIM Evaluation Suite biedt een gestructureerde manier om niet alleen de inhoud, maar ook de structuur en coherentie van complexe multimodale antwoorden te meten.
• Agentic Baseline (UNIMA): Het introduceren van een model dat gebruikmaakt van traceerbare redenering en toolgebruik om complexe multimodale taken aan te pakken, wat een nieuwe richting aangeeft voor MLLM-ontwikkeling.
• Uitgebreide Analyse: Het paper biedt diepgaande inzichten in de huidige beperkingen van state-of-the-art modellen (zoals AnyGPT, NExT-GPT, MIO) op dit gebied.

4. Resultaten

Experimenten met bestaande MLLMs en het nieuwe UNIMA-model tonen het volgende:

• Hoge Complexiteit: Bestaande modellen presteren zeer slecht op UNIM (veelal onder de 20% op semantische en structurele metrieken), wat aantoont dat de taak aanzienlijk moeilijker is dan huidige benchmarks suggereren.
• Structuurproblemen: Modellen hebben grote moeite om de juiste modaliteiten in de juiste volgorde en hoeveelheid te genereren (lage StS/LeS scores).
• UNIMA Prestaties: UNIMA presteert aanzienlijk beter dan de baselines (bijv. 2-6x hogere structuur scores dan AnyGPT en 15-40x hoger dan NExT-GPT/MIO). Het bereikt een SQCS van ongeveer 60% en een ICS van bijna 70%.
• Invloed van Moeilijkheid: Terwijl bestaande modellen zelfs op eenvoudige taken falen, toont UNIMA een duidelijke prestatiegradiënt die correleert met de taakcomplexiteit, hoewel er nog ruimte is voor verbetering bij zeer moeilijke taken.

5. Betekenis en Toekomstperspectief

Dit werk markeert een paradigmaverschuiving in multimodale AI-onderzoek. Het benadrukt dat ware "general-purpose" multimodale intelligentie niet alleen gaat over het begrijpen van afbeeldingen en tekst, maar over het naadloos integreren en genereren van complexe, verweven multimodale stromen.

• Richting voor Onderzoek: Het paper identificeert de noodzaak voor end-to-end modellen die willekeurige modaliteitscombinaties kunnen verwerken, in plaats van modulaire systemen.
• Redenering: Het succes van UNIMA benadrukt het belang van expliciete, traceerbare redenering en iteratieve validatie voor complexe multimodale generatie.
• Toepassingen: De inzichten zijn cruciaal voor het ontwikkelen van geavanceerde AI-assistenten, programmeer-copilots en engineering systemen die kunnen omgaan met de complexiteit van de echte wereld.

Kortom, UNIM stelt een nieuwe, rigoureuze standaard neer voor het evalueren en ontwikkelen van de volgende generatie multimodale modellen.