💻 computer science

Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

Dit artikel introduceert XTC-Bench, een nieuw evaluatiekader en de Continuous Cross-Task Agreement (CCTA)-metriek, om de semantische consistentie tussen visueel begrip en generatie in geünificeerde multimodale modellen te diagnosticeren en te kwantificeren, en onthult dat hoge prestaties op individuele taken geen coherente geünificeerde representaties garanderen.

Oorspronkelijke auteurs: Weixing Wang, Liudvikas Zekas, Anton Hackl, Constantin Alexander Auga, Parisa Shahabinejad, Jona Otholt, Antonio Rueda-Toicen, Gerard de Melo

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weixing Wang, Liudvikas Zekas, Anton Hackl, Constantin Alexander Auga, Parisa Shahabinejad, Jona Otholt, Antonio Rueda-Toicen, Gerard de Melo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer getalenteerde kunstenaar voor die ook als museumgids kan fungeren. Deze kunstenaar is een "Unified Multimodal Model" (uMM). Hun taak is om twee dingen met dezelfde afbeelding te doen:

Het begrijpen: Kijk naar een foto en beschrijf wat er gebeurt (de "Gids"-rol).
Het creëren: Lees een beschrijving en teken een nieuwe afbeelding op basis daarvan (de "Kunstenaar"-rol).

Lange tijd hebben we deze kunstenaars getest door hun vaardigheden als gids apart te beoordelen van hun vaardigheden als kunstenaar. We vroegen: "Hoe goed kunnen ze een auto beschrijven?" en "Hoe goed kunnen ze een auto tekenen?" apart. Als ze op beide gebieden hoge scores behaalden, gingen we ervan uit dat ze perfect waren.

Het Probleem: De "Gespleten Persoonlijkheid"-Kwestie
De auteurs van dit artikel realiseerden zich dat er een verborgen gebrek is. Het feit dat een kunstenaar een rode auto perfect kan beschrijven, betekent niet dat ze een rode auto kunnen tekenen als dat wordt gevraagd. Omgekeerd kunnen ze misschien een prachtige rode auto tekenen, maar falen ze om deze als rood te herkennen wanneer ze worden gevraagd om deze te beschrijven.

Ze noemen dit een gebrek aan Cross-Task Consistency (consistentie tussen taken). Het is als een persoon die een recept perfect kan opzeggen, maar de taart verbrandt wanneer ze proberen te koken. Het artikel stelt dat huidige modellen vaak deze "gespleten persoonlijkheid" hebben: hun interne wereldbeeld komt niet overeen met hun vermogen om die wereld te creëren.

De Oplossing: XTC-Bench (Het "Fact-Check"-Systeem)
Om dit op te lossen, bouwden de auteurs een nieuwe testomgeving genaamd XTC-Bench. In plaats van alleen algemene vragen te stellen, gebruiken ze een "Scene Graph" (scenegrafiek).

Denk aan een Scene Graph als een gedetailleerde, gestructureerde receptkaart voor een afbeelding. Het breekt een afbeelding op in kleine, atomaire feiten:

Object: Een auto.
Attribuut: Het is wit en zilver.
Relatie: Het staat geparkeerd voor een boom.

Zo werkt hun test:

Het Hoofdrecept: Ze beginnen met een perfect "recept" (de Scene Graph) van een echte foto.
De Beurt van de Kunstenaar: Ze voeren het recept in bij de AI en vragen het om de afbeelding te tekenen.
De Beurt van de Gids: Ze tonen de AI de originele foto en vragen het om het recept terug te lezen (bijvoorbeeld: "Wat is de kleur van de auto?").
De Vergelijking: Ze vergelijken wat de AI tekende met wat de AI zei.

Als de AI een witte auto tekent maar zegt dat de auto blauw is, heeft het de consistentietest gefaald, zelfs als het een goede auto tekende en apart een goed antwoord gaf.

De Nieuwe Score: CCTA (De "Waarheidsmeter")
Ze bedachten een nieuwe score genaamd CCTA (Continuous Cross-Task Agreement).

Oude Manier: "Kreeg je het antwoord goed?" (Nauwkeurigheid).
Nieuwe Manier (CCTA): "Vertelde je in beide richtingen de waarheid?" (Consistentie).

Ze creëerden ook een slimmere score genaamd AW-CCTA. Dit is cruciaal omdat het een specifieke truc opvangt: Consistente Hallucinatie.

Scenario: Een AI is overal slecht in. Het tekent altijd een blauwe auto, en wanneer erom wordt gevraagd, zegt het altijd dat de auto blauw is.
Oude Score: Het ziet er consistent uit! (Het komt met zichzelf overeen).
Nieuwe Score (AW-CCTA): Het geeft een lage score omdat het, hoewel het consistent is, consequent fout is. Het belooft modellen die consistent én correct zijn.

Wat Ze Vonden
De auteurs testten 8 open-source modellen en 2 commerciële reuzen (zoals Google's Gemini en OpenAI's GPT). Hier is wat ze ontdekten:

Hoge Scores Betekenen Niet Hoge Consistentie: Een model kan geweldig zijn in tekenen en geweldig in beschrijven, maar toch een "gespleten persoonlijkheid" hebben. De twee vaardigheden praten niet automatisch met elkaar.
Begrijpen Is Makkelijker dan Creëren: Bijna elk model was beter in het beschrijven van een afbeelding dan in het tekenen ervan. Ze zijn betere gidsen dan kunstenaars.
Architectuur Maakt Uit, Maar Niet Zoals Je Denkt: Je zou kunnen denken dat als je een model bouwt met één brein voor beide taken, het consistent zal zijn. De auteurs ontdekten dat het simpelweg delen van het "brein" (architectuur) niet genoeg is. De sleutel is hoe strak de trainingsdoelen voor "zien" en "tekenen" met elkaar verbonden zijn. Als ze niet strak verbonden zijn, leert het model twee verschillende talen voor dezelfde wereld.
De "Consequent Fout"-Valstrik: Sommige modellen bleken consequent te hallucineren (in beide richtingen dezelfde verkeerde feiten verzinnen). Alleen de nieuwe AW-CCTA-score ving dit op.

De Conclusie
Dit artikel introduceert een nieuwe manier om AI te testen die zoekt naar interne eerlijkheid. Het toont aan dat het feit dat een AI twee dingen goed kan, niet betekent dat het de wereld begrijpt op één samenhangende manier. Om echt geünificeerde AI te bouwen, moeten we stoppen met het apart testen van de "Gids" en de "Kunstenaar" en beginnen te controleren of ze hetzelfde verhaal vertellen.

1. Probleemstelling

Unified Multimodal Models (uMM's) hebben als doel zowel visueel begrip (perceptie) als visuele generatie (synthese) uit te voeren binnen een gedeelde architecturale en representatieve ruimte. Hoewel huidige benchmarks deze vaardigheden onafhankelijk evalueren (bijvoorbeeld VQA voor begrip, FID/CLIP-scores voor generatie), slagen ze er niet in om de semantische coherentie tussen de twee taken te beoordelen.

Het Kernprobleem: Een model kan uitstekend zijn in het beantwoorden van vragen over een afbeelding (begrip), maar falen bij het genereren van diezelfde details wanneer erom wordt gevraagd (generatie), of vice versa. Dit wijst op een structurele asymmetrie in de interne representatie van het model. Hoge scores op geïsoleerde taken kunnen een fundamenteel gebrek aan geünificeerde semantische uitlijning maskeren, waarbij het model leert om consistent te "hallucineren" over taken heen, in plaats van beide te verankeren in een gedeelde realiteit.

2. Methodologie: XTC-Bench

De auteurs introduceren XTC-Bench, een evaluatiekader dat is gebaseerd op sceneschema's en is ontworpen om cross-task visuele semantische consistentie te meten.

A. Data-construktiepijplijn

Bron: 2.000 handmatig gecureerde afbeeldingen uit COCO 2017 en Visual Genome.
Extractie van Sceneschema: Een twee-trapspijplijn wordt gebruikt om een "Referentie Sceneschema" ( $G$ $G$ ) voor elke afbeelding te creëren:
1. Objectdetectie & Segmentatie: Gebruik van kMaX-DeepLab voor panoptische segmentatie.
2. Relatievoorspelling: Gebruik van Fair-PSG om paarsgewijze relaties te voorspellen.
3. Verfijning:
  - Filtering: Er worden hoge betrouwbaarheidsdrempels toegepast om spurious relaties te verwijderen.
  - VLM-verificatie: Een groot Vision-Language Model (Qwen3-VL-235B) verifieert relaties en attributen met behulp van annotaties van omhullende dozen (bounding box annotations).
  - Attribuutgeneratie: Gebruik van een "Dual-View"-aanpak (Semantische Spotlight + Detail Crop) om nauwkeurige attribuutherkenning voor specifieke objecten te waarborgen.
Prompt- en Querygeneratie:
- Generatieprompts: Het sceneschema wordt gelineariseerd tot een natuurlijke taalprompt voor afbeeldingsgeneratie.
- Begripsvragen: Feit-georiënteerde VQA-vragen worden gegenereerd voor elke atomaire feit (object, attribuut, relatie) in het sceneschema.

B. Evaluatieprotocol

Voor een gegeven model $M$ :

Generatie: Het model genereert een afbeelding ( $\hat{I}$ ) vanuit de prompt. Deze afbeelding wordt via dezelfde extractiepijplijn teruggep解析 naar een voorspeld sceneschema ( $\hat{G}$ ).
Begrip: Het model beantwoordt de VQA-vragen op basis van de originele afbeelding.
Matching: Een twee-traps semantisch graafmatching-algoritme (met gebruik van het Hongaarse algoritme) brengt knopen en randen in lijn tussen het ground-truth-schema $G$ en het voorspelde schema $\hat{G}$ .

C. Metrieken

Het kader introduceert drie kernmetrieken:

Generatiescore ( $G$ ) & Begripscore ( $U$ ): Geëvalueerd met een LLM-as-Judge (Qwen3-235B) die semantische equivalentie scoort (schaal 0–5) tussen de output van het model en de ground truth, in plaats van exacte stringmatching.
Continuous Cross-Task Agreement (CCTA):
- Meet de consistentie tussen generatie- en begripsantwoorden voor dezelfde atomaire feiten.
- Formule: $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$ .
- Beperking: Een model dat consistent fout is (dezelfde fout hallucineert in beide taken), scoort hoog op CCTA.
Accuracy-Weighted CCTA (AW-CCTA):
- Adresseert het probleem van "consistent hallucineren" door de consistentieterm te schalen met de gemiddelde gezamenlijke nauwkeurigheid.
- Formule: $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$ .
- Deze metriek straft modellen die symmetrisch onjuist zijn, en belonend alleen diegenen die symmetrisch correct zijn.

3. Belangrijkste Bijdragen

Formalisatie van Cross-Task Consistentie: Consistentie gedefinieerd als een meetbare eigenschap die losstaat van standalone nauwkeurigheid, met de introductie van CCTA en AW-CCTA om representatieve symmetrie te kwantificeren.
XTC-Bench Kader: Een volledig geautomatiseerd, sceneschema-gebaseerd benchmark dat gezamenlijk generatie, begrip en hun uitlijning evalueert onder een gedeelde gestructureerde representatie.
Empirische Ontdekking: Aangetoond dat huidige uMM's systematische structurele asymmetrie vertonen. Hoge prestaties in de ene taak garanderen geen uitlijning in de andere, en architecturale unificatie alleen zorgt niet voor semantische coherentie.

4. Experimentele Resultaten

De auteurs evalueerden 8 open-source modellen (bijvoorbeeld BAGEL, OmniGen, Show-o, Janus-Pro) en 2 commerciële modellen (Gemini, GPT-5).

Zwakke Correlatie: Er is een zwakke voorspellende relatie tussen standalone taakprestaties ( $G$ of $U$ ) en cross-task consistentie (AW-CCTA). Een model kan hoge generatiescores hebben maar lage uitlijning.
De "Consistent Hallucination" Foutmodus:
- Modellen zoals MMaDA-8B toonden een hoge ruwe CCTA (0,630) maar een bijna nul AW-CCTA (0,144). Dit geeft aan dat het model dezelfde onjuiste feiten genereert en begrijpt, een foutmodus die onzichtbaar is voor standaardmetrieken.
- BAGEL-7B en Gemini-2.5 Flash behaalden de hoogste AW-CCTA, wat wijst op een betere gebalanceerde prestatie.
Architecturale Inzichten:
- Pure Autoregressive (AR) modellen (bijvoorbeeld OmniGen, Janus-Pro) toonden de hoogste gemiddelde AW-CCTA, wat suggereert dat een geünificeerd next-token predictiedoel taken op een natuurlijke manier beter koppelt.
- AR + Diffusion modellen toonden de grootste kloof tussen generatie en begrip, wat wijst op gevoeligheid voor de kalibratie tussen de twee componenten.
- Pure Diffusion modellen toonden hoge ruwe consistentie maar lage nauwkeurigheids-gewogen consistentie.
Begrip > Generatie: De meeste modellen scoorden hoger op begrip dan op generatie, wat suggereert dat huidige trainingsdoelstellingen perceptieve verankering verkiezen boven generatieve trouw.

5. Betekenis en Toekomstige Richtingen

Voorbij Geïsoleerde Metrieken: XTC-Bench bewijst dat het evalueren van uMM's vereist dat men voorbij geïsoleerde nauwkeurigheid gaat om interne representatiecoherentie te meten.
Diagnostisch Hulpmiddel: De divergentie tussen CCTA en AW-CCTA dient als een kritiek diagnostisch middel voor "consistent hallucineren", een gevaarlijke foutmodus in veiligheidskritieke toepassingen.
Richting voor Training: De resultaten suggereren dat het simpelweg unificeren van architecturen onvoldoende is; toekomstig onderzoek moet zich richten op het koppelen van leerdoelen over modaliteiten heen om te waarborgen dat perceptie en synthese dezelfde semantische grond delen.
Beperkingen: Het kader is momenteel afhankelijk van geautomatiseerde teacher-modellen (die vooroordelen kunnen erven) en statische afbeeldingen. Toekomstig werk moet witte-doos-probing verkennen om divergentiepunten in de architectuur te lokaliseren en het kader uitbreiden naar video en audio.

Kortom, XTC-Bench biedt een rigoureuze, reproduceerbare methode om de "semantische kloof" in unified multimodal bloot te leggen, en biedt een concrete weg naar het ontwikkelen van modellen die een consistente realiteit werkelijk begrijpen en genereren.