UniGenBench++: A Unified Semantic Evaluation Benchmark for Text-to-Image Generation

Dit paper introduceert UniGenBench++, een unificerend semantisch evaluatiekader voor tekst-naar-beeldgeneratie dat, dankzij een hiërarchische structuur van 600 prompts in meertalige en variabele lengtes, een verfijnde en robuuste beoordeling mogelijk maakt van modelprestaties via een geautomatiseerde pipeline.

De kern

Stel je voor dat je een superkrachtige chef-kok hebt die elke foto kan maken die je maar kunt beschrijven. Je zegt: "Maak een foto van een astronaut die op een draak van sterrenstof rijdt," en poef, daar is de foto. Maar hoe weet je of de chef-kok de opdracht écht goed heeft begrepen? Ziet de astronaut eruit alsof hij op de draak zit, of zit hij er gewoon naast? Is de draak echt van sterrenstof, of is het gewoon blauwe verf?

Dit is precies het probleem waar wetenschappers mee worstelen bij Text-to-Image (tekst-naar-beeld) modellen. Ze zijn geweldig, maar soms maken ze rare fouten die een mens direct ziet, maar een computer niet.

Deze paper introduceert UniGenBench++, een nieuwe, super-uitgebreide "keuring" of "examen" voor deze beeld-generators. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Examen: Geen meer "Vraag 1, vraag 2"

Vroeger waren de examens voor deze AI's vaak saai en simpel. Ze vroegen bijvoorbeeld alleen: "Zie je een hond?" of "Is de hond rood?". Dat is als een rijbewijsexamen waarbij je alleen moet kunnen parkeren, maar niet mag draaien of remmen.

UniGenBench++ is als een compleet rijbewijsexamen met 600 verschillende situaties:

• Verschillende talen: Het examen is er in het Engels én het Nederlands (in de paper: Chinees). Want een AI die goed is in het Engels, is niet per se goed in het Chinees.
• Korte vs. Lange teksten: Soms geef je een korte opdracht ("Een hond"), soms een hele gedetailleerde verhaal ("Een oude, bruine hond met een rode das die op een fiets zit in de regen"). De paper test of de AI het verhaal nog kan volgen als het lang wordt.
• De "Testpunten": Dit is het slimme deel. Elke opdracht wordt niet met één cijfer beoordeeld, maar op 27 verschillende aspecten.
  • Stijl: Ziet het eruit als een olieverfschilderij?
  • Logica: Is het logisch dat de astronaut op de draak zit?
  • Details: Zijn de handen goed getekend? Is de tekst op het bordje leesbaar?

2. De Oefeningen: Van Creatief tot Logisch

De auteurs hebben een heel brede waaier aan opdrachten bedacht, verdeeld in 5 hoofdcategorieën:

• Creatief Divergeren: Alles wat in je hoofd opkomt (bijv. een draak van sterrenstof).
• Kunst: Schilderijen, foto's, beelden.
• Illustratie: Verhalen vertellen met plaatjes.
• Film & Verhaal: Sci-fi, animatie, realistische filmscènes.
• Ontwerp: Reclames, logo's, game-ontwerpen.

Het doel is om te kijken of de AI niet alleen "mooie plaatjes" maakt, maar ook verstand heeft van de wereld. Kan hij begrijpen dat een mens niet door een muur kan lopen? Dat een glas water nat is? Dat een astronaut in de ruimte geen lucht kan ademen?

3. De Scheidsrechter: De "Super-Oefenmeester"

Hoe beoordeel je 600 foto's en 27 punten per foto? Dat is te veel werk voor mensen.
In plaats daarvan gebruiken ze een Super-AI (Gemini 2.5 Pro) als scheidsrechter.

• Deze scheidsrechter kijkt naar de opdracht, de gegenereerde foto en een lijst met specifieke vragen (bijv. "Is de astronaut op de draak?").
• Hij geeft niet alleen een "Ja/Nee", maar legt ook uit waarom. "Nee, de astronaut zweeft boven de draak, terwijl de opdracht zei dat hij erop moest zitten."
• Dit maakt de beoordeling heel eerlijk en gedetailleerd.

4. De Resultaten: Wie is de beste?

De paper testte heel veel AI's, van de dure, gesloten systemen (zoals die van Google en OpenAI) tot de gratis, open-source modellen.

• De winnaars: De duurste, gesloten systemen (zoals GPT-4o en Nano Banana Pro) doen het over het algemeen het beste. Ze zijn slim, logisch en begrijpen lange verhalen goed.
• De open-source helden: Er zijn ook gratis modellen (zoals FLUX en Qwen) die heel goed meedoen. Ze zijn soms net zo goed als de dure modellen op het gebied van "mooie plaatjes", maar ze struikelen nog wel eens over logica en lange, complexe zinnen.
• De zwakke plekken: Veel AI's vinden het moeilijk om:
  • Handen en voeten correct te tekenen.
  • Logische verbanden te begrijpen (bijv. "Als A groter is dan B, en B groter dan C, dan is A groter dan C").
  • Tekst in de afbeelding correct te schrijven (vaak wordt het onleesbaar).

5. Waarom is dit belangrijk?

Stel je voor dat je een AI wilt gebruiken om een reclamecampagne te maken of een game te ontwerpen. Je wilt niet dat de AI een auto tekent met drie wielen, of een mens met zes vingers.

UniGenBench++ is als een kwaliteitskeurmerk. Het helpt ontwikkelaars om precies te zien waar hun AI zwak is, zodat ze die kunnen verbeteren. Het zorgt ervoor dat we in de toekomst niet alleen "mooie" plaatjes krijgen, maar plaatjes die logisch, correct en betrouwbaar zijn.

Kortom: Dit is de nieuwe, super-uitgebreide "rijbewijstest" voor beeld-AI's, die zorgt dat ze niet alleen kunnen tekenen, maar ook echt begrijpen wat ze tekenen.

Technische samenvatting

Probleemstelling

De snelle vooruitgang in Text-to-Image (T2I) generatie heeft de noodzaak onderstreept voor betrouwbare benchmarks om te evalueren hoe nauwkeurig gegenereerde afbeeldingen de semantiek van tekstuele prompts weerspiegelen. Bestaande benchmarks vertonen echter twee fundamentele tekortkomingen:

1. Gebrek aan diversiteit en meertaligheid: Veel bestaande benchmarks missen de diversiteit aan prompt-scenario's die nodig is voor real-world toepassingen en bieden geen ondersteuning voor meertalige evaluatie (bijv. Engels en Chinees).
2. Grove evaluatie en beperkte sub-dimensies: Bestaande methoden evalueren vaak slechts op hoofd-dimensies (zoals "attributen") zonder voldoende diepgang in sub-dimensies. Ze missen fijnmazige beoordeling van complexe aspecten zoals logisch redeneren, grammatica, interacties en ruimtelijke relaties, waardoor zwakke plekken van modellen vaak onopgemerkt blijven.

Methodologie

Om deze beperkingen aan te pakken, stellen de auteurs UniGenBench++ voor, een unificerend semantisch evaluatiebenchmark. De kern van de methodologie omvat:

• Hiërarchische Prompt-structuur: Het benchmark bestaat uit 600 prompts die zijn georganiseerd in een hiërarchisch systeem om zowel dekking als efficiëntie te garanderen:
  • Thema's: 5 hoofdthema's (Creatieve Divergentie, Kunst, Illustratie, Film & Verhaal, Design) met 20 sub-thema's.
  • Onderwerpen: Een breed scala aan entiteiten (dieren, objecten, personages, scènes).
  • Variatie: Elke prompt is beschikbaar in Engels en Chinees, en in zowel korte als lange vormen. Dit test de robuustheid van modellen tegenover taalvariaties en promptlengte.
• Fijnmazige Evaluatiedimensies: In plaats van grove scores, worden prompts geëvalueerd op 10 hoofd-dimensies en 27 sub-dimensies. Voorbeelden van sub-dimensies zijn:
  • Actie: Contact- en niet-contact interacties, handbewegingen, volledige lichaamsbewegingen.
  • Relatie: Samenstelling, gelijkenis, inclusie, vergelijking.
  • Logica & Grammatica: Causale redenering, ontkenning, voornaamverwijzingen.
  • Atributen: Kleur, materiaal, vorm, hoeveelheid, expressie.
• Geautomatiseerde Evaluatie Pipeline:
  • Er wordt gebruikgemaakt van een gespecialiseerde Multi-Modal Large Language Model (MLLM), specifiek Gemini-2.5-Pro, als "judge".
  • Voor elke prompt en gegenereerde afbeelding wordt een reeks expliciete "testpunten" (test points) gecontroleerd. De MLLM analyseert of elk semantisch vereiste in de afbeelding is vervuld en levert een binaire score (0 of 1) samen met een natuurlijke taal-uitleg (rationale).
  • Dit proces is gestroomlijnd en puntsgewijs, wat complexiteit verlaagt ten opzichte van multi-turn conversaties.
• Offline Evaluatiemodel: Om de gemeenschap te faciliteren, is een robuust offline evaluatiemodel getraind (gebaseerd op UnifiedReward-2.0-qwen-72b) dat de scores van de gesloten-source MLLM nabootst. Dit maakt lokale, kostenefficiënte evaluatie mogelijk zonder API-calls.

Belangrijkste Bijdragen

1. UniGenBench++ Benchmark: Een uniek dataset met 600 prompts die meertalig (EN/ZH) en variërend in lengte is, met een focus op real-world scenario's en fijnmazige semantische criteria (10 hoofd- en 27 sub-dimensies).
2. Gestroomlijnde Evaluatie Pipeline: Een efficiënte methode voor puntsgewijze evaluatie die consistentie en interpretatiebaarheid biedt, in plaats van alleen aggregatiescores.
3. Offline Evaluatiemodel: Een getraind model dat de community in staat stelt om T2I-modellen lokaal en betrouwbaar te evalueren, wat de toegankelijkheid vergroot.
4. Uitgebreide Benchmarking: Een systematische analyse van zowel gesloten-source (bijv. GPT-4o, Nano Banana, Seedream) als open-source modellen (bijv. FLUX.2-dev, Qwen-Image, Hunyuan) over alle dimensies.

Resultaten

De benchmarking van diverse modellen levert de volgende inzichten op:

• Sterke prestaties in Visuele Kwaliteit: Zowel open- als gesloten-source modellen presteren over het algemeen goed op dimensies zoals Stijl, Wereldkennis en Attributen (kleur, vorm).
• Zwakke Punten in Redenering: Modellen worstelen consequent met complexe logisch redeneren (causaliteit, contrast) en grammaticale consistentie. Dit geldt voor zowel korte als lange prompts.
• Open-Source vs. Gesloten-Source:
  • Gesloten-source modellen (zoals GPT-4o-1.5 en Nano Banana Pro) leiden over het algemeen, vooral op het gebied van grammatica, logisch redeneren en robuuste compositie.
  • Open-source modellen (zoals FLUX.2-dev en Qwen-Image) sluiten de kloof in visuele dimensies aanzienlijk, maar vertonen grotere fluctuaties en blijven achter op complexe redenering en grammatica.
• Taal- en Lengte-effecten: Modellen presteren vaak slechter op lange prompts en in het Chinees vergeleken met korte Engelse prompts, wat wijst op beperkingen in het hanteren van complexe instructies en meertalige tekstgeneratie.
• Evaluatie Model: Het getrainde offline evaluatiemodel toont een significante verbetering in nauwkeurigheid (+5% tot +16% afhankelijk van de dimensie) ten opzichte van standaard open-source VLMs zoals Qwen2.5-VL-72b.

Significantie

UniGenBench++ markeert een belangrijke stap in de evolutie van T2I-evaluatie door te verschuiven van grove, object-gerichte metingen naar een fijnmazige, semantisch diepgaande analyse.

• Het biedt een realistischere testomgeving voor real-world toepassingen door meertaligheid en variatie in promptlengte te integreren.
• Het identificeert specifieke zwakke plekken (zoals logisch redeneren en grammatica) die nodig zijn voor de volgende generatie T2I-modellen.
• Door het beschikbaar stellen van een offline evaluatiemodel, democratiseert het de toegang tot hoogwaardige evaluatie, waardoor onderzoekers en ontwikkelaars modellen lokaal en kostenefficiënt kunnen testen zonder afhankelijk te zijn van dure API's.

Kortom, UniGenBench++ stelt de gemeenschap in staat om T2I-modellen niet alleen te beoordelen op "hoe mooi" ze zijn, maar op "hoe goed ze begrijpen" wat er gevraagd wordt.