Technische Samenvatting: Qwen-Image-Bench: Van Generatie naar Creatie in Text-to-Image Evaluatie

1. Probleemstelling

Text-to-Image (T2I) generatie is geëvolueerd van het produceren van visueel plausibele afbeeldingen naar het ondersteunen van fotorealistische reconstructie en complexe creatieve expressie. Bestaande evaluatiebenchmarks blijven echter verankerd in fundamentele criteria zoals grove tekst-afbeelding-alignement en generieke visuele kwaliteit, waarbij vaak wordt vertrouwd op CLIP-gelijkenis of ongesuperviseerde Multimodale Large Language Models (MLLM's) als beoordelaars. De auteurs identificeren drie kritieke beperkingen in huidige evaluatieparadigma's:

1. Verzadiging op Basisassen: Naarmate modellen de limiet benaderen op algemene prompt-opvolging, comprimeren bestaande benchmarks sterke modellen tot ononderscheidbare scorebanden, waardoor ze niet meer in staat zijn om state-of-the-art systemen te differentiëren.
2. Onvoldoende Karakterisering van Real-world Fidelity: Huidige suites slagen er niet in om onderscheid te maken tussen visueel plausibele outputs en outputs die werkelijk de fysieke common sense, culturele verankering of feitelijke structuur respecteren.
3. Gebrek aan Expert-supervisie in Creatieve Generatie: Benchmarks missen vaak fijnmazige taxonomieën voor creativiteit (originaliteit, stilistische coherentie) en vertrouwen steeds vaker op enkele MLLM-beoordelaars, die systematische biases erven in plaats van professionele menselijke standaarden te reflecteren die gebaseerd zijn op getrainde esthetische intuïtie.

Consequent is er een kloof tussen benchmark-doelstellingen en de werkelijke eisen van professionele makers, die een getrouwe reconstructie van de realiteit en authentieke creatieve expressie vereisen.

2. Methodologie

De auteurs introduceren Qwen-Image-Bench, een maker-gecentreerde benchmark die samen met professionele kunstenaars is ontworpen en geworteld is in real-world creatieve scenario's. De methodologie bestaat uit drie nauw gekoppelde componenten:

A. Hiërarchische Capaciteitstaxonomie

In plaats van een platte checklist gebruikt de benchmark een top-down taxonomie die professionele artistieke workflows (ideatie, styling, iteratieve verfijning) weerspiegelt. Het is gestructureerd in drie niveaus:

• Niveau 1 (Pijlers): Vijf dimensies: drie conventionele (Kwaliteit, Esthetiek, Tekst-Afbeelding Alignement) en twee applicatie-gedreven (Real-world Fidelity en Creative Generation).
• Niveau 2 (Sub-capaciteiten): 23 sub-capaciteiten (bijv. Wereldkennis, Visueel Storytelling, Design Applicaties).
• Niveau 3 (Facetten): 56 verifieerbare rubrieken (bijv. Tekst Accuraatheid, Fysieke Logica, Anatomische Getrouwheid).
  Deze structuur maakt fijnmazige diagnostiek mogelijk, waardoor de sterktes en zwaktes van een model gelokaliseerd kunnen worden bij specifieke artistieke sub-vaardigheden in plaats van bij geaggregeerde scores.

B. Expert-in-the-loop Prompt Constructie

De benchmark bestaat uit 1.000 gestratificeerde tweetalige prompts (500 Chinees, 500 Engels), gebalanceerd tussen korte en lange lengtes om robuustheid te testen. De prompts worden gegenereerd via een vierfasige pipeline:

1. Facet-gerichte sampling: Zorgen dat elke prompt ten minste drie pijlers en meerdere facetten exerciteert.
2. Tweetalige conceptvorming: Het gebruik van LLM's om uitgelijnde concepten te genereren met expliciete instantiatie-notities.
3. Expert review: Professionele kunstenaars verwerpen ambigue prompts en herschrijven prompts met een zwakke instantiatie.
4. Lengte-variante expansie: Het creëren van lange varianten om de rijkdom van de scènecontext te testen.
   Dit proces zorgt ervoor dat prompts verankerd zijn in concrete creatieve scenario's (bijv. receptenjournaals, game design, cinematografische storyboards) in plaats van vage verzoeken.

C. Unified Judge Model (Q-Judger)

Om de biases van enkele MLLM-beoordelaars en de kosten van handmatige review te vermijden, hebben de auteurs Q-Judger getraind, een verenigd model gebaseerd op Qwen3.6-27B.

• Trainingsdata: Gesuperviseerd door 80 professionele annotatoren van kunstacademies (fotografie, regie, beeldende kunst) onder blind labeling en triple-review protocollen.
• Scoring Protocol: Het model scoort elke prompt-afbeelding paren over alle 56 derde-niveau facetten onafhankelijk met behulp van een op rubrieken gebaseerd protocol (0: Fail, 1: Pass, 2: Excel, N/A).
• Aggregatie: Scores worden bottom-up geaggregeerd van L3 naar L2, L1, en uiteindelijk naar een algemene score, wat ervoor zorgt dat geaggregeerde metrieken traceerbaar zijn naar specifieke fijnmazige fouten.

3. Belangrijkste Resultaten

De benchmark werd gebruikt om 18 leidende T2I-modellen (waaronder GPT Image 2, Nano Banana Pro, Seedream 5.0, en Qwen Image 2.0 Pro) te evalueren onder zowel Chinese als Engelse prompts.

• Algemene Prestaties: GPT Image 2 behaalde de hoogste algemene score (64.69 op Chinese prompts), gevolgd door Nano Banana 2.0 en GPT Image 1.5. De modellen splitsten zich natuurlijk op in vijf duidelijke prestatie-tiers, wat het onderscheidend vermogen van de benchmark aantoont.
• Onderscheidend Vermogen van Nieuwe Dimensies: De twee applicatie-gedreven pijlers, Creative Generation en Real-world Fidelity, vertoonden de grootste inter-model variantie (meer dan 11× die van Kwaliteit). Dit bevestigt dat deze dimensies de hiaten in capaciteiten targeten waar bestaande benchmarks weinig inzicht bieden.
• Systemische Ceilings: Vier Niveau 3 facetten—Physical Logic, Anatomical Fidelity, Animals, en Contact Interaction—kwamen naar voren als universele bottlenecks. Zelfs de best presterende modellen scoorden onder de 44 op deze facetten, wat wijst op een "perceptie-naar-cognitie" grens waar modellen worstelen met impliciete wereldkennis en logisch redeneren.
• Cross-linguale Robuustheid: De bevindingen en tier-structuren bleven consistent over Chinese en Engelse prompts, wat de taal-onafhankelijkheid van de benchmark valideert.
• Judge Model Alignment: Q-Judger bereikte een Spearman rangcorrelatie van 0.92 met menselijke expert-rankings, wat bevestigt dat het in staat is om professioneel oordeel te volgen terwijl de evaluatiekosten aanzienlijk worden verlaagd.

4. Betekenis en Claims

Het paper claimt dat Qwen-Image-Bench een verschuiving vertegenwoordigt van "generatie" (basis-alignement) naar "creatie" (professionele bruikbaarheid). De betekenis ligt in:

1. Maker-gecentreerd Ontwerp: Door samen met kunstenaars te ontwerpen, evalueert de benchmark dimensies die ertoe doen in professionele workflows (bijv. Wereldkennis, Tekst Rendering, Visueel Storytelling) in plaats van alleen semantische correctheid.
2. Granulaire Diagnostiek: De 56-facet granulariteit biedt bruikbare inzichten voor modelverbetering, waarbij men verder gaat dan opengewerkte geaggregeerde scores om specifieke tekorten in sub-vaardigheden te identificeren.
3. Onthullen van de Perceptie-Cognitie Kloof: De evaluatie legt bloot dat huidige T2I-modellen de visuele oppervlakte-reproductie (stijl, esthetiek) beheersen, maar een gebrek hebben aan het latente begrip van fysieke wetten, biologische structuren en ruimtelijk redeneren die nodig zijn voor echte real-world fidelity.
4. Betrouwbaar Optimalisatie-signaal: Door te vertrouwen op menselijke expert-supervisie in plaats van MLLM-proxies, biedt de benchmark een betrouwbaar signaal voor productie-niveau T2I-ontwikkeling, met name voor de applicatie-gedreven dimensies waar huidige modellen het sterkst uiteenlopen.

De auteurs concluderen dat het dichten van de kloof tussen huidige capaciteiten en professionele behoeften een diepere integratie van wereldkennis en gestructureerd redeneren in het generatieproces vereist, een richting die expliciet wordt benadrukt door de diagnostische capaciteiten van de benchmark.