Benchmarking Frontier Text-to-Image Models on Image-Description Prompts

In de stille brom van moderne computerkracht is een nieuw soort kunstenaar opgekomen, een die niet schildert met penselen of klei, maar met woorden. Dit zijn tekst-naar-beeld-systemen, computerprogramma's die naar een menselijke beschrijving luisteren en proberen een afbeelding te tekenen die daarbij past. Jarenlang zijn deze systemen getest op eenvoudige verzoeken, zoals "een kat die op een matje zit", waarbij ze met verrassende gratie presteren. Maar de echte wereld is zelden zo eenvoudig. Wanneer een gebruiker om iets specifieks en complex vraagt—zoals een scène met precies vier rode stoelen, een bord met de tekst "OPEN" in duidelijke letters, en een reflectie in een plas die de wetten van de fysica volgt—maken de programma's vaak fouten. Ze tekenen misschien drie stoelen in plaats van vier, raken de letters op het bord in de war, of laten de reflectie in de lucht zweven. Begrijpen waarom deze systemen falen, en welke het minst falen, is cruciaal voor iedereen die van hoop draagt hen te gebruiken voor serieus werk, van het ontwerpen van advertenties tot het maken van storyboards. De kloof tussen een systeem dat goed werkt bij eenvoudige taken en een systeem dat de rommelige, gedetailleerde eisen van de realiteit aankan, is waar de ware test van intelligentie ligt.

Een team van onderzoekers zette zich schrap om deze kloof te meten door vier van de meest geavanceerde beeldgenererende systemen een rigoureuze test te onderwerpen. Ze vroegen de computers niet om simpele plaatjes te tekenen; in plaats daarvan voerden ze de achtenveertig moeilijkste beschrijvingen uit een grote collectie van echte wereld-afbeeldingencaptions aan hen toe. Deze prompts werden gekozen omdat ze precisie vereisten: exacte aantallen objecten, specifieke ruimtelijke ordeningen en leesbare tekst ingebed in de scène. De geteste systemen waren Hunyuan 3.0, Gemini 3 Pro Image, Black Forest Labs FLUX.2 en Ideogram 3.0. Om een eerlijk en onbevooroordeeld oordeel te garanderen, gebruikten de onderzoekers een slim tweestaps-proces. Eerst fungeerde één kunstmatige intelligentie-model als schrijver, die een gedetailleerde checklist maakte van hoe een perfecte afbeelding er voor elke specifieke prompt uit zou moeten zien, terwijl het ook de werkelijke gegenereerde afbeelding bekijkte om duidelijke gebreken te noteren. Daarna gebruikte een totaal ander kunstmatig intelligentie-model, optredend als rechter, die checklist om de afbeelding te beoordelen. Deze scheiding zorgde ervoor dat het model dat bepaalde waar het naar moest kijken nooit hetzelfde model was dat besliste of de afbeelding slaagde, wat de bias elimineerde die kan optreden wanneer een systeem zijn eigen werk beoordeelt.

De resultaten onthulden een duidelijke kloof in capaciteit. Twee systemen, Gemini 3 Pro Image en FLUX.2, kwamen als leiders uit de bus met scores van respectievelijk 84,8 en 82,3 op 100. Zij werden gevolgd door een aanzienlijke achterstand, waarbij Ideogram 3.0 een score van 65,7 behaalde en Hunyuan 3.0 63,3. Het verschil tussen de beste en de slechtste presteerders was niet slechts een kwestie van kleine fouten; het was een fundamenteel verschil in hoe zij met complexiteit omgingen. De leidende systemen kregen over het algemeen het grote plaatje goed, maar maakten incidenteel fouten in het tellen van objecten of introduceerden kleine geometrische imperfecties, zoals een wiel dat vreemd versmelt met een frame. In contrast hiermee worstelden de achterblijvende systemen met de basiszaken. Ze faalden regelmatig door gevraagde elementen geheel weg te laten, zoals het weglaten van een specifiek object uit de scène, of ze veranderden de tekst in onleesbare krabbels in plaats van duidelijke letters. Bijvoorbeeld, wanneer gevraagd werd om een brievenbus in de vorm van een auto met een specifiek adres erop te tekenen, kreeg het best scorende systeem elk detail correct, terwijl het laagst scorende systeem er niet in slaagde de brievenbus er überhaupt uit te laten zien als een auto, het adres miste en slechts twee wielen tekende in plaats van vier.

De studie benadrukt dat hoewel deze systemen verbeteren, ze nog steeds een natuurlijk begrip missen van discrete, symbolische regels. Ze zijn uitstekend in het vastleggen van de algemene stemming, kleur en compositie van een scène, maar ze worstelen met de precieze logica die nodig is om items te tellen of woorden correct te spellen. De onderzoekers ontdekten dat de moeilijkste uitdagingen voor elk systeem de exacte sequentiële etikettering waren, zoals het nummeren van startblokken van vijf tot acht, en het tellen van specifieke aantallen mensen of objecten. Zelfs het best presterende systeem, Gemini 3 Pro Image, verloor punten op deze taken, hoewel dit veel minder vaak gebeurde dan bij de anderen. De achterblijvende systemen, met name Ideogram 3.0, vertoonden een patroon van het weglaten van volledige gevraagde elementen, wat suggereert dat ze soms de strijd opgeven bij complexe instructies in plaats van te proberen de details fout te doen. Dit onderscheid is essentieel voor gebruikers: als een project een scène vereist met veel verschillende objecten, zijn de leidende systemen veel betrouwbaarder, maar als het doel is om tekst binnen een afbeelding te genereren, worstelen zelfs de beste systemen er nog steeds mee om dit elke keer goed te krijgen.

Uiteindelijk demonstreert dit onderzoek dat het vermogen om complexe instructies op te volgen de nieuwe grens is voor beeldgeneratie. De kloof tussen de beste en de rest is niet een kwestie van stijl of artistieke flair, maar van logische consistentie. De twee leidende systemen bewezen dat ze de zware last van compositorische eisen kunnen dragen, terwijl de anderen vatbaar blijven voor fundamentele fouten die de illusie van de realiteit doorbreken. Naarmate deze tools verschuiven van experimentele nieuwigheden naar productietools, zal de keuze voor welk systeem te gebruiken hangt sterk af van de specifieke taak. Voor eenvoudige, atmosferische afbeeldingen kan het verschil verwaarloosbaar zijn, maar voor verzoeken die precisie vereisen, bieden de leiders een niveau van betrouwbaarheid dat de anderen nog niet hebben bereikt. De weg vooruit ligt in het verfijnen van deze systemen om de regels van tellen, tekst en ruimte beter te begrijpen, waardoor ze transformeren van kunstenaars die gokken op details naar instrumenten die deze met zekerheid kunnen uitvoeren.