Stel je voor dat je een regisseur bent die een heel specifiek script geeft aan een robotkunstenaar. Je zegt: "Teken een kat met een rode hoed, zittend op een blauwe stoel, kijkend naar links." Als de robot een kat met een groene hoed op een rode stoel tekent die naar rechts kijkt, heeft hij je instructies niet opgevolgd. Al een lange tijd proberen we precies uit te vogelen hoe goed deze robotkunstenaars (genaamd Text-to-Image of T2I-modellen) naar ons luisteren. Maar de tests die we hebben gebruikt, zijn als een gebroken liniaal: ze zijn te kort, ze meten de verkeerde dingen en ze geven vaak een verkeerde score.

Maak kennis met TIIF-Bench, een gloednieuwe, superprecieze liniaal ontwikkeld door onderzoekers om te zien of deze AI-kunstenaars daadwerkelijk de fijne details van onze instructies kunnen volgen.

Het Probleem: De Oude Linialen Waren Gebroken

Denk aan de oude testmethoden als een spelletje "Raad het Plaatje" waarbij de rechter alleen naar het grote plaatje kijkt.

• De "One-Size-Fits-All" Fout: Oude tests gaven de AI meestal slechts één versie van een prompt. Ze misten het feit dat sommige AI's als een stemmingswisseling werken: ze tekenen een perfect plaatje als je ze een korte zin geeft, maar als je een paar extra beschrijvende woorden toevoegt (zelfs als de betekenis hetzelfde is), raken ze de kluts volledig kwijt. De oude tests konden dit niet opvangen omdat ze niet systematisch testten hoe modellen omgaan met verschillende promptlengtes.
• De "Redundante" Fout: Veel oude testbanken waren als een afspeellijst van hetzelfde nummer dat 1.000 keer wordt afgespeeld met een iets ander volume. Het paper toonde aan dat veel bestaande benchmarks enorme hoeveelheden semantische redundantie hebben—dat wil zeggen dat de prompts zo vergelijkbaar zijn dat ze niet echt testen of de AI nieuwe ideeën begrijpt. Sterker nog, sommige van deze oude benchmarks hadden minder dan 60% semantisch unieke prompts!
• De "Luie Rechter" Fout: De oude rechters waren als een leraar die slechts vluchtig naar het essay van een leerling kijkt en een cijfer geeft op basis van de eerste zin. Ze gebruikten eenvoudige tools (zoals CLIP) die fungeren als een "bag of words", waarbij ze tellen hoeveel woorden overeenkomen maar de volgorde of logica negeren. Als je vroeg om "een bij op een jongen" versus "een jongen op een bij", konden deze oude rechters het verschil vaak niet eens zien!

De Nieuwe Oplossing: TIIF-Bench

De onderzoekers hebben een enorme, 5.000 vragen tellende test gebouwd genaamd TIIF-Bench (Text-to-Image Instruction Following Benchmark). Het is als een gigantische hindernisbaan ontworpen om elke AI die niet oplet, te laten struikelen.

1. De "Kort vs. Lang" Uitdaging
Elke instructie in deze test komt in twee smaken: een korte versie en een lange, chique versie.

• Kort: "De vogels zijn talrijker dan de vissen."
• Lang: "De vogels, met hun veren die het zachte licht van de dageraad vangen, overtreffen de watervogels, de vissen, die geruisloos onder het rimpelende wateroppervlak glijden, in grote getale..."
  Het paper suggereert dat als een AI de lange, bloemrijke versie niet kan hanteren terwijl de betekenis hetzelfde blijft, het niet echt "instructies opvolgt". Ze ontdekten dat topmodellen consistent blijven, maar zwakkere modellen in de war raken door de extra woorden.

2. De "Drie Niveaus van Moeilijkheid"
De test is georganiseerd als een videogame met drie niveaus:

• Basis Volgen: Simpele combinaties, zoals "een rode hond."
• Geavanceerd Volgen: Dingen mengen, zoals "een rode hond die naast een blauwe kat rent," of zelfs de AI vragen om tekst in de afbeelding te tekenen (zoals het schrijven van "TAART" op een taart).
• Designer Niveau: Dit zijn de "eindbaasgevechten." Dit zijn complexe, real-world verzoeken van menselijke ontwerpers, zoals "een man met blond haar die een medaille geeft aan een andere man, met specifieke tekst op hun shirts." Er zijn 100 van deze hoogwaardige, door mensen gecureerde prompts.

3. De Nieuwe "Slimme Rechter" (TIIF Evaluator)
In plaats van een luie leraar, gebruikt het paper een super slimme AI-rechter (een Vision-Language Model) die optreedt als een detective.

• De Checklist: In plaats van alleen "Goed gedaan" of "Slecht gedaan" te zeggen, breekt de rechter de prompt af in een checklist van Ja/Nee vragen. Voor de vogel/vis prompt vraagt hij: "Zijn er vogels?" "Zijn er vissen?" "Zijn er meer vogels dan vissen?"
• De Redenering: Deze rechter raadt niet alleen; hij schrijft zijn redenering op (Chain-of-Thought) voordat hij het antwoord geeft. Het paper vond dat deze methode veel betrouwbaarder is dan simpelweg de AI te vragen "Is deze afbeelding goed?".
• De "Hallucinatie" Valstrik: Het paper argumenteert expliciet tegen het simpelweg plakken van de volledige prompt in de vraag van de rechter. Ze ontdekten dat als je de rechter de volledige prompt laat zien, de rechter lui wordt en dingen "hallucineert" (zich inbeeldt) die er niet zijn, simpelweg omdat de prompt zei dat ze er moesten zijn. De nieuwe methode vermijdt dit door specifieke, geïsoleerde vragen te stellen.

4. Speciale Vaardigheden: Tekst en Stijl

• Tekstweergave: Het tekenen van woorden is moeilijk voor AI. Het paper introduceerde een nieuwe metriek genaamd GNED (Global Normalized Edit Distance) om te meten hoe goed de AI woorden spelt. Het is als een spellingscontrole die ook telt hoeveel letters ontbreken of extra zijn. Ze ontdekten dat hoewel sommige modellen beter worden, velen nog steeds moeite hebben met het schrijven van duidelijke woorden, vooral in lange prompts.
• Stijlcontrole: De test bevat referentieafbeeldingen (zoals een foto van een "cyberpunk stad") om te zien of de AI de vibe en stijl kan kopiëren, en niet alleen de objecten.

Wat Ze Hebben Gevonden: De Winnaars en Verliezers

Na het draaien van 5.000 prompts door tientallen modellen, suggereert de data het volgende:

• De Zwaargewichten: De closed-source modellen (de modellen die je niet kunt downloaden, zoals Nano-Banana en GPT-Image-1) zijn momenteel de koningen van de heuvel. Ze scoorden het hoogst, vooral op de moeilijke "Designer Level" prompts. Ze lijken complexe instructies en lange zinnen beter te begrijpen dan wie dan ook.
• De Open-Source Helden: Onder de modellen die iedereen kan downloaden, zijn Qwen-Image en FLUX.2 de sterksten. Ze halen de grote commerciële modellen snel in.
• De "Unified" Verrassing: Sommige modellen proberen alles te doen (tekst begrijpen EN afbeeldingen tekenen) in één brein (genaamd Unified Models). Het paper suggereert dat deze verrassend goed zijn in het volgen van instructies, zelfs als hun plaatjes soms minder "fotorealistisch" ogen dan die van anderen. Bijvoorbeeld, Janus-Pro (een autoregressief model) versloeg PixArt-Sigma (een diffusiemodel) op logische taken zoals "differentiatie" en "ontkenning".
• De Lengtegevoeligheid: Het paper mat dat modellen met hoge scores meestal robuust zijn tegen promptlengte. Als je de prompt langer maakt, blijft hun score hoog. Zwakkere modellen craschen echter wanneer je meer woorden toevoegt. Dit suggereert dat het diepgaand begrijpen van taal gekoppeld is aan het tekenen van goede plaatjes.

Wat Ze Nog Niet Weten

Het paper is eerlijk over de beperkingen.

• De Vocabulaire Kloof: De test gebruikt voornamelijk veelvoorkomende objecten (katten, honden, stoelen). De auteurs suggereren dat we nog niet weten hoe deze modellen omgaan met obscure of zeldzame woorden.
• Taalbarrière: Alle prompts zijn in het Engels. Het paper merkt op dat we niet weten of deze resultaten ook gelden voor andere talen.
• Nuances in Stijl: Ze hebben niet getest hoe formele versus informele taal de resultaten beïnvloedt.

De Kern van het Verhaal

Het paper beweert niet dat het AI-kunst heeft "opgelost". In plaats daarvan suggereert het dat onze oude manieren van testen kapot zijn. Door een 5.000-prompt test te gebruiken met korte en lange versies, specifieke checklists en een redeneringsgebaseerde rechter, geeft TIIF-Bench ons een veel duidelijker beeld. Het suggereert dat de beste modellen van vandaag de dag de modellen zijn die complexe, langdradige instructies kunnen afhandelen zonder de controle te verliezen, en dat de kloof tussen "goed zijn in tekenen" en "goed zijn in luisteren" eindelijk wordt overbrugd door de nieuwste generatie AI.