Stel je voor dat je praat met een superintelligente robotkunstenaar die miljoenen plaatjes heeft gezien en bijna alles kan tekenen wat je beschrijft. Deze robot leeft in de wereld van "tekst-naar-afbeelding" modellen, waar je een zin typt zoals "een kat met een hoed op" en hij schildert een plaatje. Maar wat gebeurt er als je om iets poëtischers vraagt, zoals "een kat zo pluizig als een wolk"? Dit is waar het lastig wordt. Je vraagt de robot niet om een wolk in de afbeelding te laten verschijnen; je vraagt de robot om de ervaring van de pluizigheid van een wolk te lenen en die aan de kat te geven. Dit wordt een "vergelijking" genoemd. Het is een manier om dingen te beschrijven door ze met iets anders te vergelijken, zoals zeggen "hij rent als de wind" (je verwacht niet dat er een echte wind naast hem aan het rennen is, alleen dat hij snel is).

De grote vraag waar wetenschappers zich over hebben verwonderd, is: begrijpt deze robotkunstenaar de grap echt? Of raakt hij in de war en denkt hij: "Oh, je wilt een kat en een wolk?" en tekent hij dan gewoon allebei? Dit paper duikt precies in dat probleem. Het behandelt de verwarring van de robot als een specifieke fout genaamd "literalisatiebias", waarbij het model het vergelijkingsvoorwerp (het "voertuig" van de vergelijking) neemt en het als een echt, fysiek ding tekent in plaats van alleen de eigenschappen ervan te gebruiken. De onderzoekers wilden een test bouwen om te zien hoe vaak dit gebeurt en waarom, want als robots geen metaforen kunnen begrijpen, kunnen ze de creatieve, kleurrijke manier waarop mensen spreken niet echt begrijpen.

De Grote "Steengoed Brood" Test

Om erachter te komen of deze AI-kunstenaars werkelijk creatief zijn of slechts letterlijke kopieerders, hebben de onderzoekers een enorme, gecontroleerde speeltuin gebouwd. Ze vroegen de robots niet alleen om willekeurige dingen te tekenen; ze maakten een specifieke set instructies genaamd "vergelijkings-prompts". Ze kozen 80 verschillende objecten die een computer gemakkelijk kan herkennen (zoals stenen, wolken of scharen) en mengden deze met 14 verschillende zinsstructuren.

Bijvoorbeeld, ze zouden de robot kunnen vragen om "een man die brood eet zo hard als een steen." Het juiste antwoord is een afbeelding van brood dat er taai en knapperig uitziet, maar zonder dat er een echte steen op de tafel ligt. Als de robot een steen tekent, heeft hij de test niet gehaald. De onderzoekers noemen deze fout "literalisatiebias". Het is alsof je een kind vertelt: "Ik heb honger als een beer," en het kind vervolgens een echte beer in de keuken brengt in plaats van te begrijpen dat je gewoon erg honger hebt.

Het Detectiewerk: Hoe ze de Robots Betrapten

Het team testte vijf verschillende populaire AI-beeldgeneratoren. Om te zien of de robots de instructies verkeerd interpreteerden, gebruikten ze een digitale detectietool genaamd YOLO (wat staat voor "You Only Look Once," een zeer snelle objectdetector). Deze tool scant elke afbeelding die de robots maken om te zien of het "vergelijkingsvoorwerp" (zoals de steen in het voorbeeld van het brood) per ongeluk in de afbeelding is verschenen.

De resultaten waren een beetje gemengd, maar meestal slecht nieuws voor de begrijpelijkheid van de robots.

• De Groep met Veel Fouten: Eén model, Qwen-Image, was de grootste overtreder. In ongeveer 61,4% van de plaatjes tekende het het letterlijke object (de steen, de wolk, enz.) in plaats van alleen het kenmerk. Een ander model, PixArt, deed het ongeveer 49,5% van de tijd.
• De Betere-Maar-Nog-Steeds-Gebrekkige Groep: De andere modellen (Dreamlike, FLUX en SD3.5) deden het beter, maar maakten de fout nog steeds ongeveer 30% tot 35% van de tijd.

De onderzoekers vroegen ook menselijke beoordelaars om naar de plaatjes te kijken. De mensen waren het eens met de computerdetector: wanneer het "letterlijke" object (de steen of de wolk) zichtbaar was in de afbeelding, beoordeelden de mensen de afbeelding als een slechte interpretatie van de vergelijking. Interessant genoeg gold: hoe vaker de robots het "letterlijke" deel fout deden, hoe minder ze de werkelijke betekenis van de zin leken te vatten. Het is een afruil: hoe meer ze het extra object tekenden, hoe minder ze de beschrijving begrepen.

Waarom Standaardtests de Fout Misten

Hier is een grappige wending: de onderzoekers probeerden standaard "rapportcijfers" te gebruiken die normaal gesproken AI-kunst beoordelen, zoals CLIPScore en PickScore. Deze tools zijn bedoeld om te vertellen hoe goed een plaatje bij een zin past. Maar ze faalden volledig hier! Ze gaven hoge scores aan plaatjes die de verkeerde objecten bevatten. Het is alsof een leraar een "A" geeft aan een leerling die een beer heeft getekend terwijl er om honger werd gevraagd, simpelweg omdat de tekening van hoge kwaliteit is. Dit paper bewijst dat we een nieuw soort test nodig hebben die specifiek gericht is op metaforen, omdat de oude tests te blind zijn om deze specifieke vorm van verwarring te zien.

Een Blik in het Brein van de Robot

Om te begrijpen waarom de robots deze fouten maakten, gebruikten de onderzoekers een speciale tool genaamd "Diffusion Lens." Stel je het brein van de robot voor als een meerlaagse taart. De onderste lagen zijn waar het begint na te denken over basisvormen, en de bovenste lagen zijn waar het de laatste details toevoegt.

Ze ontdekten dat verschillende robots op verschillende momenten over het verkeerde object "nadenken":

• De Vroege Denkers: Sommige modellen (zoals FLUX en SD3.5) begonnen bijna direct over de "steen" of "wolk" na te denken, helemaal onderaan de lagen van het brein. Zodra ze erover begonnen na te denken, konden ze niet meer stoppen en kwam het terecht in de uiteindelijke afbeelding.
• De Late Denkers: Andere modellen (zo zoals Qwen-Image) wachtten tot de allerbovenste lagen van het brein om over het object na te denken. Tegen de tijd dat ze eraan dachten, was het te laat om te voorkomen dat het in de uiteindelijke tekening verscheen.
• De Onderdrukkers: Een paar modellen (zoals Dreamlike) dachten over het object in de middelste lagen, maar slaagden er vervolgens in om het te "onderdrukken" of te verwijderen voordat de definitieve afbeelding klaar was. Dit is waarom zij minder fouten maakten.

Kunnen we het Oplossen?

De onderzoekers probeerden twee trucjes om te zien of ze de robots konden stoppen met het tekenen van de verkeerde objecten zonder de instructies te veranderen.

1. Met de Dobbelstenen Werpen (Random Regeneratie): Ze vroegen de robots om de afbeelding opnieuw te tekenen, waarbij ze alleen het willekeurige "seed"-getal veranderden (zoals met dobbelstenen gooien om een ander resultaat te krijgen). Dit hielp een beetje. Voor de slechtste robot (Qwen-Image) daalde de foutmarge van 61,4% naar 24,4%. Het is alsof je een verwarde kunstenaar vraagt om het nog eens te proberen; soms krijgen ze het door geluk goed.
2. De Breinlaag Veranderen (Laag-gebaseerde Regeneratie): Ze probeerden de robot te dwingen een andere laag van zijn brein te gebruiken om de beslissing te nemen. Dit werkte zelfs nog beter voor sommige modellen. Voor PixArt daalde de foutmarge van 49,5% naar 17,6%.

De paper is echter voorzichtig in de opmerking dat dit geen magische oplossing is. Alleen omdat de robot stopte met het tekenen van de letterlijke steen, betekent niet dat hij de "hardheid" van het brood perfect begreep. Het betekent alleen dat hij die specifieke, overduidelijke fout niet meer maakte.

De Kern van het Verhaal

Dit paper laat zien dat zelfs de meest geavanceerde AI-beeldgeneratoren nog steeds worstelen met de kunst van de vergelijking. Ze nemen metaforen vaak te letterlijk en tekenen het vergelijkingsvoorwerp in plaats van alleen de eigenschappen ervan. Hoewel we deze fout kunnen verminderen door de robots te vragen het opnieuw te proberen of door te tweaken hoe ze denken, hebben ze het concept nog niet volledig onder de knie. De onderzoekers hebben een nieuwe manier gebouwd om dit probleem te meten, waarmee ze bewijzen dat standaardtests niet voldoende zijn om deze creatieve misverstanden te vangen. Het is een herinnering dat voor robots om de menselijke taal echt te begrijpen, ze niet alleen moeten leren wat woorden betekenen, maar ook hoe wij ze gebruiken om plaatjes in onze geest te schilderen.