Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs
Dit artikel introduceert Ekphrasis, een nieuwe benchmark en evaluatiekader dat de visuele creatieve ideatie-capaciteiten van tekstgebaseerde taalmodellen isoleert en meet door onderscheid te maken tussen vloeiende proza en het werkelijke vermogen om nuttige, expressieve en populatie-nieuwe visuele plannen te genereren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een regisseur bent die een film probeert te casten, maar je kunt de acteurs nog niet zien. Je hebt alleen een scenarioschrijver die de scènes in woorden beschrijft. De grote vraag is: kan deze scenarioschrijver echt een nieuwe, spannende scène voorstellen, of rijgt hij alleen maar chique woorden aaneen die creatief klinken, maar precies dezelfde oude clichés beschrijven die iedereen al duizend keer heeft gezien? Dit is het puzzelstukje dat ten kern staat van een nieuwe studie in de wereld van Kunstmatige Intelligentie, specifiek kijkend naar "Large Language Models" (LLM's). Dit zijn de superintelligente computerprogramma's die verhalen schrijven, vragen beantwoorden en met ons chatten. Wetenschappers vragen zich al lang af of deze tekstgebaseerde machines werkelijk ideeën kunnen "visualiseren" voordat ze in plaatjes worden omgezet, of dat ze het gewoon veinzen met bloemrijk taalgebruik. Om dit te achterhalen, hadden onderzoekers een manier nodig om te testen of de beschrijving van een AI een oprechte vonk van visuele uitvinding was, of slechts een gerecycled, veilig idee dat in een smoking was gestoken.
Maak kennis met EKPHRASIS, een nieuwe "examen" ontworpen door onderzoekers van The Hong Kong University of Science and Technology om precies dit te testen. Denk aan EKPHRASIS als een creatieve sportschool voor AI. In plaats van de AI te vragen een plaatje te tekenen (wat deze in deze test niet direct kan), gaven de onderzoekers 14 verschillende AI-modellen 400 specifieke creatieve uitdagingen. Deze uitdagingen vroegen de modellen om dingen te doen zoals een abstract concept zoals "tijdsdruk" om te zetten in een visuele scène, twee ongerelateerde ideeën samen te voegen, of een object op een nieuwe manier te herschrijven. Het doel was niet alleen om te zien of de AI een mooie zin schreef, maar om te zien of het een Visual Creative Ideation (VCI) plan kon bedenken: een beschrijving die nuttig is voor de taak, expressief genoeg is om een duidelijk beeld in je geest te schilderen, en, het belangrijkste, origineel is—wat betekent dat het niet simpelweg de saaie, overgebruikte ideeën herhaalt die andere AI's altijd bedenken.
De onderzoekers ontdekten dat vloeiend, prachtig schrijven een valstrik is. Een AI kan een paragraaf schrijven die ongelooflijk creatief en levendig klinkt, maar tegelijkertijd precies dezelfde oude visuele clichés beschrijft, zoals het gebruiken van een zandloper om tijd te representeren of een onweerswolk om verdriet te representeren. Om deze "nieuwheidsillusie" te vangen, bouwde het team een speciaal beoordelingssysteem. Ze vroegen niet alleen: "Is dit creatief?" Ze vroegen: "Is dit nuttig? Is het gemakkelijk voor te stellen? En is het anders dan wat de andere 1 than 13 AI's zouden hebben gezegd?" Ze gebruikten een slimme methode genaamd "Typed Idea Graphs" om de gemeenschappelijke, saaie patronen in kaart te brengen die alle modellen de neiging hebben te herhalen, en controleerden vervolgens of de nieuwe antwoorden deze vallen vermeden.
De resultaten waren fascinerend en genuanceerd. De studie toonde aan dat het "goed" zijn in visuele ideatie niet zomaar één enkele superkracht is. Sommige AI's waren geweldig in het opvolgen van instructies en het maken van nuttige plannen, maar waren erg clichématig. Anderen waren wild origineel, maar misten soms de essentie van de taak. De toppresteerders, zoals Gemini 3.1 Pro en GPT-5.4, slaagden erin om alle drie de eigenschappen te balanceren, maar deden dit op verschillende manieren. Cruciaal was dat de onderzoekers de beste tekstbeschrijvingen daadwerkelijk gebruikten om afbeeldingen te genereren met behulp van een aparte tool. Wanneer mensen naar deze afbeeldingen keken zonder de oorspronkelijke tekst te zien, gaven ze nog steeds de voorkeur aan de afbeeldingen die voortkwamen uit de "hoge VCI" tekstplannen. Dit suggereert dat de AI werkelijk een visueel plan maakte, en niet alleen maar mooie proza schreef.
Het artikel merkt echter voorzichtig op dat dit niet betekent dat de AI een menselijke "geestesoog" of een privé-verbeelding heeft. Het betekent simpelweg dat deze tekstgebaseerde modellen gedetailleerde, beeldklare blauwdrukken kunnen creëren die de reis van tekst naar beeld overleven. De studie suggereert dat hoewel huidige modellen beter worden in visuele planning, ze nog steeds moeite hebben om los te komen van de "veilige" ideeën waar hun trainingsdata zo van houdt. De les is duidelijk: alleen omdat een AI een creatief verhaal schrijft, betekent dat niet dat het een creatief visueel idee heeft. Om visuele creativiteit echt te meten, moeten we verder kijken dan de bloemrijke woorden en controleren of de blauwdruk daadwerkelijk nieuw, nuttig en klaar is om gebouwd te worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.