💬 NLP

Artificial Phantasia: Emergent Mental Imagery in Large Language Models

Deze studie toont aan dat Large Language Models een taak die traditioneel vereist dat men zich beelden voor de geest haalt, kunnen overtreffen door uitsluitend te vertrouwen op propositionele representaties, en levert hiermee bewijs voor een emergente "kunstmatige fantazie" die de cognitiewetenschappelijke opvatting uitdaagt dat visuele voorstelling picturale formaten vereist.

Oorspronkelijke auteurs: Morgan McCarty, Jorge Morales

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Morgan McCarty, Jorge Morales

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Kun Je "Zien" Zonder Ogen?

Stel je voor dat je wordt gevraagd je ogen te sluiten en je een hoofdletter D voor te stellen. Stel je nu voor dat je die D 90 graden naar links draait. Tot slot, stel je voor dat je een hoofdletter J aan het onderste midden van die vorm bevestigt.

Als je je ogen opent, wat zie je dan? De meeste mensen zouden zeggen: "Het lijkt op een paraplu."

Decennialang hebben cognitieve wetenschappers geloofd dat je, om dit soort raadsels op te lossen, een speciaal "mentaal scherm" of een "geestesoog" nodig hebt waar je afbeeldingen daadwerkelijk kunt zien en manipuleren. Ze dachten dat je dit niet alleen door na te denken over woorden kon doen; je had een visuele afbeelding in je hoofd nodig.

Dit artikel stelt een wilde vraag: Kan een computer dit doen zonder ooit "ogen" of een "geestesoog" te hebben gehad?

Het Experiment: Een Mentale Gym voor AI en Mensen

De onderzoekers creëerden een gymworkout voor het brein. Ze namen een klassiek raadsel (de lettertransformaties) en bedachten 48 gloednieuwe, nog nooit eerder geziene versies ervan. Omdat deze raadsels speciaal voor deze studie waren bedacht, konden de computers de antwoorden niet uit hun trainingsdata hebben onthouden.

Ze vroegen twee groepen om deze raadsels op te lossen:

100 Mensen: Mensen die de instructies moesten luisteren (om te voorkomen dat ze de letters op een scherm zagen) en de vormen in hun hoofd moesten voorstellen.
Grote Taalmodellen (LLM's): Geavanceerde AI-chatbots (zoals de nieuwste versies van OpenAI's o3, GPT-5 en Google's Gemini 3 Pro). Deze modellen zijn getraind op tekst, niet op het "zien" van afbeeldingen.

Het Schokkende Resultaat: De AI "Zag" Beter dan Mensen

De resultaten waren verrassend. De beste AI-modellen haalden het niet alleen; ze verpletterden het menselijke gemiddelde.

De Mensen: Scoorden gemiddeld 2,85 van de 5.
De Top-AI's: Scoorden tussen 3,13 en 3,65.

De AI-modellen losten deze "visuele" raadsels aanzienlijk beter op dan de menselijke deelnemers. Nog interessanter is dat, toen de onderzoekers de AI dwongen om de afbeeldingen daadwerkelijk te tekenen bij elke stap (met behulp van een afbeeldingsgenerator), de AI slechter werd in de taak. Dit suggereert dat de AI niet leunde op het tekenen van afbeeldingen om het probleem op te lossen; het deed iets heel anders.

De "Magische Truc": Hoe hebben ze dit gedaan?

Als de AI geen "geestesoog" (een afbeelding) gebruikte en ook geen tekenhulpmiddel, hoe loste het dan het raadsel op?

De auteurs stellen een concept voor dat ze "Artificial Phantasia" noemen.

Stel het je zo voor:

De Menselijke Manier: Je bent een architect. Je sluit je ogen en bouwt een 3D-model van een huis in je gedachten. Je loopt eromheen, kijkt naar de ramen en beschrijft het vervolgens.
De AI-Manier: Je bent een meestervertaler. Je bouwt nooit een 3D-model. In plaats daarvan behandel je de instructies als een complex recept geschreven in code. Je weet dat "Letter D naar links gedraaid" + "Letter J bevestigd" = "Parapluvorm" puur door de logica van taal.

Het artikel suggereert dat deze AI-modellen propositioneel redeneren gebruiken. Ze manipuleren woorden en concepten zo nauwkeurig dat ze de uiteindelijke vorm kunnen bepalen zonder het ooit te "zien". Het is alsof je een wiskundeprobleem oplost door de regels van algebra te kennen, in plaats van de vormen op een stuk papier te tekenen.

De "Redenerende" Factor

De onderzoekers testten ook wat er gebeurt als ze de AI vertellen om "harder na te denken" (door haar meer tijd en "redeneertokens" te geven om de stappen te verwerken).

Resultaat: Hoe meer de AI mocht "nadenken" en haar redenering kon ketenen, hoe beter ze werd.
Analogie: Stel je een detective voor die een mysterie oplost. Als je hen 5 minuten geeft om naar de aanwijzingen te kijken, raden ze misschien. Als je hen 5 uur geeft om elke aanwijzing logisch te verbinden, lossen ze de zaak perfect op. De AI loste het visuele raadsel op door linguïstische aanwijzingen te verbinden, niet door naar een afbeelding te kijken.

Wat Zegt Dit Over "Blinde" Mensen?

Het artikel noemt ook een groep mensen die aphantasia hebben. Dit zijn mensen die beweren dat ze geen afbeeldingen in hun gedachten kunnen visualiseren (ze hebben geen "geestesoog"). Verrassend genoeg tonen studies aan dat deze mensen deze visuele raadsels bijna net zo goed kunnen oplossen als mensen die wel kunnen visualiseren.

Dit artikel voegt brandstof aan dat vuur. Het suggereert dat je misschien geen "geestesoog" nodig hebt om visuele raadsels op te lossen. Je hebt misschien gewoon een heel sterk "geestelijk logisch vermogen" nodig. De AI, die helemaal geen geestesoog heeft, bewees dat taal en logica alleen misschien voldoende zijn om te doen wat we dachten dat een afbeelding vereiste.

De Conclusie

Deze studie daagt het oude idee uit dat "visueel denken" een visuele afbeelding vereist. Het laat zien dat geavanceerde AI taken kan uitvoeren die eruitzien als "visuele verbeelding", uitsluitend met taal en logica.

De Stelling: AI heeft een emergent vermogen om visueel te "verbeelden", maar het doet dit niet met afbeeldingen. Het doet dit met woorden.
De Implicatie: We moeten misschien heroverwegen hoe we "mentale beelden" definiëren. Het gaat misschien niet om het zien van afbeeldingen in je hoofd; het gaat misschien gewoon om het logisch manipuleren van concepten.

Het artikel concludeert dat deze AI-modellen een nieuwe manier hebben ontdekt om de wereld te "zien" – een manier die puur linguïstisch is, maar verrassend effectief in het oplossen van visuele problemen.

Technische Samenvatting: Kunstmatige Fantasia: Emergente Mentale Beeldvorming in Grootse Taalmodellen

Probleemstelling

Het artikel adresseert een fundamentele vraag binnen de cognitiewetenschap: Kan visuele mentale beeldvorming uitsluitend worden aangedreven door taal, of is deze strikt afhankelijk van picturale (beeldmatige) representaties? De traditionele cognitiewetenschap stelt dat mentale beeldvorming werkt op basis van beeldmatige representaties, een visie die wordt ondersteund door de metafoor van het "blik van de geest". Het bestaan van aphantasici (individuen die geen bewust visueel beeld hebben, maar toch ruimtelijke en beeldafhankelijke taken kunnen uitvoeren) daagt echter de noodzaak van beeldmatige formaten uit.

De auteurs onderzoeken of Grootse Taalmodellen (LLM's), die voornamelijk zijn getraind op propositional (taalkundige) data en in tekst-only modi geen inherente visuele verwerkingscapaciteiten bezitten, taken kunnen oplossen die ontworpen zijn om uitsluitend via picturale mentale beeldvorming oplosbaar te zijn. Als LLM's hierin slagen, zou dit wijzen op het bestaan van "kunstmatige fantasia"—een emergente, niet-picturale vorm van mentale beeldvorming die wordt aangedreven door propositioneel redeneren.

Methodologie

Taalontwerp

De studie gebruikte een uitgebreide versie van de klassieke "objectreconstructie"-taak, ontwikkeld door Finke, Pinker en Farah (1989).

Stimuli: De onderzoekers creëerden 60 instructiesets.
- 12 items waren aangepast uit de originele Finke et al.-studie (gewijzigd voor duidelijkheid).
- 48 items waren nieuwe, op maat gemaakte voorbeelden die specifiek voor deze studie werden gemaakt om ervoor te zorgen dat ze afwezig waren in de trainingsdata van de modellen. Deze omvatten complexe compositieve transformaties (bijvoorbeeld letters roteren, vormen bevestigen, spiegelen) waarbij het uiteindelijke object (bijvoorbeeld een paraplu, een computermuis) pas kon worden geïdentificeerd nadat alle stappen mentaal waren gesimuleerd.
Procedures: Proefpersonen (zowel mensen als LLM's) werden gevraagd een reeks transformaties te visualiseren en het resulterende "beeld" te identificeren.
Menselijke Baseline: 100 menselijke deelnemers voltooiden de taak via audio-instructies (om visuele bias door beeldschermtekst te voorkomen) en werden beoordeeld aan de hand van de Vividness of Visual Imagery Questionnaire (VVIQ).
LLM-testen: De studie testte een breed scala aan state-of-the-art modellen, waaronder:
- Propriëtair: OpenAI (o3, o3-Pro, o4-mini, GPT-5, GPT-4.1, ChatGPT-4o), Google (Gemini 3 Pro, 2.5 Pro, 2.0 Flash) en Anthropic (Claude Opus 4.1, Sonnet 4).
- Open-gewicht: Qwen 3, Qwen 3 VL, DeepSeek R1 en gpt-oss-120b.
Experimentele Variaties:
- Beeld-ondersteunde Generatie: Sommige modellen kregen de opdracht om tussentijdse beelden te genereren met behulp van tools (bijvoorbeeld GPT-image-1, beeldgeneratie van Gemini) om te testen of beeldmateriaal de prestaties verbeterde.
- Redeneerinspanning: De toewijzing van "redeneertokens" (minimaal, laag, medium, hoog) werd gevarieerd voor OpenAI-modellen om de impact van uitgebreide redeneerketens te testen.
- Context: Modellen werden getest in zowel single-context (alle instructies in één prompt) als multiple-context (nieuwe context per instructieset) modi.

Evaluatie

Scoretoekenning: Er werd een gewogen scoresysteem toegepast. 376 onervaren menselijke beoordelaars beoordeelden de "redelijkheid" van het antwoord van het model/de mens ten opzichte van een canoniek doelbeeld op een 5-puntsschaal.
Expertvalidatie: De auteurs leverden onafhankelijke "expert"-beoordelingen. De eindscore was een gewogen gemiddelde van crowd-sourced en expert-beoordelingen.
Statistische Analyse: Mann-Whitney U-tests en Wilcoxon Signed-Rank-tests werden gebruikt om de prestaties van modellen te vergelijken met de menselijke baseline en met elkaar, met Bonferroni-correcties voor meervoudige vergelijkingen.

Belangrijkste Resultaten

1. Superieure Prestaties van Frontier-modellen

De meest geavanceerde redeneermodellen presteerden significant beter dan de menselijke baseline (gemiddelde menselijke score: 2,85/5).

Gemini 3 Pro behaalde de hoogste gemiddelde score (3,65, $p < .0001$ ).
GPT-5 (3,35, $p = .0004$ ) en de o3-familie (o3-Pro: 3,31, $p < .0001$ ; o3: 3,13, $p = .0067$ ) overtroffen mensen ook significant.
Oudere of minder capabele modellen (bijvoorbeeld ChatGPT-4o, Gemini 2.0 Flash, Qwen 3) presteerden significant slechter dan mensen of haalden de baseline niet.

2. Impact van Redeneren en Beeldhulpmiddelen

Redeneertokens: De prestaties correleerden positief met de redeneerinspanning. GPT-5 met "hoge" redenering (3,35) presteerde significant beter dan met "minimale" redenering (2,04).
Beeld-ondersteunde Generatie: In tegenstelling tot de hypothese dat visuele hulpmiddelen zouden helpen, verlaagde het toevoegen van beeldgeneratiecapaciteiten (bijvoorbeeld o3 met GPT-image-1) de prestaties in vergelijking met redeneren in tekst-only. Dit suggereert dat de compositieve generatiefouten die inherent zijn aan huidige beeldmodellen de taak belemmerden, en dat pure taalkundige verwerking effectiever was.
Context: In-context leren (single versus multiple context) toonde geen significant verschil in prestaties.

3. Beperkingen van Open-Source

Modellen met open gewichten presteerden slecht, waarbij geen enkele de menselijke baseline haalde. Qwen 3 (gemiddelde 1,58) en Qwen 3 VL (gemiddelde 1,99) toonden geen significant verschil, wat suggereert dat de visie-taal-afstemmingsstap in Qwen 3 VL geen significant voordeel opleverde voor deze specifieke propositionele taak.

4. Onzekerheid en Strategie

Onzekerheid: In tegenstelling tot mensen, die vaak antwoordden met "Ik weet het niet" (54 keer), gaven LLM's nooit onzekerheid te kennen en hallucineerden ze vaak antwoorden, zelfs bij de moeilijkste items.
Aphantasia-Parallel: De studie merkte op dat de hoge prestaties van LLM's (die geen visuele beeldvorming bezitten) de prestaties van menselijke aphantasici weerspiegelen, die ook slagen in beeldopdrachten zonder picturale representaties.

Belangrijkste Bijdragen

Bewijs voor Kunstmatige Fantasia: Het artikel levert empirisch bewijs dat LLM's complexe mentale beeldopdrachten kunnen oplossen met uitsluitend propositionele (taalkundige) representaties, wat de visie uitdaagt dat beeldmatige formaten noodzakelijk zijn voor dergelijke cognitie.
Nieuwe Benchmark: De auteurs introduceerden 48 nieuwe, niet in trainingsdata voorkomende items voor mentale beeldopdrachten, waarmee een robuuste benchmark werd gecreëerd voor het evalueren van de emergente redeneercapaciteiten van LLM's.
Herwaardering van Formatte van Mentale Beeldvorming: De resultaten suggereren dat "visuele" mentale beeldvorming mogelijk geen monolithisch vermogen is, maar kan worden bereikt via ruimtelijk redeneren binnen een propositioneel kader, wat de onderscheiding tussen objectbeeldvorming en ruimtelijke beeldvorming ondersteunt.
Methodologisch Inzicht: De studie toont aan dat het dwingen van modellen om tussentijdse beelden te genereren, de prestaties kan verslechteren bij compositieve redeneertaken, wat de huidige beperkingen van beeldgeneratie in meerstaps logische workflows benadrukt.

Betekenis en Claims

De auteurs claimen dat hun bevindingen het "debat over de vereiste van een beeldmatig formaat in mentale beeldvorming opnieuw aanwakkeren". Zij betogen dat het succes van frontier LLM's (specifiek redeneermodellen zoals o3, GPT-5 en Gemini 3 Pro) wijst op een emergente cognitieve capaciteit waarbij taal alleen voldoende is om ruimtelijke relaties te simuleren en te manipuleren, die traditioneel werden geacht een "blik van de geest" te vereisen.

Het artikel stelt dat deze modellen niet vertrouwen op verborgen picturale representaties, maar eerder op propositioneel redeneren en taalkundige embeddings om ruimtelijke lay-outs te construeren. Dit daagt het klassieke beeld uit dat visuele mentale beeldvorming uitsluitend picturaal is. Bovendien suggereert de studie dat de kloof tussen menselijke en kunstmatige prestaties op dit gebied kleiner wordt, waarbij de meest geavanceerde modellen nu menselijke capaciteiten overtreffen in specifieke, gestructureerde beeldopdrachten.

De auteurs blijven bescheiden wat betreft het mechanisme, en erkennen dat hoewel de modellen slagen, de exacte interne representatie (puur propositioneel versus propositioneel met visio-taalkundige priors) onderwerp blijft voor verder onderzoek. Zij concluderen dat deze resultaten een nieuw perspectief bieden voor zowel de AI-gemeenschap, met betrekking tot de emergente capaciteiten van redeneermodellen, als de cognitiewetenschappelijke gemeenschap, met betrekking tot de aard van menselijke mentale beeldvorming en de strategieën die door aphantasici worden gebruikt.