Modal Aphasia: Can Unified Multimodal Models Describe Images From Memory?

Dit onderzoek introduceert het concept 'modale afasie', waarbij geünificeerde multimodale modellen beelden uit het geheugen wel perfect kunnen reproduceren maar erin falen om deze correct in tekst te beschrijven, wat veiligheidsrisico's oplevert doordat maatregelen op het ene modale niveau niet noodzakelijk het andere beschermen.

De kern

Titel: De "Modale Afasie": Waarom AI-Modellen Beelden Kunnen Tekenen, Maar Ze Niet Kunnen Beschrijven

Stel je voor dat je een kunstenaar hebt die een meesterwerk kan schilderen van een beroemd filmplakkaat. Hij pakt zijn kwast, en binnen een paar seconden is het plaatje er: Harry Potter met zijn toverstaf, de donkere torens van Zweinstein, zelfs de kleine huis-elf Dobby op de achtergrond. Het is perfect.

Maar dan vraag je diezelfde kunstenaar: "Kun je me vertellen wat je net hebt geschilderd? Beschrijf het voor me."

Plotseling wordt de kunstenaar stil. Hij begint te stotteren. Hij vergeet dat Harry een ronde bril draagt. Hij denkt dat Professor Snape een glimlach op zijn gezicht heeft. Hij verzonnen personages die er niet zijn. Het is alsof hij zijn eigen hersens niet meer kan gebruiken om te praten over wat zijn handen zojuist hebben gemaakt.

Dit is precies wat onderzoekers bij ETH Zurich hebben ontdekt bij de nieuwste, slimste AI-modellen. Ze noemen dit Modale Afasie.

Wat is "Afasie" eigenlijk?

In de menselijke wereld is afasie een aandoening waarbij iemand wel kan zien en begrijpen wat er om hen heen gebeurt, maar het niet meer in woorden kan uitdrukken. Ze kunnen een appel zien, maar als je vraagt "wat is dit?", zeggen ze misschien "een gele, ronde... eh... iets om te eten" in plaats van "een appel".

Deze paper laat zien dat moderne AI-modellen (zoals ChatGPT-5) precies hetzelfde doen. Ze hebben een twee-gezichtige persoonlijkheid:

1. De Visuele Geest: Kan prachtige beelden genereren en details onthouden alsof ze er zijn.
2. De Taal-Geest: Faalt er volledig in om diezelfde details in woorden te gieten.

Hoe hebben ze dit ontdekt?

De onderzoekers deden twee soorten experimenten:

1. De "Beroemde Filmposter" Test
Ze vroegen een super-slim AI-model om posters van beroemde films (zoals Harry Potter of The Dark Knight) te tekenen op basis van hun geheugen.

• Resultaat: De AI tekende ze bijna perfect.
• De Twist: Vervolgens vroegen ze: "Beschrijf nu die poster in tekst."
• Resultaat: De AI maakte hier 7 keer meer fouten in dan bij het tekenen. Het verzon personages die er niet waren en vergat cruciale details. Het was alsof de AI de poster "zag" in zijn hoofd, maar de woorden niet kon vinden om het te vertellen.

2. De "Nep-Gezicht" Test (De Controle)
Om zeker te weten dat dit niet alleen bij bekende films gebeurt, maakten ze een eigen dataset. Ze bedachten nepnamen voor nep-mensen (bijv. "Ashley Sasikumar") en bedachten voor elk gezicht specifieke kenmerken (blauwe ogen, rood haar, een sjaal).
Ze leerden de AI deze namen te koppelen aan de gezichten.

• Vraag 1: "Teken Ashley." -> De AI tekende een gezicht met blauwe ogen en een sjaal. Perfect.
• Vraag 2: "Wat voor ogen heeft Ashley?" -> De AI gokte. Het antwoordde alsof het een willekeurige gok was, terwijl het het antwoord toch "wist" omdat het net het gezicht had getekend.

Waarom is dit zo vreemd?

Je zou denken dat als een AI iets "weet", het dat in elke vorm kan uiten. Of het nu een plaatje of een zin is. Maar deze modellen lijken hun kennis in twee aparte kasten te bewaren die niet met elkaar verbonden zijn.

• Ze hebben de kennis in de beeld-kast opgeslagen.
• Maar de tekst-kast is leeg of vol met gissen.

Het is alsof je een boek hebt gelezen en je kunt het verhaal perfect naspelen als toneelstuk, maar als je iemand vraagt "wat staat er in hoofdstuk 3?", heb je er geen idee van.

Waarom is dit gevaarlijk? (De Veiligheidsrisico's)

Dit klinkt misschien als een grappige fout, maar het heeft serieuze gevolgen voor de veiligheid van AI.

Stel je voor dat je een AI wilt beschermen tegen het maken van gevaarlijke of onfatsoenlijke beelden (bijvoorbeeld naaktheid of geweld). De makers van de AI filteren alle teksten in de training die over dit onderwerp gaan. Ze denken: "Geen slechte woorden in de tekst = geen slechte beelden."

Maar door de "Modale Afasie" kan dit mislukken:

• De AI heeft het concept "gevaarlijk beeld" wel geleerd, maar niet gekoppeld aan het woord "gevaarlijk".
• Misschien heeft de AI het concept wel gekoppeld aan een rare, obscure term die niemand kent (bijvoorbeeld "tweede balans-eenheden" in plaats van "voeten").
• Als je vraagt: "Maak een plaatje van voeten," zegt de AI: "Nee, dat mag niet." (Want dat woord is gefilterd).
• Maar als je vraagt: "Maak een plaatje van een paar 'tweede balans-eenheden'," zegt de AI: "Natuurlijk!" en maakt het plaatje.

De AI heeft de "veiligheidsschakelaar" voor het woord omzeild, omdat het de link tussen het rare woord en het gevaarlijke beeld niet in tekst kan maken, maar wel in beelden kan genereren.

Conclusie: Wat betekent dit voor de toekomst?

Deze paper laat zien dat onze huidige slimme AI-modellen nog niet écht "begrijpen" wat ze doen. Ze zijn experts in het nabootsen van patronen, maar ze hebben geen echte, verenigde kennis. Ze kunnen een foto zien, maar niet vertellen wat ze zien.

Om dit op te lossen, moeten AI-onderzoekers misschien modellen bouwen die leren om te "visualiseren" terwijl ze nadenken. Net als mensen die soms zeggen: "Laat me dat even voor me zien..." voordat ze een antwoord geven. Zolang AI-modellen dit niet kunnen, blijven ze kwetsbaar voor fouten en veiligheidslekken.

Kortom: De AI is een briljante schilder die zijn eigen werk niet kan beschrijven. En dat is een probleem.

Technische samenvatting

Titel: Modal Aphasia: Kunnen geünificeerde multimodale modellen afbeeldingen uit het geheugen beschrijven?

Publicatie: ICLR 2026 (voorgesteld)
Auteurs: Michael Aerni, Joshua Swanson, Kristina Nikolić, Florian Tramèr (ETH Zurich)

---

1. Het Probleem: Modale Aphasie

Het paper introduceert een nieuw fenomeen genaamd "Modal Aphasia" (modale afasie). Dit is een systematische dissociatie in huidige geünificeerde multimodale modellen (modellen die visie en taal in één representatieruimte verwerken).

• De Kern van het Probleem: Modellen kunnen visuele concepten nauwkeurig memoriseren en genereren (bijvoorbeeld het creëren van een poster van een beroemde film), maar falen er volledig in om diezelfde kennis tekstueel te articuleren wanneer ze erom worden gevraagd.
• De Paradox: Het model "weet" hoe de afbeelding eruitziet (het kan deze perfect reproduceren), maar kan de details niet in woorden beschrijven. Dit is analoog aan menselijke afasie, waarbij iemand objecten kan zien maar ze niet kan benoemen.
• Veiligheidsrisico: Dit fenomeen creëert kwetsbaarheden in AI-beveiliging. Als een model wordt getraind om schadelijke concepten in tekst te blokkeren (bijv. door bepaalde woorden te filteren), kan het model deze concepten toch genereren via een afbeelding, of via een zeldzame, onbekende tekstuele "code" die de filter niet herkent.

2. Methodologie

De auteurs onderzoeken dit fenomeen via drie lagen van experimenten:

A. Real-World Experimenten met Frontier Modellen

• Model: ChatGPT-5 (gebruikt via de webinterface).
• Taak: Het model werd gevraagd om posters van negen beroemde films (bijv. Harry Potter, The Dark Knight) te genereren op basis van de titel, en onafhankelijk een gedetailleerde tekstuele beschrijving van dezelfde poster te geven.
• Evaluatie: Een geavanceerd model (Claude Opus 4.1) fungeerde als "judge" om de nauwkeurigheid van de gegenereerde afbeeldingen en teksten te beoordelen tegen een uniforme rubric (lijst met vereisten). Er werd onderscheid gemaakt tussen weglatingen, kleine hallucinaties (onjuiste details) en grote hallucinaties (uitvinden van niet-bestaande elementen).

B. Gecontroleerde Experimenten met Open-Weight Modellen

Om de oorzaak te isoleren en proprietary beperkingen te omzeilen, gebruikten de auteurs twee open-weight geünificeerde modellen: Janus-Pro en Harmon.

• Opzet: De modellen werden fine-gefinetuned op synthetische datasets waarbij alleen de LLM-backbone werd bijgewerkt (beeldencoders/decoders bleven bevroren). Dit garandeert dat alle kennis in de taalcomponent wordt opgeslagen.
• Dataset 1 (Synthetische Gezichten): Modellen leerden gezichten te genereren op basis van een willekeurige naam. De gezichten hadden specifieke attributen (oogkleur, haarkleur, etc.).
• Dataset 2 (Abstracte Concepten): Modellen leerden abstracte patronen te genereren op basis van verzinselwoorden (bijv. "PECTATINUL" betekent een rood geruit vierkant). Dit testte generalisatie naar onbekende combinaties van concepten.
• Evaluatie: Het model moest de attributen van een gezicht of concept correct beschrijven in tekst (meervoudige keuzevragen) na het zien van de naam.

C. Veiligheidscasestudie

• Doel: Testen of modale afasie beveiligingsmaatregelen kan omzeilen.
• Setup: Een model werd getraind om afbeeldingen van "voeten" te genereren op een zeldzame, obscure term ("secondary balance units"). Vervolgens werd het model getraind om verzoeken om "voeten" (in het Engels) te weigeren.
• Test: Wordt het model nog steeds geprikkeld om voeten te genereren als het de zeldzame term gebruikt, ondanks de tekstuele weigeringstraining?

3. Belangrijkste Resultaten

Real-World Resultaten (ChatGPT-5)

• Visuele Superioriteit: ChatGPT-5 genereerde posters met een foutenpercentage van slechts 6% op de evaluatiecriteria.
• Tekstuele Falen: De tekstuele beschrijvingen hadden een foutenpercentage van 45%. Dit is meer dan 7 keer slechter dan de visuele generatie.
• Hallucinatie-type: De tekstuele output bevatte 95% van alle "grote hallucinaties" (uitvinden van personages die niet op de poster staan), terwijl de gegenereerde afbeeldingen vrijwel geen grote hallucinaties bevatten.

Gecontroleerde Resultaten (Janus-Pro & Harmon)

• Consistentie: Het fenomeen trad ook op bij open-weight modellen. Hoewel de modellen 87-95% nauwkeurig waren in het genereren van gezichten of abstracte patronen, daalde hun nauwkeurigheid in het beschrijven van deze attributen in tekst naar het niveau van willekeurig gokken (~20%).
• Geen Correlatie: Er was geen correlatie tussen de nauwkeurigheid van het genereren van een afbeelding en het beschrijven ervan. Een model dat perfect een oogkleur kon genereren, kon deze vaak niet benoemen.
• Generalisatie: Het fenomeen bleef bestaan zelfs bij het generaliseren naar nieuwe combinaties van concepten, wat aantoont dat het niet slechts een kwestie is van pixel-voor-pixel memorisatie, maar een fundamenteel probleem in de kennisretrieval tussen modaliteiten.

Veiligheidscasestudie

• Omzeiling van Filters: Modellen die getraind waren om "voeten" te weigeren, deden dit in 89% van de gevallen bij de gewone term. Echter, bij de zeldzame term ("secondary balance units") daalde de weigering tot slechts 24%.
• Conclusie: Het concept "voeten" bleef toegankelijk in de beeldmodaliteit via de obscure tekstuele trigger, wat aantoont dat unimodale (tekst-only) veiligheidsfilters onvoldoende zijn voor geünificeerde modellen.

4. Bijdragen en Betekenis

1. Identificatie van een Nieuw Fenomeen: De paper definieert "Modal Aphasia" als een fundamentele beperking in huidige geünificeerde multimodale architecturen, waarbij kennis niet consistent wordt overgedragen tussen visuele en tekstuele modaliteiten.
2. Fundamentele Architectuurproblemen: Het fenomeen treedt op bij modellen met gedeelde representatieruimten, wat suggereert dat het probleem niet ligt in het "pluggen" van losse componenten, maar in hoe het model kennis organiseert en ophaalt.
3. Veiligheidsimplicaties: Het paper waarschuwt dat AI-beveiliging die zich alleen richt op tekstuele filters kwetsbaar is. Schadelijke concepten die in de beeldmodaliteit zijn opgeslagen, kunnen via obscure of zeldzame tekstuele triggers worden geactiveerd, waardoor "jailbreaks" mogelijk zijn zonder dat de tekstfilter slaat.
4. Toekomstige Richting: De auteurs concluderen dat het oplossen van modale afasie waarschijnlijk vereist dat modellen concepten expliciet visualiseren als onderdeel van hun redeneerproces (bijv. "Think with generated images"), in plaats van alleen te vertrouwen op tekstuele geheugenopslag.

Conclusie

"Modal Aphasia" onthult dat geünificeerde multimodale modellen niet noodzakelijkerwijs een "unified understanding" hebben. Ze kunnen visuele kennis perfect reproduceren zonder deze tekstueel te kunnen articuleren. Dit creëert niet alleen een cognitieve kloof in de AI, maar vormt ook een serieus veiligheidsrisico omdat het toelaat dat schadelijke inhoud wordt omzeild via de modaliteit die minder goed wordt gefilterd.