The Persistence of Cultural Memory: Investigating Multimodal Iconicity in Diffusion Models

Dit artikel introduceert een nieuw evaluatiekader met de Cultural Reference Transformation-metriek om te analyseren hoe diffusion-modellen culturele iconische referenties herkennen en realiseren, waarbij wordt aangetoond dat dit gedrag niet alleen afhankelijk is van datafrequentie maar ook van unieke tekstuele en culturele factoren.

De kern

De "Geheugenkracht" van AI: Hoe Kunstmensen Kunst Herkennen (Zonder te Plagieren)

Stel je voor dat je een zeer slimme, maar soms wat verwarde kunstenaar hebt die nooit een museum heeft bezocht, maar wel miljoenen foto's en beschrijvingen heeft "gelezen" op internet. Als je deze kunstenaar vraagt om een schilderij te maken van "De Nachtwacht", wat doet hij dan?

• Optie A: Hij pakt een fotokopie van het echte schilderij en plakt het op het canvas. (Dit is plagiaat of "uit het hoofd leren").
• Optie B: Hij maakt een compleet nieuw schilderij dat eruitziet als een nachtelijk landschap, maar vergeet de soldaten en de hond. (Dit is niet herkennen).
• Optie C: Hij maakt een nieuw schilderij met een nachtelijk thema, een grote hond en een groep figuren in een donkere ruimte, maar in zijn eigen stijl. (Dit is cultureel herkennen en heruitvinden).

Dit is precies waar dit onderzoek over gaat. De auteurs, Maria-Teresa en Eva, kijken hoe moderne AI (zoals Stable Diffusion en Imagen) omgaat met beroemde titels uit onze cultuur. Ze noemen dit "multimodale iconiciteit": het speciale bandje tussen een woord (zoals "De Godfather") en een beeld dat we allemaal kennen.

Hier is de uitleg in simpele taal:

1. Het Probleem: Te veel of te weinig?

AI-modellen zijn vaak bang om te "plagieren" (te veel kopiëren), dus ze proberen alles te vergeten. Maar als ze te veel vergeten, weten ze niet meer wat "De Nachtwacht" is. Ze maken dan gewoon een donker landschap zonder de specifieke details die het beroemd maken.

De onderzoekers zeggen: "Wacht even! Het is niet alleen 'kopiëren' of 'niet kopiëren'. Er zit een heel gebied in het midden waar de AI de essentie van een cultuur-icoon begrijpt, maar het op een nieuwe manier neerzet."

2. De Oplossing: Twee Vragen Stellen

Om dit te meten, hebben de onderzoekers een nieuwe test bedacht, de CRT-methode (Cultural Reference Transformation). Ze stellen twee vragen aan de AI:

1. Herkenning (Recognition): "Begrijp je waar ik het over heb?"
   • Voorbeeld: Als je vraagt om "De Nachtwacht", maakt de AI dan een donker schilderij met soldaten? Dan is het antwoord: Ja.
2. Uitvoering (Realization): "Hoe heb je het gemaakt?"
   • Voorbeeld: Heeft de AI het schilderij exact gekopieerd (plagiaat)? Of heeft hij het opnieuw bedacht met zijn eigen penseelstreken (creatie)?

De Gouden Middenweg: De beste AI is degene die Ja zegt op vraag 1 (het herkent het) en Nee op vraag 2 (het kopieert niet direct, maar maakt iets nieuws).

3. Wat Vonden Ze? (De Uitslagen)

De onderzoekers testten 5 verschillende AI-modellen met 767 beroemde titels (zoals films, albums en schilderijen).

• Sommige AI's zijn te "slap": Ze herkennen de titel niet goed. Als je "De Godfather" vraagt, maken ze misschien gewoon een man in een pak, zonder de sfeer van de film.
• Sommige AI's zijn te "stijf": Ze kopiëren het origineel bijna letterlijk. Dit is gevaarlijk voor auteursrechten.
• De Winnaars: Modellen zoals Imagen 4 en SD3 bleken het beste te zijn. Ze herkennen de titel perfect, maar maken er een nieuwe, unieke versie van. Ze begrijpen de cultuur, maar kopiëren niet de pixel.

4. De "Woord-Test"

De onderzoekers deden een leuke truc: ze veranderden de titel een beetje.

• In plaats van "De Schreeuw" (The Scream), vroegen ze "De Gekrijs" (The Shriek).
• Of ze gaven een beschrijving: "Een man op een brug die zijn gezicht vasthoudt."

Resultaat: De slimste AI's (zoals Imagen 4) maakten nog steeds het juiste beeld, zelfs als je de woorden veranderde. Dit bewijst dat ze het concept hebben geleerd, en niet alleen de exacte woorden uit hun geheugen hebben gehaald.

5. Waarom is dit belangrijk?

Vroeger dachten we: "Als een AI een plaatje maakt dat op het origineel lijkt, is het een kopie."
Dit onderzoek zegt: "Nee, niet per se."

Het is alsof je een vriend vraagt om een verhaal te vertellen over "Romeinse Keizers".

• Als hij het verhaal woord voor woord overneemt van een boek, is hij een leesrobot (kopiëren).
• Als hij het verhaal vergeten is en vertelt over een keizer in een ruimtepak, is hij niet goed (niet herkennen).
• Als hij het verhaal vertelt in zijn eigen woorden, maar wel de juiste feiten en sfeer behoudt, is hij een goede verteller (cultureel herinneren).

Conclusie

Deze studie laat zien dat AI niet alleen moet worden beoordeeld op "hoeveel het onthoudt", maar op hoe het cultuur verwerkt. De beste AI's zijn niet degenen die het beste kunnen kopiëren, maar degenen die de geest van een kunstwerk of film kunnen begrijpen en het op een eerlijke, nieuwe manier kunnen vertalen.

Het is een stap van "AI als fotokopieerapparaat" naar "AI als creatieve vertaler van onze collectieve herinneringen".

Technische samenvatting

Probleemstelling

Text-to-image (TTI) diffusiemodellen leren complexe cross-modale relaties uit enorme datasets, maar er bestaat een fundamenteel spanningsveld tussen generalisatie en memorisatie. Bestaande evaluatiemethoden voor memorisatie richten zich voornamelijk op het detecteren van directe replicatie van trainingsdata (copyright- en privacyrisico's). Echter, bij cultureel iconische prompts (bijv. titels van beroemde schilderijen, films of albums) is deze scheiding niet zo duidelijk.

De auteurs introduceren het concept multimodale iconiciteit: de cultureel verankerde associatie tussen tekst en visuele motieven. In dit scenario wordt van een model verwacht dat het de culturele referentie herkent en visueel realiseert, zonder noodzakelijkerwijs exacte kopieën van het origineel te produceren. Bestaande metrics falen hierin omdat ze "reproductie" en "culturele herinterpretatie" niet van elkaar kunnen onderscheiden; ze zien beide vaak als foutieve memorisatie. Er is behoefte aan een raamwerk dat onderscheidt tussen herkenning van een referentie en de manier waarop deze visueel wordt gerealiseerd (replicatie vs. transformatie).

Methodologie

De auteurs stellen een evaluatieframework voor dat twee dimensies van modelgedrag ontkoppelt: Herkenning (Recognition) en Realisatie (Realization).

1. Dataset:

   • Gebaseerd op Wikidata, met 767 culturele referenties (374 statische afbeeldingen zoals schilderijen/albums, 393 bewegende afbeeldingen zoals films/series).
   • Prompts bestaan uitsluitend uit titels (geen kunstenaarsnamen) om directe identiteitscues te minimaliseren.
   • Alleen referenties met meer dan 20 sitelinks (Wikipedia-talen) worden geselecteerd als indicator van globale culturele prominentie.

2. Evaluatiemetrics:

   • Cultural Reference Alignment (CRA): Meet herkenning. Berekenen van de cosine-ähnelijkheid tussen CLIP-embeddings van gegenereerde afbeeldingen en een referentiedataset (canonieke afbeeldingen). Een score > 0,7 betekent dat de culturele referentie is herkend.
   • Visual Reuse (VR): Meet realisatie/replicatie. Gebruikmakend van DINOv3 (voor lokale patch-retrieval), wordt gekeken naar hoeveel lokale visuele content (patches) uit de gegenereerde afbeelding direct wordt hergebruikt uit de referentieafbeeldingen. Een lage VR-score duidt op visuele transformatie; een hoge score op directe replicatie.
   • Cultural Reference Transformation (CRT): De kernmetriek die beide dimensies combineert:
     $$CRT = CRA \times (1 - VR)$$
     Een hoge CRT-score betekent dat het model de referentie herkent (hoge CRA) maar deze visueel transformeert in plaats van te kopiëren (lage VR).

3. Experimenten:

   • Evaluatie van 5 modellen: SD2, SDXL, SD3, Flux Schnell (open source) en Imagen 4 (propriëtraat).
   • Prompt-perturbatie: Synoniemvervangingen en letterlijke beschrijvingen om te testen of herkenning gebaseerd is op specifieke titels of op visuele concepten.
   • Factorenanalyse: Onderzoek naar welke factoren (trainingsdata-frequentie, tekstuele uniciteit, creatiedatum, populariteit) de herkenning beïnvloeden.
   • Menselijke evaluatie: Validatie van CRA en VR door crowdsourced annotatoren.

Belangrijkste Bijdragen

1. Conceptuele Innovatie: Formalisering van multimodale iconiciteit als een nieuwe evaluatiedimensie die de nuance tussen cultureel onderbouwde generalisatie en illegale memorisatie blootlegt.
2. Nieuw Evaluatieframework: Introductie van de CRT-metriek, die herkenning en realisatie ontkoppelt. Dit stelt onderzoekers in staat om te onderscheiden tussen "regurgitatie" (replicatie), "transformatie" (herkenbaar maar nieuw) en "onafhankelijkheid" (geen herkenning).
3. Empirische Validatie: Toepassing op 767 culturele concepten over 5 modellen, met validatie via menselijke beoordeling en synthetische tests.
4. Inzicht in Factoren: Aanwijzing dat herkenning niet alleen afhangt van de hoeveelheid trainingsdata, maar sterk wordt beïnvloed door tekstuele uniciteit en de creatie datum van het werk.

Resultaten

• Modelverschillen: Er zijn systematische verschillen in hoe modellen omgaan met iconiciteit.
  • Imagen 4 en SD3 presteren het beste op de CRT-metriek. Imagen 4 combineert hoge herkenning met lage visuele reuse (goede transformatie), terwijl SD3 hoge herkenning bereikt met zeer lage reuse.
  • Flux Schnell toont de laagste visuele reuse, maar ook de laagste herkenning (CRA), wat suggereert dat het moeite heeft om de culturele referentie te "ontgrendelen".
  • SDXL en SD2 tonen vaak hogere visuele reuse (replicatie) bij hoge herkenning, wat resulteert in lagere CRT-scores.
• Decoupling van Herkenning en Replicatie: Er is een matige positieve correlatie tussen herkenning en visuele reuse, maar bij hoge herkenning is er grote variatie. Dit bewijst dat herkenning van een cultureel concept mogelijk is zonder directe visuele kopie.
• Invloed van Prompt: Bij het vervangen van woorden (synoniemen) of het gebruiken van beschrijvende prompts daalt de herkenning (CRA) voor alle modellen, maar Imagen 4 is het meest robuust. Interessant genoeg leidt het gebruik van beschrijvende prompts bij herkende referenties vaak tot hogere transformatie (hogere CRT), omdat de visuele structuur behouden blijft maar de exacte tekstuele cue verdwijnt.
• Factoren die Herkenning bepalen:
  • Tekstuele Uniciteit: De sterkste voorspeller voor herkenning. Unieke titels worden beter herkend dan veelvoorkomende zinnen.
  • Creatiedatum: Voor statische afbeeldingen correleert een oudere creatiedatum met hogere herkenning (waarschijnlijk door langere online blootstelling en herhaling).
  • Aantal trainingsvoorbeelden: Heeft een positief, maar beperkt effect. Data-quantiteit alleen garandeert geen culturele uitlijning als de tekstuele cues niet uniek zijn.

Betekenis en Conclusie

De studie toont aan dat het gedrag van diffusiemodellen in cultureel iconische contexten niet kan worden gereduceerd tot een simpel "replicatie vs. generalisatie"-dichotomie. Bestaande metrics voor copyright-inbreuk (zoals globale similariteit) zijn ontoereikend omdat ze culturele transformatie vaak ten onrechte als replicatie bestempelen, of vice versa.

Het voorgestelde CRT-framework biedt een nuancerder perspectief: het beoordeelt niet alleen of een model iets "weet", maar hoe het die kennis visualiseert. Dit is cruciaal voor de ontwikkeling van AI-systemen die cultureel relevant kunnen zijn zonder auteursrechten te schenden. De auteurs pleiten voor een verschuiving in evaluatie van puur technische matching naar een dieper begrip van hoe generatieve modellen collectieve visuele cultuur coderen, herinterpreteren en hervormen.

Beperkingen van het onderzoek omvatten de Westerse/Anglofone bias in de dataset (Wikidata) en het feit dat trainingsdata-analyses slechts voor één model (SD2) als proxy zijn uitgevoerd. Toch vormt dit werk een belangrijke stap naar een ethisch en cultureel onderbouwde evaluatie van generatieve AI.