Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models

Deze studie introduceert een reproduceerbaar benchmark om de historische nauwkeurigheid van tekst-naar-beeld diffusion-modellen te evalueren, waarbij wordt vastgesteld dat deze modellen systematisch onnauwkeurigheden vertonen door stereotyperingen, anachronismen en onrealistische demografische representaties.

De kern

Titel: De "Geschiedenis-Generator" en zijn Verkeerde Herinneringen

Stel je voor dat je een magische camera hebt die niet foto's maakt van wat er nu gebeurt, maar foto's van wat er vroeger gebeurd is. Je zegt tegen de camera: "Maak een foto van iemand die muziek luistert in de 18e eeuw." De camera knippert en levert een prachtig plaatje op.

Maar wat als die camera eigenlijk geen echte geschiedenis kent? Wat als hij alleen maar giswerk doet op basis van oude films, boeken en zijn eigen vooroordelen?

Dat is precies wat dit onderzoek van Maria-Teresa De Rosa Palmini en Eva Cetinić onderzoekt. Ze hebben gekeken naar de nieuwste "Tekst-naar-Beeld" AI's (zoals DALL-E, Midjourney of Stable Diffusion) en gekeken of deze machines de geschiedenis eerlijk weergeven. Ze noemen hun onderzoek "Synthetische Geschiedenis".

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De "Kleurloze" Brillen (Stijl-vooroordelen)

Stel je voor dat je een tijdreis maakt naar de 17e eeuw. In werkelijkheid zag de wereld eruit zoals hij er nu uitziet, alleen dan met andere kleding. Maar de AI's doen alsof ze door een oude, vergeelde filmbril kijken.

• Het probleem: Als je vraagt om een plaatje uit de 17e of 18e eeuw, maakt de AI bijna altijd een plaatje dat eruitziet als een oude gravure of een zwart-wit tekening. Voor de 19e eeuw wordt het vaak een schilderij. Pas vanaf de 20e eeuw durft de AI eindelijk "echte foto's" te maken.
• De metafoor: Het is alsof de AI denkt: "Als het oud is, moet het eruitzien alsof het in een museum hangt." Ze vergeten dat mensen vroeger ook gewoon kleurrijke kleding droegen en in gekleurde omgevingen leefden. Ze plakken een "oud-stijl filter" over alles, zelfs als je dat niet hebt gevraagd.

2. De "Tijdmachine" die stuk is (Anachronismen)

Stel je voor dat je een acteur vraagt om een toneelstuk te spelen over de Romeinen. Maar plotseling loopt de acteur het podium op met een iPhone in zijn hand en draagt hij een moderne sportschoen. Dat noemen we een anachronisme: iets dat niet bij die tijd hoort.

• Het probleem: De AI's zijn vaak slordig met de tijdlijn. Ze zetten moderne voorwerpen in oude scènes.
  • Een persoon die in de 18e eeuw muziek luistert, heeft soms een koptelefoon op.
  • Iemand die in de 19e eeuw kookt, gebruikt een modern magnetron of een elektrisch strijkijzer.
  • Een persoon in de jaren '30 heeft een smartphone in zijn hand.
• De metafoor: De AI's hebben een "tijdscherm" dat lek is. Ze halen dingen uit de toekomst (zoals smartphones) en gooien ze in het verleden. Het is alsof ze denken: "Mensen luisteren altijd naar muziek, dus ze moeten altijd koptelefoons hebben," zonder te beseffen dat die koptelefoons pas 200 jaar later zijn uitgevonden.

3. De "Verkeerde Cast" (Demografie)

Stel je voor dat je een film regisseert over een dorp in de 19e eeuw. Je wilt dat het eruitziet zoals het er echt uitzag. Maar je kiest je acteurs op basis van wat je nu op straat ziet, of op basis van stereotypen uit films.

• Het probleem: De AI's tonen vaak een heel andere verdeling van mensen dan er historisch gezien waarschijnlijk was.
  • Geslacht: Ze laten vaak veel meer mannen zien dan vrouwen, zelfs bij activiteiten die historisch gezien door vrouwen werden gedaan (zoals koken of zorgen voor kinderen).
  • Herkomst: Ze tonen vaak veel meer blanke mensen dan er eigenlijk waren, en vergeten andere etnische groepen die wel degelijk aanwezig waren.
• De metafoor: De AI's spelen een soort "verkeerde verjaardagsfeest". Ze denken dat iedereen op het feestje eruitziet zoals de gemiddelde persoon van vandaag, of zoals ze denken dat het eruit moet zien. Ze vergeten dat de wereld vroeger er anders uitzag en dat mensen uit verschillende culturen samen leefden.

Wat hebben ze gedaan?

De onderzoekers hebben een enorme test opgezet, een soort "Geschiedenis-Quiz" voor AI's.

1. Ze hebben 30.000 plaatjes gegenereerd door de AI's te vragen om mensen te tekenen bij 100 verschillende activiteiten (zoals muziek luisteren, werken, bidden) in 10 verschillende tijdperken (van de 17e eeuw tot nu).
2. Ze hebben gekeken of de plaatjes eruit zagen als oude gravures of echte foto's.
3. Ze hebben gekeken of er moderne spullen (zoals telefoons) in oude plaatjes stonden.
4. Ze hebben gekeken wie er op de plaatjes te zien was (mannen/vrouwen, verschillende huidskleuren) en vergeleken dit met wat historisch gezien logisch is.

Wat is de conclusie?

De AI's zijn geweldige kunstenaars, maar ze zijn slechte geschiedenisdocenten.
Ze kopiëren niet de echte geschiedenis, maar ze kopiëren onze herinneringen aan de geschiedenis. En onze herinneringen zitten vol met fouten, oude films en vooroordelen.

• Ze denken dat het verleden eruitzag als een zwart-wit film.
• Ze vergeten dat mensen vroeger ook moderne dingen deden (op hun manier).
• Ze vergeten dat de wereld vroeger al divers was.

De boodschap: Als we AI gebruiken om de geschiedenis te visualiseren (bijvoorbeeld in musea of scholen), moeten we oppassen. Anders creëren we een "synthetische geschiedenis" die niet waar is, maar die wel heel geloofwaardig lijkt. We moeten de AI's leren om niet alleen te tekenen wat we verwachten te zien, maar wat er echt was.

Technische samenvatting

Probleemstelling

Hoewel Text-to-Image (TTI) diffusiemodellen steeds invloedrijker worden in contentcreatie, is er tot nu toe weinig onderzoek gedaan naar hun vermogen om historische contexten accuraat weer te geven. Bestaande evaluaties focussen voornamelijk op demografische bias (geslacht, ras) en culturele bias (Westers-centrisme) in hedendaagse scenario's. Echter, wanneer deze modellen de verleden tijd genereren, ontstaan er specifieke risico's:

1. Stylistische stereotypering: Modellen koppelen automatisch specifieke visuele stijlen aan bepaalde periodes (bijv. gravures voor de 17e eeuw), ongeacht de prompt.
2. Anachronismen: Het onbedoeld invoegen van moderne objecten in historische scènes (bijv. smartphones in de 18e eeuw).
3. Demografische onnauwkeurigheid: Het genereren van bevolkingsverdelingen die niet overeenkomen met historisch plausibele patronen, maar eerder met hedendaagse verwachtingen of trainingsdata-bias.

Deze vertekeningen kunnen de publieke opvatting over het verleden vervormen en de integriteit van cultureel geheugen ondermijnen.

Methodologie: De HistVis Benchmark

Om deze lacune op te vullen, introduceren de auteurs HistVis, een benchmark bestaande uit een dataset en een reproduceerbaar evaluatieprotocol.

1. Dataset (HistVis):

• Omvang: 30.000 synthetische afbeeldingen.
• Generatie: Gemaakt met drie state-of-the-art open-source diffusiemodellen: Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3), en FLUX.1 Schnell.
• Prompts: Gebaseerd op 100 zorgvuldig gecureerde prompts die universele menselijke activiteiten beschrijven (bijv. "een persoon luistert naar muziek", "een persoon werkt in de landbouw").
• Tijdspanne: Deze activiteiten worden gegenereerd voor 10 historische periodes: 5 eeuwen (17e–21e eeuw) en 5 decennia van de 20e eeuw (1910, 1930, 1950, 1970, 1990).
• Ontwerp: Prompts zijn neutraal ("A person [activity] in the [time period]") om te voorkomen dat de prompt zelf bias introduceert; variatie moet komen uit het interne historische model van de AI.

2. Evaluatie Protocol (Drie Dimensies):

• A. Impliciete Stylistische Associaties:

  • Doel: Meten of modellen standaard naar specifieke visuele stijlen grijpen voor bepaalde periodes.
  • Methode: Een style predictor (gebaseerd op DINOv2) is getraind op een WikiArt-dataset om afbeeldingen te classificeren in vijf stijlen: tekening, gravure, illustratie, schilderij en fotografie.
  • Métriek: Visual Style Dominance (VSD) score, die de dominantie van één stijl binnen een periode voor een bepaald model aangeeft.

• B. Historische Consistentie (Anachronismen):

  • Doel: Detecteren van moderne artefacten in pre-modere contexten.
  • Methode: Een tweestaps-pijplijn:
    1. LLM-voorstel: Een LLM (GPT-4o) genereert een lijst met potentiële anachronismen voor een specifieke prompt en tijd (bijv. "moderne audio-apparatuur" voor de 18e eeuw) en zet dit om in ja/nee-vragen.
    2. VQA-detectie: Drie Vision-Language Models (GPT-4o, LLaMA-3.2, Qwen2.5) beantwoorden deze vragen voor de gegenereerde afbeeldingen. Het eindresultaat is een meerderheidsstemming.
  • Métriek: Frequentie (hoe vaak wordt het anachronisme gezien?) en Severity (hoe consistent is het model in het maken van deze fout wanneer het wordt voorgesteld?).

• C. Demografische Representatie:

  • Doel: Vergelijken van de gegenereerde geslachts- en rasverdelingen met historisch plausibele verwachtingen.
  • Methode:
    1. Extractie: Een gezichtsklassificator (FairFace) analyseert de gegenereerde afbeeldingen om geslacht en ras te detecteren.
    2. Baseline: Een LLM (GPT-4o) schat de historisch plausibele demografische verdeling voor elke activiteit-periode-combinatie (gebaseerd op globale historische context, niet op specifieke landen).
    3. Vergelijking: Berekening van onder- en overrepresentatie-metrics door de gegenereerde verdeling te vergelijken met de LLM-baseline.

Kernresultaten

1. Stylistische Bias:

   • Modellen vertonen sterke, systematische voorkeuren. SDXL neigt naar gravures voor de 17e en 18e eeuw, terwijl SD3 en FLUX.1 eerder schilderijen genereren.
   • Voor de 20e eeuw convergeren SD3 en FLUX.1 naar fotografie, terwijl SDXL vaker illustraties maakt.
   • Monochroom-dominantie: Alle modellen genereren overwegend zwart-wit beelden voor de eerste helft van de 20e eeuw (1910-1950), zelfs wanneer de prompt niet specifiek om zwart-wit vraagt.
   • Mitigatie: Prompt engineering (bijv. expliciet vragen om "fotorealisme") had slechts beperkt effect; de inherente stylistische bias bleef grotendeels bestaan.

2. Historische Inconsistentie (Anachronismen):

   • Anachronismen komen frequent voor. SD3 toont de hoogste foutenratio (bijv. 25% van de afbeeldingen uit de jaren 1930 bevatten anachronismen).
   • Hoge Severity: Elementen zoals moderne audio-apparatuur en strijkijzers worden zelden gezien, maar als ze wel voorkomen, is de fout zeer consistent (hoge severity). Dit suggereert dat modellen meer vertrouwen op conceptuele cues uit de prompt (bijv. "muziek") dan op de historische context.
   • Menselijke validatie bevestigde dat de ensemble-methode (drie VLMs) een hoge overeenstemming (75%) bereikte met menselijke beoordelingen.

3. Demografische Vertekening:

   • Modellen vertonen systematische afwijkingen van de historisch plausibele baselines.
   • Geslacht: Er is een duidelijke overrepresentatie van mannen in activiteiten zoals "koken" en "werken" in eerdere eeuwen, terwijl de LLM-baseline een meer evenwichtige verdeling of een vrouwelijke meerderheid in bepaalde contexten voorspelde.
   • Ras: Witte personen zijn oververtegenwoordigd in alle periodes, met name in de 17e en 18e eeuw. Rijke diversiteit verschijnt pas laat in de 20e eeuw in de gegenereerde beelden, wat niet altijd overeenkomt met de globale historische realiteit.

Belangrijkste Bijdragen

1. Eerste Systematische Evaluatie: Dit is het eerste werk dat diffusiemodellen systematisch evalueert op hun vermogen om historische contexten visueel te reconstrueren.
2. HistVis Dataset: Een openbaar beschikbare dataset van 30.000 afbeeldingen die specifiek is ontworpen om historische bias te testen zonder dat de prompt zelf bias introduceert.
3. Nieuwe Evaluatie-Metrics: Introductie van de VSD-score voor stijl en een robuuste pipeline voor anachronismedetectie en demografische afwijkingen.
4. Model-Agnostisch Framework: Het evaluatieprotocol is toepasbaar op elk TTI-model, niet alleen de geteste modellen.

Betekenis en Conclusie

Het paper concludeert dat huidige TTI-modellen de geschiedenis niet reconstrueren op basis van feitelijke kennis, maar eerder op basis van stereotiepe visuele conventies en correlaties in de trainingsdata.

• Modellen "hard-coden" visuele stijlen voor bepaalde periodes (bijv. zwart-wit voor het verleden).
• Ze falen in chronologische coherentie, wat leidt tot verwarrende en onnauwkeurige historische voorstellingen.
• De demografische output reflecteert vaak hedendaagse verwachtingen of trainingsbias in plaats van historische realiteit.

De auteurs benadrukken dat het creëren van historisch accurate AI een ethisch dilemma inhoudt: hoe balanceer je historische nauwkeurigheid met het vermijden van uitsluitende narratieven? Ze pleiten voor het gebruik van hun benchmark als een startpunt voor het ontwikkelen van modellen die de geschiedenis met meer nuance, nauwkeurigheid en sensitiviteit kunnen weergeven, en waarschuwen voor de risico's van het gebruik van huidige generatieve AI in educatieve en culturele contexten zonder kritische evaluatie.