Technische Samenvatting: AI als Instrument voor Simulatie-gebaseerde Experimenten in de Literatuurwetenschap

1. Probleemstelling

De literatuurwetenschap en geschiedkunde missen het vermogen tot gecontroleerde, laboratoriumachtige experimenten. Wetenschappers kunnen historische gebeurtenissen niet opnieuw laten plaatsvinden, specifieke causale variabelen (bijv. economische precariteit, migratiepatronen) niet isoleren, of contrafeitelijke condities niet testen (bijv. "Hoe zou het modernisme zich hebben ontwikkeld zonder James Joyce?") omdat de subjecten dood zijn en de gebeurtenissen al hebben plaatsgevonden. Terwijl andere velden zoals klimaatwetenschap en epidemiologie computationele simulaties gebruiken om fenomenen te modelleren die niet direct gemanipuleerd kunnen worden, heeft de literatuurwetenschap een gebrek aan een principiële, gefundeerde methode voor dergelijke onderzoeksvragen.

Het centrale probleem dat wordt geadresseerd, is de afwezigheid van een rigoureuze experimentele toolkit om claims over invloed, context en causaliteit in de literatuurgeschiedenis te testen. Het artikel stelt voor dat generatieve AI, specif kind Large Language Models (LLM's), kunnen dienen als "silicon samples" of proxies voor menselijke populaties om culturele productie te simuleren, waardoor systematische manipulatie van variabelen (genre, periode, auteurscontext) mogelijk wordt terwijl andere factoren constant worden gehouden.

2. Methodologie

De studie hanteert een grootschalig empirisch ontwerp waarbij AI-gegenereerde fictie wordt vergeleken met een corpus van door mensen geschreven romans. De methodologie bestaat uit drie primaire componenten:

2.1 Corpusconstructie

• Menselijk Referentiecorpus: Afgeleid van CONLIT, bevattende 2.754 volumes (2001–2021). De primaire vergelijkingsset omvat 258 genomineerde of winnende romans (Booker, National Book Award, etc.), gelabeld als 'PW'. Aanvullende subsecties omvatten Science Fiction (SF) en Mystery (MY).
• AI-gegenereerd Corpus: In totaal werden 3.800 hoofdstukken gegenereerd met behulp van GPT-5 (via de OpenAI batch API).
  • Complexe Prompts (2.300 teksten): Maak gebruik van een multi-component structuur inclusief een systeemprompt (expert novelist persona), een gebruikersprompt (schrijf een prijswinnend eerste hoofdstuk), en synthetische auteurbiografieën. Deze biografieën werden gegenereerd om menselijke auteurs te imiteren (bijv. een persona die lijkt op Ian McEwan) met specifieke geboorteplaatsen, carrières en stilistische kenmerken, wat zorgde voor een geïndividualiseerde culturele context. Sommige prompts bevatten historische datuminstructies (2005–2016).
  • Basale Prompts (1.500 teksten): Minimale instructies ("Schrijf het eerste hoofdstuk van een... roman") over vijf modellen (GPT-5, GPT-5-mini, GPT-5-nano, GPT-4.1, GPT-3.5-turbo) zonder biografieën of specifieke beperkingen.

2.2 Analyseframework

• Embedding Analyse: Teksten werden geëmbed met Qwen3-Embedding-8B (8B parameters, 32k token window) met een prompt-gestuurde bias naar inhoud, vorm en stijl.
  • Menselijke boeken werden in chunks verdeeld (tot 32k tokens) en geaggregeerd via lengte-gewogen gemiddelden.
  • AI-hoofdstukken (gem. ~13k tokens) werden behandeld als enkele chunks.
  • Gelijkenis werd gemeten via cosine similarity in de embedding-ruimte.
  • UMAP werd gebruikt voor 2D-visualisatie, waarbij de ruimte werd aangepast aan menselijke teksten en AI-teksten in deze ruimte werden geprojecteerd.
• Lexicale Analyse: De Fightin' Words-methode (Monroe et al., 2008) werd toegepast om statistisch oververtegenwoordigde woorden in AI- versus menselijke teksten te identificeren, waarbij niet-gepreiseerde fictie als een Bayesiaanse prior werd gebruikt.

3. Belangrijkste Resultaten

3.1 Genrestructuur en Distributie

• Preservering van Genre: AI-gegenereerde teksten behouden de genrestructuur van menselijke fictie. AI-teksten die gericht zijn op de genres PW (prijsnominaties), SF en Mystery, vertonen de grootste gelijkenis met hun menselijke tegenhangers, en niet met andere genres.
• Diversiteit versus Homogeniteit: In tegenstelling tot eerdere literatuur die suggereert dat LLM's zeer homogeen zijn, toonde deze studie aan dat door complexe prompts gegenereerde AI-teksten diverser zijn (minder intern gelijkaardig) dan menselijke teksten binnen hetzelfde genre.
  • Menselijke PW gelijkenis: 0.635
  • Complex-geprompte AI PW gelijkenis: 0.580
  • Basal-geprompte AI PW gelijkenis: 0.682 (homogener).
• Impact van Prompt Engineering: Complexe prompts met synthetische biografieën verhoogden de diversiteit aanzienlijk en brachten de outputs dichter bij menselijke distributies vergeleken met basale prompts. Basale prompts produceerden nauw geclusterde, onderscheidende outputs.

3.2 Temporele Conditionering

• Null Resultaat: Het instrueren van modellen om te schrijven alsof ze in een specifiek jaar schreven (2005–2016) produceerde geen meetbaar verschil in de embedding-ruimte vergeleken met ongedateerde prompts.
• Implicatie: Eenvoudige prompt-niveau temporele conditionering is onvoldoende om het generatieve gedrag van het model met betrekking tot de historische periode te veranderen, wat consistent is met de bevinding dat periode-specifieke pretraining waarschijnlijk vereist is voor historische getrouwheid.

3.3 Lexicale Verschillen

• Menselijke Teksten: Worden gekenmerkt door derde-persoons voornaamwoorden, verleden tijd-markeringen en colloquiale taal, wat duidt op belichaamde, verleden tijd-narratie.
• AI-Teksten: Toonden een hoger gebruik van tegenwoordige tijd-markeringen, negatie (het meest onderscheidende AI-woord), metafictionele termen (bijv. "schreef", "zin") en de eerste persoon meervoud ("wij").
• Grootte: Hoewel detecteerbaar, waren de lexicale verschillen bescheiden vergeleken met onderscheidende groepen (bijv. politieke toespraken), wat suggereert dat AI-teksten "in-distribution" zijn maar onderscheidbaar in register.

4. Belangrijkste Bijdragen

1. Methodologisch Framework: Stelt een framework voor voor het gebruik van LLM's als instrumenten voor simulatie-gebaseerde literaire experimenten, waarbij AI-outputs worden behandeld als "gesimuleerde literaire outputs" in plaats van creatieve producten.
2. Eerste Demonstratie van In-Distribution Outputs: Levert het eerste bewijs dat AI-modellen synthetische samples van door mensen geschreven literatuur (inclusief hoogwaardige prijs-genres) kunnen genereren die binnen het distributiebereik van menselijke teksten vallen, in plaats van volledig out-of-distribution te zijn.
3. Rol van Synthetische Biografieën: Demonstreert dat geïndividualiseerde auteurscontext (via synthetische biografieën) een cruciale factor is bij het verminderen van de homogeniteit van LLM-outputs en het verbeteren van de simulatiegetrouwheid.
4. Beperkingen van Prompting: Stelt vast dat eenvoudige prompt-niveau temporele conditionering faalt in het produceren van periode-consistente outputs, wat wijst op de noodzaak van diepere interventies (model editing, unlearning of pretraining) voor contrafeitelijke historische simulatie.

5. Betekenis en Claims

Het artikel claimt dat AI-gebaseerde simulatie een "geprincieerd alternatief" biedt voor directe experimentatie in de literatuurwetenschap, waardoor wetenschappers causaal kunnen redeneren over historische ontwikkeling.

• Huidige Status: De methode is momenteel "gedeeltelijk maar informatief" succesvol. Het vangt structurele kenmerken op (genreorganisatie, effecten van auteur-individualisering) maar mist andere (narratief register, temporele specificiteit).
• Haalbaarheid: De auteurs beargumenteren dat volwaardige contrafeitelijke simulaties van hedendaagse literaire-sociale processen "op de rand van haalbaarheid" liggen, terwijl historische simulaties verdere technische vooruitgang vereisen (bijv. model editing, periode-specifieke pretraining).
• Toekomstperspectief: Het artikel frameert deze bevindingen niet als bewijs van fundamentele onmogelijkheid, maar als een startpunt. Het nodigt literatuurwetenschappers uit om deze "imperfecte maar verbeterbare" instrumenten te gebruiken om contrafeitelijke vragen te adresseren en roept NLP-onderzoekers op om model editing, culturele conditionering en diversiteit in generatie te bevorderen.

De studie concludeert dat hoewel de simulatie nog geen perfect replica is van het doelsysteem, het "goed genoeg" is op gespecificeerde dimensies om nuttige inferentie te ondersteunen, analoog aan vroege stadium klimaatmodellen die grootschalige circulatie vastlegden voordat regionale patronen werden gevangen.