Critical Confabulation: Can LLMs Hallucinate for Social Good?

Dit paper introduceert het concept van 'kritische fictie', waarbij gecontroleerde hallucinaties van taalkundige modellen worden gebruikt om historische lacunes veroorzaakt door sociale ongelijkheid op te vullen en zo betrouwbare, evidence-gebonden verhalen voor 'verborgen figuren' te reconstrueren zonder de historische nauwkeurigheid te ondermijnen.

De kern

Kritisch Verzonnen: Kunnen AI's liegen om het goede doel?

Stel je voor dat je een enorme bibliotheek hebt, vol met boeken over de geschiedenis. Maar er is een groot probleem: veel boeken zijn beschadigd, verbrand of gewoon nooit geschreven. Vooral de verhalen van mensen die onderdrukt werden, zoals slaven of minderheden, ontbreken vaak. De geschiedenisboeken zijn als een puzzel waar veel stukjes simpelweg weg zijn.

Normaal gesproken zien we dit als een ramp. Maar deze paper stelt een verrassende vraag: Wat als we die lege plekken niet proberen te vullen met feiten die we niet hebben, maar met slimme, goedbedoelde verzonnen verhalen?

Hier is hoe de auteurs dit uitleggen, in gewone taal:

1. Het Probleem: De "Stille" Geschiedenis

In de echte wereld zijn er mensen die "onzichtbaar" zijn in de geschiedenisboeken. Denk aan een tiener die in 1973 door de politie werd doodgeschoten, maar waarvan de officiële verslaglegging zo vaag is dat we niet weten wat er precies in zijn laatste uur gebeurde. De archieven zijn stil. Dit wordt "archivale stilte" genoemd.

2. De Oplossing: "Kritisch Verzonnen" (Critical Confabulation)

De auteurs halen een idee uit de literatuurwereld: Kritisch Fabuleren.
Stel je voor dat je een detective bent die een moordzaak onderzoekt, maar de getuigenis ontbreekt. In plaats van te zeggen "Ik weet het niet", probeer je, gebaseerd op wat je wel weet (de tijd, de plaats, de mensen), een verhaal te bedenken dat plausibel is. Het is niet de waarheid, maar het is een verhaal dat past in de context en de menselijkheid van het slachtoffer teruggeeft.

De auteurs willen dit doen met AI (zoals ChatGPT). Ze noemen dit "Kritisch Verzonnen".

• Normale AI: Probeer altijd de feitelijke waarheid te zeggen. Als het niet weet, liegt het (hallucineert) en dat is fout.
• Deze AI: Mag bewust "verzonnen" (hallucineren), maar dan op een heel specifieke manier: om de lege plekken in de geschiedenis te vullen met verhalen die zouden kunnen zijn gebeurd, gebaseerd op wat er wel bekend is.

3. De Experimenten: Een Gokspel met Geschiedenis

Om dit te testen, hebben de onderzoekers een spelletje bedacht:

1. Ze namen echte, maar onbekende verhalen uit een archief over zwarte geschiedenis (de "Black Writing and Thought Collection").
2. Ze namen een tijdlijn van een persoon (bijvoorbeeld: "1973: Hij werd gearresteerd. 1974: Hij werd vrijgelaten") en verwijderden één stukje in het midden.
3. Ze gaven dit aan verschillende AI-modellen en vroegen: "Wat gebeurde er in dat gat?"

Ze keken niet of de AI het exacte feit had (want dat wisten ze zelf ook niet zeker), maar of het verhaal smaakvol en logisch was. Klonk het als een echt historisch moment?

4. De Resultaten: De AI is een Goede Schrijver, maar geen Perfecte Historicus

De resultaten waren verrassend:

• Het werkt! De AI's konden inderdaad mooie, geloofwaardige verhalen bedenken die pasten in de context. Ze vulden de gaten op een manier die menselijk aanvoelde.
• Het hangt af van de instructie: Als je de AI zegt: "Wees creatief en vul dit gat met een verhaal dat past bij de tijd," werkt het veel beter dan als je zegt: "Geef alleen feiten."
• Sommige modellen zijn beter: De nieuwste en slimste modellen (zoals GPT-5 en Qwen) deden het het beste, maar zelfs kleinere modellen verrasten door goed te presteren.
• Het is moeilijk: Geen enkele AI haalde 100%. Het is een lastige taak om een verhaal te verzinnen dat niet te ver van de feiten afwijdt, maar toch genoeg details toevoegt om het verhaal compleet te maken.

5. Waarom is dit belangrijk? (De Metafoor van de Restauratie)

Stel je voor dat je een oud, verweerd schilderij hebt. Er ontbreken stukjes verf.

• De oude manier: Je laat de gaten leeg en zegt: "Dit is wat er over is." Het schilderij blijft onvolledig en de mens erop blijft een schaduw.
• Deze nieuwe manier: Je gebruikt een kunstenaar (de AI) om de ontbrekende stukjes te schilderen. Hij gebruikt de kleuren en stijl van het origineel om een plausibel beeld te maken. Het is misschien niet exact hoe het er oorspronkelijk uitzag, maar het geeft het schilderij weer zijn leven en menselijkheid terug.

Conclusie

Deze paper zegt niet dat we de geschiedenis mogen herschrijven met leugens. Het zegt wel dat we AI kunnen gebruiken als een hulpmiddel voor historici.

Wanneer de archieven zwijgen, kan AI helpen om de "onzichtbare" mensen weer zichtbaar te maken door plausibele verhalen te genereren. Het is een manier om de stilte te doorbreken, niet om de waarheid te vervalsen, maar om de menselijkheid van hen die de geschiedenis heeft vergeten, weer tot leven te wekken.

Kortom: Soms is een goed verzonnen verhaal, dat stevig gebaseerd is op feiten, beter dan een lege pagina.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Critical Confabulation: Can LLMs Hallucinate for Social Good?" in het Nederlands.

Titel: Critical Confabulation: Kunnen LLM's Hallucineren voor het Maatschappelijk Belang?

Auteurs: Peiqi Sui (McGill), Eamon Duede (Purdue), Hoyt Long (Chicago), Richard Jean So (Duke).

---

1. Probleemstelling en Context

Grote Taalmodellen (LLM's) staan bekend om hun neiging tot "hallucinatie": het genereren van plausibele maar onware informatie. Traditioneel wordt dit gezien als een fout die moet worden geminimaliseerd. Echter, binnen de geesteswetenschappen, en specifiek in de Afro-Amerikaanse studies, bestaat het concept van kritische fabulatie (geïntroduceerd door Saidiya Hartman). Dit is een methode waarbij speculatief verhalenvertellen wordt gebruikt om lacunes in historische archieven op te vullen die het gevolg zijn van institutioneel geweld, onderdrukking en sociale ongelijkheid. Deze "archivale stiltes" hebben vaak de geschiedenis van gemarginaliseerde groepen ("hidden figures") gewist.

Het centrale probleem dat dit paper aanpakt, is hoe men deze menselijke praktijk van kritische fabulatie kan operationaliseren met AI. De uitdaging ligt in het vinden van een balans: hoe kan een LLM "invullen" waar geen feitelijke data is, zonder dat dit leidt tot pure fictie of het verstoren van historische nauwkeurigheid? De auteurs stellen de vraag of gecontroleerde hallucinaties kunnen worden ingezet voor maatschappelijk goed en kennisproductie.

2. Methodologie

De auteurs introduceren het concept Critical Confabulation: het gebruik van LLM-hallucinaties om bewijsgebonden, divergente verhalen te reconstrueren voor historische figuren die in archieven ontbreken.

Dataset en Ground Truth

• Bron: De "Black Writing and Thought Collection" (BWTC), een digitaal archief van voornamelijk ongepubliceerde primaire bronnen over zwarte intellectuele geschiedenis.
• Data Contaminatie Audit: Een cruciale stap was het garanderen dat de modellen de ongepubliceerde data niet eerder hadden gezien. De auteurs voerden een strikte audit uit op de OLMo-2-familie (volledig open modellen met publieke trainingsdata) door:
  1. Een exacte substring-zoekopdracht (Boyer-Moore) uit te voeren op zinsniveau.
  2. Een gedragsproef met cosine-sequentie-similairiteit om memorisatie te detecteren.
  • Documenten die als "GEZIEN" (SEEN) werden gemarkeerd, werden verwijderd. De experimenten werden uitgevoerd op de "ONGEZIEN" (UNSEEN) subset.
• Hidden Figures: Uit de ongecontamineerde data werden 156 zeldzame namen ("hidden figures") geïdentificeerd. Voor elke figuur werd een grondige tijdslijn (ground truth) samengesteld van gebeurtenissen, gebaseerd op de beschikbare documenten.

Taakopzet: Narrative Cloze

De taak wordt geformuleerd als een open-ended narrative cloze task:

1. Een tijdslijn van een historische figuur wordt gegenereerd.
2. Eén gebeurtenis in deze tijdslijn wordt vervangen door een [MASK]-token.
3. Het LLM moet de ontbrekende gebeurtenis reconstrueren op basis van de context (datum, andere gebeurtenissen) en een instructieprompt.
4. Evaluatie: De gegenereerde tekst wordt vergeleken met de grondige waarheid (ground truth) met behulp van een gespecialiseerd narratief embedding-model (story-emb). De semantische gelijkenis (cosine similarity) bepaalt of de reconstructie succesvol is.

Experimentele Variabelen

• Modellen: Een breed scala aan modellen, waaronder de geauditeerde OLMO-2-familie (1B tot 32B), ongeauditeerde open-weight modellen (Qwen, Gemma, Llama) en proprietaire modellen (GPT-4o, GPT-5-CHAT).
• Prompts: Verschillende prompt-strategieën om hallucinaties te stimuleren of te sturen, waaronder:
  • Null-Shot: Verwijzing naar een niet-bestaand voorbeeld.
  • Eccentric Automatic Prompts: Een rol als "mission-driven historicus".
  • HaluEval: Een prompt die expliciet vraagt om plausibele maar onjuiste antwoorden.
  • Event Type Hints: Het specificeren van het type gebeurtenis (bijv. "relational", "role").
• Stochasticiteit: Experimenten met verschillende temperaturen (0.2, 0.7, 1.2) om de invloed van random sampling te testen.

3. Belangrijkste Bevindingen en Resultaten

Prestaties

• Algemene Prestatie: Critical confabulation is een uitdagende taak. De meeste modellen halen onder de 50% nauwkeurigheid. De beste prestaties (tot ~60%) worden behaald met sterke prompts en specifieke hints.
• Beste Modellen:
  • GPT-5-CHAT is de overall leider (piekt op 59.7% met hints).
  • OLMo-2-7B (geauditeerd) presteert verrassend goed (58.8%) en volgt de proprietary modellen, wat suggereert dat prestaties niet puur afhankelijk zijn van memorisatie van de trainingsdata.
  • Qwen3-4B presteert sterk voor zijn formaat.
• Invloed van Prompts: De prestaties zijn zeer gevoelig voor de prompt. Hints over het type gebeurtenis (EVENT_TYPE) leiden consistent tot verbeteringen (+2 tot +10 punten).
• Stochasticiteit: De resultaten zijn robuust tegenover veranderingen in temperatuur. Deterministische decoding (temperatuur 0) levert de meest consistente resultaten, maar hogere temperaturen leiden niet tot catastrofale dalingen.

Analyse van Fouten en Patronen

• Gebeurtenistypes: Modellen zijn het beste in het reconstrueren van "Role" (functies/posities) en "Relational" (relaties) gebeurtenissen. Ze worstelen het meest met "Cognitive" gebeurtenissen (interne gedachten, overtuigingen), omdat deze minder tastbaar zijn in de context.
• Lengte-effecten:
  • Langere beschrijvingen van individuele gebeurtenissen correleren met betere prestaties.
  • Langere totale tijdslijnen leiden echter tot slechtere prestaties, wat wijst op de beperkingen van LLM's in het hanteren van lange-termijn context.
• Positie in Tijdslijn: Gebeurtenissen aan het begin van een tijdslijn worden beter gereconstrueerd dan die aan het einde. Geauditeerde modellen (OLMo) tonen een kleinere daling van begin naar eind dan ongeauditeerde modellen, wat suggereert dat ze minder afhankelijk zijn van memoriseerde biografische feiten.
• Foutenclustering: Modellen falen niet willekeurig; ze maken systematische fouten op dezelfde moeilijke figuren en gebeurtenissen, wat wijst op gemeenschappelijke beperkingen in hun redeneringsvermogen over specifieke historische contexten.

4. Bijdragen en Betekenis

Technische Bijdragen

1. Conceptualisering: Het paper introduceert "Critical Confabulation" als een nieuwe, ethisch onderbouwde toepassing van LLM-hallucinatie, waarbij hallucinatie niet als een fout, maar als een bruikbare resource wordt gezien voor kennisproductie.
2. Methodologisch Kader: Het biedt een rigoureuze methodologie voor het evalueren van LLM's op historische reconstructie, inclusief strikte data-contaminatie audits en het gebruik van narratieve embeddings voor evaluatie in plaats van oppervlakkige tekstmatch.
3. Empirisch Bewijs: Het toont aan dat LLM's in staat zijn om plausibele, bewijsgebonden verhalen te genereren voor figuren die in hun trainingsdata ontbreken, mits de taak goed gestructureerd is.

Maatschappelijke en Wetenschappelijke Betekenis

• Voor de Geesteswetenschappen: Het biedt een hulpmiddel voor onderzoekers om "archivale stiltes" aan te pakken en de geschiedenis van gemarginaliseerde groepen te verrijken. Het helpt bij het schalen van close reading naar grote corpora.
• Voor NLP: Het daagt het dogma uit dat hallucinatie altijd schadelijk is. Het suggereert dat in specifieke domeinen (zoals creatief schrijven of historisch herstelwerk) gecontroleerde hallucinatie een waardevol mechanisme kan zijn.
• Ethiek: Het paper benadrukt de noodzaak van "narrative ethics". Het doel is niet om nieuwe feiten te verzinnen, maar om de grenzen van wat we niet weten te verkennen binnen de kaders van wat historisch plausibel is, zonder de integriteit van de bronnen te schenden.

Conclusie

Het paper concludeert dat kritische confabulation een haalbare maar complexe taak is. Hoewel huidige modellen nog niet perfect zijn (zelden >60% nauwkeurigheid), tonen ze veelbelovende capaciteiten om als co-creators te fungeren in het herstel van verloren geschiedenis. De succesvolle toepassing hangt af van zorgvuldige prompt-engineering, het begrijpen van de beperkingen van het model (zoals contextlengte en type gebeurtenis), en een ethisch kader dat hallucinatie begrenst door historische context. Dit werk opent de weg voor nieuwe AI-gestuurde methoden in de digitale geesteswetenschappen.