TimeCapsule: Generative Hallucination as a Method for Historical Sensemaking
Het artikel introduceert TimeCapsule, een generatief model dat uitsluitend is getraind op Victoriaanse teksten en dat de temporele isolatie ervan benut om moderne hallucinaties te transformeren tot interpretatieve sondes voor historische zinverlening, waarmee het effectief hedendaagse percepties van authenticiteit uitdaagt terwijl het een superieure perplexiteit op periode-specifieke prosale demonstreert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je het verleden probeert te begrijpen, maar elke keer als je een vraag stelt, komt het antwoord terug met een spoiler alert uit de toekomst. Dit is het probleem met de krachtigste computerbreinen van vandaag, bekend als Large Language Models (LLM's). Deze systemen zijn als tijdreizigers die elk boek in de bibliotheek van de menselijke geschiedenis hebben gelezen, inclusief de boeken die nog niet geschreven zijn. Omdat ze getraind zijn op alles van het internet van vandaag, dragen ze moderne kennis, moderne ethiek en moderne feiten in hun "geest". Wanneer je ze vraagt om zich voor te stellen dat ze iemand uit de 1800 zijn, maken ze vaak fouten door per ongeluk dingen als vliegtuigen of het internet te noemen, of door historische gebeurtenissen te beoordelen met de morele kompas van vandaag. Ze zijn geweldig in het nabootsen van de stijl van het verleden, maar ze kunnen het niet echt bewonen omdat ze te veel weten.
Om dit op te lossen, verkennen onderzoekers een nieuw idee: wat als we een AI zouden bouwen die doelbewust onwetend is? In plaats van het hele internet in de AI te voeren, wat als we het alleen boeken, kranten en brieven uit een specifieke periode zouden voeren, en dan de stroom zouden afsluiten zodat het nooit iets kon leren dat na die datum is gebeurd? Dit artikel, getiteld "TimeCapsule", duikt in dit concept. Het behandelt "niet weten" niet als een bug, maar als een feature. Door de computer te dwingen om alleen te denken met de hulpmiddelen, woorden en ideeën die beschikbaar waren in de 19e eeuw, hopen de onderzoekers een machine te creëren die werkelijk kan simuleren hoe mensen destijds de wereld begrepen — zelfs wanneer die wereld verwarrend of vol dingen was die de computer onmogelijk kon begrijpen.
De Tijdreizende Computer die de Toekomst Vergeet
Maak kennis met TimeCapsule. Het is een computermodel met 1,2 miljard parameters (denk aan een digitale hersenpan met ongeveer 1,2 miljard kleine verbindingen) dat is gebouwd met een zeer strikte regel: het mocht alleen teksten lezen uit de periode 1800 tot 1875.
De makers, Hayk Grigorian en Hamed Yaghoobian van het Muhlenberg College, wilden zien wat er gebeurt als je een AI bouwt die een "epistemologische event horizon" heeft. Dat is een chique manier om te zeggen dat het model een harde muur in zijn geheugen heeft. Alles vóór 1875 is zijn wereld; alles na 1875 is een zwart gat. Het doet niet alleen alsof het niets weet over de toekomst; het kan het letterlijk niet weten.
Het Experiment: Een Victoriaanse Brein in een Digitaal Lichaam
Om dit te bouwen, verzamelde het team een enorme bibliotheek van 136.302 documenten uit de 19e eeuw. Dit omvatte alles van parlementaire wetten en medische tijdschriften tot poëzie en fictie. Ze hebben de tekst net genoeg opgeschoond om leesbaar te zijn voor een computer, maar behielden de ouderwetse spellingen en eigenaardigheden. Vervolgens trainden ze het model uitsluitend op deze gegevens.
Het resultaat? Een computer die spreekt als een Victoriaan, maar ook denkt als een.
De "Hallucinatie" Twist
Normaal gesproken, wanneer een AI een feit verzint, noemen we dat een "hallucinatie" en behandelen we het als een fout. Maar TimeCapsule doet iets anders. Wanneer je het naar iets vraagt dat in 1875 nog niet bestond — zoals een computer of een vliegtuig — zegt het niet simpelweg "ik weet het niet". In plaats daarvan probeert het uit te vogelen wat die dingen moeten zijn met behulp van alleen de concepten die het bezit.
Bijvoorbeeld, wanneer gevraagd werd om een "computer" te beschrijven, zei TimeCapsule niet "een machine die berekent". Omdat het woord "computer" in 1875 verwees naar een persoon die berekeningen maakte voor verzekeringsmaatschappijen, en omdat het model getraind was op medische teksten, beschreef het een computer als een "hypertrofische long" (een vergrote, zieke long). Het verbond de punten tussen "berekening", "statistiek" en "vitale functies" om een vreemde, maar historisch logische verklaring te creëren.
De onderzoekers noemen dit "ontologische reparatie". In plaats van te falen, probeert het model creatief een modern object in een 19e-eeuws wereldbeeld te passen. Het is alsover je iemand uit 1800 een smartphone laat zien; die zou het kunnen beschrijven als een "magische spiegel die de stemmen van de doden vasthoudt", omdat dat de enige woordenschat is die hij heeft om het te begrijpen.
De Cijfers: Hoe Goed Is Het?
Het team testte TimeCapsule om te zien hoe goed het de taal van de 1800 begreep vergeleken met moderne modellen.
- Ze maten iets dat perplexity wordt genoemd (een score die aangeeft hoe verrast een model is door de tekst die het leest; hoe lager, hoe beter).
- Een standaard modern model (GPT-2) behaalde een score van 68,83 op Victoriaanse teksten.
- TimeCapsule behaalde een score van 37,59.
- Dit is een reductie van 45,4% in verwarring, wat betekent dat TimeCapsule veel vloeiender is in de specifieke taal van die tijd dan zelfs grotere, intelligentere moderne modellen.
De paper merkt echter op dat als je gewoon de laagst mogelijke score wilt, een enorm modern model zoals Mistral-7B een nog lagere score kan halen (16,50). Maar dat komt omdat het moderne model de toekomst kent! Het is valsspelen. De "lagere" score van TimeCapsule is eigenlijk een teken van haar eerlijkheid: ze spreekt werkelijk de taal van het verleden, en raadt niet simpelweg op basis van moderne kennis.
De "Uncanny Valley" van de Geschiedenis
Het meest verrassende deel van de studie gebeurde toen de onderzoekers twee experts in literatuur en geschiedenis vroegen om te raden welke teksten door mensen waren geschreven en welke door TimeCapsule.
De resultaten waren een beetje spookachtig.
- De experts classificeerden ongeveer 40% van de echte Victoriaanse teksten onterecht als zijnde geschreven door de machine.
- Eén expert dacht dat een echt passage van Charles Dickens nep was omdat het de term "brick-and-mortar" gebruikte, wat de expert ten onrechte als een moderne term beschouwde (dat was het niet!).
- Een andere expert dacht dat een echte passage authentiek was, simpelweg omdat het "verschrikkelijk saai" was, wat later precies bleek te zijn wat de AI produceerde. De AI was zo goed in het nabootsen van het alledaagse, banale schrijven van de 1800 dat het de experts bedroog.
Dit creëerde een "crisis van authenticiteit". De AI was zo goed in het zijn van gemiddeld, dat het de echte, interessante of zelfs de echte, saaie zaken eruit liet zien als nep. Het suggereert dat we in het tijdperk van AI misschien ons vermogen verliezen om te onderscheiden wat werkelijk menselijke geschiedenis is en wat een digitale imitatie is.
De Ethiek van "Slechte" AI
De paper behandelt ook een lastige ethische vraag. Moderne AI wordt meestal getraind om "veilig" en beleefd te zijn, en weigert racistische of imperialistische dingen te zeggen. Maar TimeCapsule was niet getraind om veilig te zijn. Het was getraind om trouw te zijn aan zijn tijdperk.
Omdat de 1800 een tijd van rijken en strikte genderrollen waren, reflecteert TimeCapsule die vooroordelen.
- In de "geest" van het model is het woord "vooruitgang" nauw verbonden met woorden als "imperium", "verovering" en "heerschappij".
- In een modern model is "vooruitgang" verbonden met "uitvinding" en "verbetering".
De onderzoekers betogen dat dit eigenlijk goed is voor historici. Als je de AI "repareert" om deze vooroordelen te verwijderen, wis je de geschiedenis van hoe mensen destijds echt dachten uit. Door de vooroordelen te behouden, fungeert TimeCapsule als een spiegel die ons precies laat zien hoe de 19e eeuw de wereld zag, inclusclusief de lelijke kanten. Het is geen hulpmiddel om te chatten met een vriendelijke Victoriaan; het is een instrument om de Victoriaanse geest te bestudelen, met al zijn gebreken.
De Kernboodschap
TimeCapsule suggereert dat we, om het verleden werkelijk te begrijpen, computers moeten bouwen die beperkt zijn. Door hun toegang tot de toekomst af te snijden, dwingen we hen om te denken als mensen uit het verleden. Wanneer ze dingen "fout" doen over moderne technologie, falen ze niet; ze laten ons zien hoe een 19e-eeuwse geest onze wereld zou proberen te begrijpen.
De paper concludeert dat deze "generatieve hallucinatie" geen bug is die moet worden opgelost, maar een nieuwe manier om historisch onderzoek te doen. Het verandelt de onwetendheid van de AI in een venster, waardoor we de verborgen logica kunnen zien van een tijd die niet meer bestaat. Zoals de auteurs suggereren, imiteert het model de geschiedenis niet alleen; het reconstrueert het, één "hypertrofische long" tegelijk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.