Pretraining Language Models on Historical Text
Dit artikel introduceert TypewriterLM, een 7,24B taalmodel dat uitsluitend is getraind op Engelse teksten van vóór 1913, samen met de bijbehorende 54B-token TypewriterCorpus, lexicaal gewortelde post-training datasets en de History-Event benchmark om uitdagingen op het gebied van datakwaliteit, temporele lekkage en evaluatie voor historische taalmodellen aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een tijdreiziger probeert te leren spreken en denken zoals iemand die in het jaar 1912 leefde. Als je hem een modern tekstboek geeft of hem op het internet laat surfen, zal hij per ongeluk leren over vliegtuigen, het internet en Einsteins relativiteitstheorieën. Hij zou dan vol vertrouwen tegen je kunnen zeggen dat "computers" de grote machines in je kelder zijn, zonder te beseffen dat een "computer" in 1912 eigenlijk een persoon was die handmatig berekeningen uitvoerde.
Dit is het probleem dat de auteurs van dit paper oplossen. Ze hebben een speciale AI gebouwd, genaamd TYPEWRITERLM, die strikt verboden is om iets te weten over wat er na 1913 is gebeurd.
Hier is hoe ze het hebben gedaan, uitgelegd via eenvoudige analogieën:
1. De "Tijdscapsule"-bibliotheek (De Data)
Om deze AI te trainen, konden de onderzoekers niet het moderne internet gebruiken. In plaats daarvan bouwden ze een enorme digitale bibliotheek genaamd TYPEWRITERCORPUS.
- De Bron: Ze verzamelden 54 miljard woorden uit oude boeken, parlementaire verslagen, wetenschappelijke artikelen en rechtbankverslagen uit de jaren 1700 tot 1913.
- Het Schoonmaken: Oude boeken die door computers zijn gescand, bevatten vaak "glitches" (zoals de woorden "Gescand door Google" of moderne paginanummers). Het team trad op als strikte bibliothecarissen door elk modern artefact, URL of anachronistische noot te verwijderen om ervoor te zorgen dat de bibliotheek puur historisch was.
- Het Resultaat: Een enorme stapel tekst die de wereld precies vertegenwoordigt zoals die was vóór de Eerste Wereldoorlog.
2. De Regel van de "Strikte Bibliothecaris" (Instruction Tuning)
Normaal gesproken, wanneer we een AI leren om instructies op te volgen, gebruiken we moderne voorbeelden of vragen we een superintelligente moderne AI om de antwoorden te schrijven. Maar dat zou de "periode-accuratesse" van de tijdreiziger verpesten.
Daarom hebben de onderzoekers een nieuwe methode uitgevonden genaamd Lexically Grounded Instruction Tuning.
- De Analogie: Stel je voor dat je een spel speelt waarbij je vragen moet beantwoorden met alleen de woorden die in een specif ofiek oud boek staan. Je mag geen nieuwe woorden verzinnen of moderne straattaal gebruiken.
- Het Proces: Ze creëerden twee nieuwe datasets (HISTORY-LIMA en HISTORY-SELFINSTRUCT). Voor elke vraag die de AI gesteld wordt, wordt het antwoord direct geconstrueerd uit de tekst van de documenten uit de periode rond 1913. Als het woord "vliegtuig" niet in de brontekst staat, mag de AI het ook niet gebruiken. Dit zorgt ervoor dat de AI niet per ongeluk moderne kennis in haar antwoorden "lekt".
3. De "Verrassingstest" (Evaluatie)
Hoe weet je of de AI echt niets weet over de toekomst? Je test het met een "Verrassingstest" genaamd HISTORY-EVENT.
- De Test: Ze lieten de AI beschrijvingen zien van historische gebeurtenissen.
- Gebeurtenis A: Gebeurde in za 1850 (Vóór de cutoff).
- Gebeurtenis B: Gebeurde in 1950 (Na de cutoff).
- De Reactie: Ze maten hoe "verrast" de AI was bij het lezen van de tekst.
- Wanneer de AI (TYPEWRITERLM) over gebeurtenissen uit 1950 las, was ze oprecht verward en verrast, alsof ze er nog nooit van had gehoord.
- In contrast was een standaard moderne AI (zoals Llama) helemaal niet verrast; zij kende de feiten omdat ze erover had gelezen tijdens haar training.
- De Lek-check: Ze controleerden ook of de AI per ongeluk feiten kende die ze niet zou mogen weten. Ze ontdekten dat hoewel de AI erg goed was in het in de geschiedenis blijven, een piepklein, piepklein fractie van moderne informatie toch "lekte" (minder dan 1%), wat bewijst dat het perfect verzegelen van een tijdmachine ongelooflijk moeilijk is.
4. De Resultaten
- De Tijdreiziger: De resulterende AI (TYPEWRITERLM) is een model met 7,24 miljard parameters dat spreekt en redeneert als een persoon uit 1913.
- De Vergelijking: Wanneer getest op algemene logische puzzels, presteerde het competitief ten opzichte van andere historische AI's, ondanks dat het getraind was op veel minder data dan moderne modellen.
- De Les: Het paper bewijst dat je een slimme AI kunt bouwen die "blind" is voor de toekomst, mits je extreem voorzichtig bent met de data die je het voert en hoe je het leert om vragen te beantwoorden.
Kortom: De auteurs hebben een digitale tijdmachine gebouwd. Ze voerden het alleen oude boeken, leerden het vragen te beantwoorden met alleen de woorden die in die boeken stonden, en bewezen dat het echt niets weet over wat er na 1913 is gebeurd. Dit stelt historici en onderzoekers in staat om het verleden te bestuderen zonder dat de AI per ongeluk het plot "spoilt" met moderne kennis.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.