Pretraining Language Models on Historical Text
Dieses Paper stellt TypewriterLM vor, ein 7,24B Sprachmodell, das ausschließlich auf englischen Texten vor 1913 trainiert wurde, zusammen mit dem zugehörigen 54B-Token umfassenden TypewriterCorpus, lexikalisch fundierten Post-Training-Datensätzen und dem History-Event-Benchmark, um Herausforderungen in Bezug auf Datenqualität, zeitliche Leckage und Evaluierung für historische Sprachmodelle anzugehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Zeitreisenden beizubringen, genau wie jemand aus dem Jahr 1912 zu sprechen und zu denken. Wenn Sie ihm ein modernes Lehrbuch geben oder ihn im Internet surfen lassen, wird er versehentlich etwas über Flugzeuge, das Internet und Einsteins Relativitätstheorie lernen. Er könnte Ihnen dann voller Selbstvertrauen sagen, dass „Computer“ die großen Maschinen in Ihrem Keller sind, ohne zu realisieren, dass ein „Computer“ im Jahr 1912 eine Person war, die Mathematik von Hand berechnete.
Dies ist das Problem, das die Autoren dieser Arbeit lösen. Sie haben eine spezielle KI namens TYPEWRITERLM entwickelt, der es strengstens untersagt ist, etwas zu wissen, das nach 1913 geschah.
Hier ist ihre Vorgehensweise, erklärt durch einfache Analogien:
1. Die „Zeitkapsel“-Bibliothek (Die Daten)
Um diese KI zu trainieren, konnten die Forscher nicht das moderne Internet verwenden. Stattdessen bauten sie eine massive digitale Bibliothek namens TYPEWRITERCORPUS auf.
- Die Quelle: Sie sammelten 54 Milliarden Wörter aus alten Büchern, Parlamentsprotokollen, wissenschaftlichen Arbeiten und Gerichtstranskripten aus den Jahren 1700 bis 1913.
- Die Reinigung: Alte, von Computern gescannte Bücher weisen oft „Fehler“ auf (wie die Wörter „Digitalisiert von Google“ oder moderne Seitenzahlen). Das Team agierte wie strenge Bibliothekare und säuberte das Material von jedem modernen Artefakt, jeder URL oder jeder anachronistischen Notiz, um sicherzustellen, dass die Bibliothek rein historisch war.
- Das Ergebnis: Ein riesiger Textberg, der die Welt exakt so repräsentiert, wie sie vor dem Ersten Weltkrieg war.
2. Die Regel des „Strengen Bibliothekars“ (Instruction Tuning)
Normalerweise bringen wir einer KI bei, Anweisungen zu folgen, indem wir moderne Beispiele verwenden oder eine superintelligente moderne KI bitten, die Antworten zu schreiben. Aber das würde die „periodengerechte Genauigkeit“ des Zeitreisenden ruinieren.
Deshalb erfanden die Forscher eine neue Methode namens Lexically Grounded Instruction Tuning.
- Die Analogie: Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie Fragen nur mit den Wörtern beantworten dürfen, die in einem ganz bestimmten alten Buch vorkommen. Sie dürfen keine neuen Wörter erfinden oder modernen Slang verwenden.
- Der Prozess: Sie erstellten zwei neue Datensätze (HISTORY-LIMA und HISTORY-SELFINSTRUCT). Für jede Frage, die die KI gestellt bekommt, wird die Antwort direkt aus den Texten der Dokumente aus der Ära von 1913 konstruiert. Wenn das Wort „Flugzeug“ nicht im Quelltext vorkommt, darf die KI es auch nicht verwenden. Dies stellt sicher, dass die KI nicht versehentlich modernes Wissen in ihre Antworten „durchsickern“ lässt.
3. Der „Überraschungstest“ (Evaluation)
Woher wissen Sie, dass die KI wirklich nichts über die Zukunft weiß? Sie testen sie mit einem „Überraschungstest“ namens HISTORY-EVENT.
- Der Test: Sie zeigten der KI Beschreibungen historischer Ereignisse.
- Ereignis A: Passierte im Jahr 1850 (Vor dem Stichtag).
- Ereignis B: Passierte im Jahr 1950 (Nach dem Stichtag).
- Die Reaktion: Sie maßen, wie „überrascht“ die KI beim Lesen des Textes war.
- Als die KI (TYPEWRITERLM) Texte über Ereignisse aus dem Jahr 1950 las, war sie aufrichtig verwirrt und überrascht, als hätte sie davon noch nie gehört.
- Im Gegensatz dazu war eine Standard-KI der Moderne (wie Llama) überhaupt nicht überrascht; sie kannte die Fakten, weil sie während ihres Trainings darüber gelesen hatte.
- Der Leck-Check: Sie prüften auch, ob die KI versehentlich Fakten wusste, die sie nicht wissen sollte. Sie fanden heraus, dass die KI zwar sehr gut darin war, in der Vergangenheit zu bleiben, aber ein winziger, winziger Bruchteil moderner Informationen dennoch „durchsickerten“ (weniger als 1 %), was bewies, dass es unglaublich schwer ist, eine Zeitmaschine perfekt versiegelt zu halten.
4. Die Ergebnisse
- Der Zeitreisende: Die resultierende KI (TYPEWRITERLM) ist ein Modell mit 7,24 Milliarden Parametern, das wie ein Mensch aus dem Jahr 1913 spricht und denkt.
- Der Vergleich: Bei allgemeinen Logikrätseln schnitt sie wettbewerbsfähig gegenüber anderen historischen KIs ab, obwohl sie mit viel weniger Daten trainiert wurde als moderne Modelle.
- Die Lehre: Das Papier beweist, dass man eine intelligente KI bauen kann, die für die Zukunft „blind“ ist, vorausgesetzt, man ist extrem vorsichtig mit den Daten, die man ihr füttert, und wie man sie lehrt, Fragen zu beantworten.
Kurz gesagt: Die Autoren haben eine digitale Zeitmaschine gebaut. Sie fütterten sie mit alten Büchern, lehrten sie, Fragen nur mit den Wörtern zu beantworten, die in diesen Büchern vorkommen, und bewiesen, dass sie tatsächlich nichts weiß, was nach 1913 geschah. Dies ermöglicht es Historikern und Forschern, die Vergangenheit zu studieren, ohne dass die KI versehentlich die Handlung mit modernem Wissen „verrät“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.