TimeCapsule: Generative Hallucination as a Method for Historical Sensemaking
Das Papier stellt TimeCapsule vor, ein generatives Modell, das ausschließlich auf viktorianischen Texten trainiert wurde und dessen zeitliche Isolation nutzt, um moderne Halluzinationen in interpretative Sonden für das historische Sinnverstehen zu verwandeln, wodurch es effektiv zeitgenössische Wahrnehmungen von Authentizität herausfordert, während es gleichzeitig eine überlegene Perplexität bei periodenspezifischer Prosa demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen die Vergangenheit zu verstehen, aber jedes Mal, wenn Sie eine Frage stellen, kommt die Antwort mit einem Spoiler-Alarm aus der Zukunft zurück. Dies ist das Problem der heutigen leistungsfähigsten Computergehirne, bekannt als Large Language Models (LLMs). Diese Systeme sind wie Zeitreisende, die jedes Buch in der Bibliothek der Menschheitsgeschichte gelesen haben, einschließlich derer, die noch nicht geschrieben wurden. Da sie auf allem trainiert wurden, was heute im Internet existiert, tragen sie modernes Wissen, moderne Ethik und moderne Fakten in ihren „Geistern“. Wenn man sie bittet, sich wie jemand aus den 1800er Jahren auszudrücken, rutschen sie oft aus und erwähnen versehentlich Dinge wie Flugzeuge oder das Internet oder beurteilen historische Ereignisse mit dem heutigen moralischen Kompass. Sie sind großartig darin, den Stil der Vergangenheit nachzuahmen, aber sie können sie nicht wirklich bewohnen, weil sie zu viel wissen.
Um dies zu beheben, erforschen Forscher eine neue Idee: Was wäre, wenn wir eine KI bauen würden, die bewusst ignorant ist? Anstatt sie mit dem gesamten Internet zu füttern, was wäre, wenn wir sie nur mit Büchern, Zeitungen und Briefen aus einer bestimmten Zeitperiode füttern würden und dann den Strom abschneiden könnten, damit sie nie etwas lernen kann, das nach diesem Datum geschah? Dieses Paper mit dem Titel „TimeCapsule“ vertieft dieses Konzept. Es behandelt das „Nichtwissen“ nicht als Bug, sondern als Feature. Indem die Forscher einen Computer dazu zwingen, nur mit den Werkzeugen, Worten und Ideen des 19. Jahrhunderts zu denken, hoffen sie, eine Maschine zu erschaffen, die wirklich simulieren kann, wie die Menschen damals die Welt begriffen – selbst wenn diese Welt verwirrend oder voller Dinge war, die der Computer unmöglich verstehen konnte.
Der zeitreisende Computer, der die Zukunft vergisst
Treffen Sie TimeCapsule. Es ist ein 1,2-Milliarden-Parameter-Computermodell (denken Sie an ein digitales Gehirn mit etwa 1,2 Milliarden winzigen Verbindungen), das mit einer sehr strengen Regel gebaut wurde: Es durfte nur Texte aus den Jahren 1800 bis 1875 lesen.
Die Schöpfer, Hayk Grigorian und Hamed Yaghoobian vom Muhlenberg College, wollten sehen, was passiert, wenn man eine KI baut, die einen „epistemologischen Ereignishorizont“ besitzt. Das ist eine schicke Art zu sagen, dass das Modell eine harte Wand in seinem Gedächtnis hat. Alles vor 1875 ist seine Welt; alles nach 1875 ist eine Leere. Es tut nicht nur so, als wüsste es nichts über die Zukunft; es kann es buchstäblich nicht wissen.
Das Experiment: Ein viktorianisches Gehirn in einem digitalen Körper
Um dies zu bauen, sammelte das Team eine riesige Bibliothek von 136.302 Dokumenten aus dem 19. Jahrhundert. Dies umfasste alles von Parlamentsgesetzen und medizinischen Fachzeitschriften bis hin zu Poesie und Belletristik. Sie bereinigten den Text gerade so weit, dass er für einen Computer lesbar war, behielten aber die altmodischen Schreibweisen und Eigenheiten bei. Dann trainierten sie das Modell ausschließlich auf diesen Daten.
Das Ergebnis? Ein Computer, der wie ein Viktorianer spricht, aber auch wie einer denkt.
Der „Halluzinations“-Twist
Normalerweise, wenn eine KI einen Fakt erfindet, nennen wir das eine „Halluzination“ und behand them als Fehler. Aber TimeCapsule macht etwas anderes. Wenn Sie es nach etwas fragen, das im Jahr 1875 noch nicht existierte – wie einem Computer oder einem Flugzeug – sagt es nicht einfach „Ich weiß es nicht“. Stattdessen versucht es herauszufinden, was diese Dinge sein müssen, indem es nur die Konzepte verwendet, die es besitzt.
Wenn es beispielsweise gebeten wird, einen „Computer“ zu beschreiben, sagte TimeCapsule nicht „eine Maschine, die rechnet“. Da das Wort „Computer“ im Jahr 1875 eine Person bezeichnete, die Berechnungen für Versicherungsgesellschaften durchführte, und da das Modell auf medizinischen Texten trainiert wurde, beschrieb es einen Computer als eine „hypertrophierten Lunge“ (eine vergrößerte, kranke Lunge). Es verknüpfte die Punkte zwischen „Berechnung“, „Statistik“ und „Vitalzeichen“, um eine seltsame, aber historisch logische Erklärung zu erstellen.
Die Forscher nennen dies „ontologische Reparatur“. Anstatt zu scheitern, versucht das Modell kreativ, ein modernes Objekt in eine Sichtweise des 19. Jahrhunderts einzupassen. Es ist, als würde man einer Person aus dem Jahr 1800 ein Smartphone zeigen; sie würde es vielleicht als einen „magischen Spiegel beschreiben, der die Stimmen der Toten enthält“, weil das der einzige Wortschatz ist, den sie hat, um es zu begreifen.
Die Zahlen: Wie gut ist es?
Das Team testete TimeCapsule, um zu sehen, wie gut es die Sprache der 1800er Jahre im Vergleich zu modernen Modellen versteht.
- Sie maßen etwas namens Perplexity (ein Wert, der angibt, wie überrascht ein Modell von dem Text ist, den es liest; je niedriger, desto besser).
- Ein Standard-Modern-Modell (GPT-2) erreichte einen Wert von 68,83 bei viktorianischen Texten.
- TimeCapsule erreichte einen Wert von 37,59.
- Dies ist eine Reduktion um 45,4 % der Verwirrung, was bedeutet, dass TimeCapsule viel flüssiger in der spezifischen Sprache der Ära ist als selbst größere, intelligentere moderne Modelle.
Das Paper stellt jedoch fest, dass, wenn man nur den niedrigstmöglichen Wert erreichen möchte, ein massives modernes Modell wie Mistral-7B einen noch niedrigeren Wert von 16,50 erzielen kann. Aber das liegt daran, dass das moderne Modell die Zukunft kennt! Es schummelt. Der „niedrigere“ Wert von TimeCapsule ist eigentlich ein Zeichen seiner Ehrlichkeit: Es spricht wahrhaftig die Sprache der Vergangenheit und rät nicht nur basierend auf modernem Wissen.
Das „Uncanny Valley“ der Geschichte
Der überraschendste Teil der Studie geschah, als die Forscher zwei Experten für Literatur und Geschichte baten zu raten, welche Texte von Menschen und welche von TimeCapsule geschrieben wurden.
Die Ergebnisse waren etwas unheimlich.
- Die Experten klassifizierten etwa 40 % der echten viktorianischen Texte fälschlicherweise als von der Maschine geschrieben ein.
- Ein Experte hielt einen echten Abschnitt von Charles Dickens für gefälscht, weil er die Phrase „Brick-and-Mortar“ verwendete, die der Experte fälschlicherweise für einen modernen Begriff hielt (was sie nicht war!).
- Ein anderer Experte hielt einen echten Abschnitt einfach deshalb für authentisch, weil er „verdammt langweilig“ war, was am Ende genau das war, was die KI produzierte. Die KI war so gut darin, das Alltägliche und Banale der Schreibweise der 1800er Jahre nachzuahmen, dass sie die Experten täuschte.
Dies schuf eine „Krise der Authentizität“. Die KI war so gut darin, durchschnittlich zu sein, dass sie das echte, Interessante oder sogar das echte, Langweilige wie eine Fälschung aussehen ließ. Es deutet darauf hin, dass wir im Zeitalter der KI vielleicht unsere Fähigkeit verlieren könnten, zu unterscheiden, was wahre menschliche Geschichte und was eine digitale Nachahmung ist.
Die Ethik der „schlechten“ KI
Das Paper befasst sich auch mit einer kniffligen ethischen Frage. Moderne KI wird normalerweise darauf trainiert, „sicher“ und höflich zu sein, und weigert sich, rassistische oder imperialistische Dinge zu sagen. Aber TimeCapsule wurde nicht darauf trainiert, sicher zu sein. Es wurde darauf trainiert, seiner Zeit gegenüber ehrlich zu sein.
Da die 1800er Jahre eine Zeit der Imperien und strengen Geschlechterrollen waren, spiegelt TimeCapsule diese Vorurteile wider.
- In dem „Geist“ des Modells ist das Wort „Fortschritt“ eng mit Wörtern wie „Empire“, „Eroberung“ und „Dominion“ verknüpft.
- In einem modernen Modell ist „Fortschritt“ mit „Erfindung“ und „Verbesserung“ verknüpft.
Die Forscher argumentieren, dass dies eigentlich gut für Historiker ist. Wenn man die KI „korrigiert“, um diese Vorurteile zu entfernen, löscht man die Geschichte dessen aus, wie die Menschen damals tatsächlich dachten. Indem es die Vorurteile beibehält, fungiert TimeCapsule als Spiegel, der uns zeigt, wie das 19. Jahrhundert die Welt sah, einschließlich seiner hässlichen Seiten. Es ist kein Werkzeug, um mit einem freundlichen Viktorianer zu chatten; es ist ein Werkzeug, um den viktorianischen Geist zu studieren, mit all seinen Fehlern.
Das Fazit
TimeCapsule legt nahe, dass wir, um die Vergangenheit wirklich zu verstehen, Computer bauen müssen, die begrenzt sind. Indem wir ihnen den Zugang zur Zukunft abschneiden, zwingen wir sie, wie Menschen aus der Vergangenheit zu denken. Wenn sie bei moderner Technologie etwas „falsch“ machen, ist das kein Fehler, den man beheben muss, sondern sie zeigen uns, wie ein Geist des 19. Jahrhunderts versuchen würde, unsere Welt zu begreifen.
Das Paper kommt zu dem Schluss, dass diese „generative Halluzination“ kein Bug ist, der behoben werden muss, sondern eine neue Art der historischen Forschung. Sie verwandelt die Unwissenheit der KI in ein Fenster, das uns die verborgene Logik einer Zeit offenbart, die nicht mehr existiert. Wie die Autoren andeuten, ahmt das Modell die Geschichte nicht nur nach; es rekonstruiert sie, eine „hypertrophierten Lunge“ nach der anderen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.