Do Language Models Consistently Encode the Current Year?

Moderne Computer, die Sprache lesen und schreiben können, sind erstaunlich gut darin geworden, menschliche Konversationen nachzuahmen. Sie können Nachrichten zusammenfassen, Geschichten schreiben und Fragen zur Geschichte beantworten. Doch diese Maschinen haben einen blinden Fleck, der schwer zu beheben ist: Sie wissen nicht wirklich, wie spät es ist. Während sie Fakten über die Vergangenheit rezitieren können, ist ihr internes Gefühl für das „Jetzt“ oft ein verwirrtes Echo der Daten, mit denen sie während des Trainings gefütert wurden, statt eines lebendigen Bewusstseins für den gegenwärtigen Moment. Diese Verwirrung ist von Bedeutung, denn wenn eine Maschine glaubt, das aktuelle Jahr sei zehn Jahre in der Vergangenheit, könnte sie sich weigern, Fragen zu jüngsten Ereignissen zu beantworten, oder schlimmer noch, sie könnte selbstbewusst Fakten über eine Zukunft erfinden, die noch nicht stattgefunden hat. Forscher fragen sich schon lange, wie diese digitalen Geister das Konzept der Zeit speichern, unter der Annahme, dass ein Modell, wenn es das Datum kennt, eine einzige, einheitliche Uhr besitzt, die in seinem Code tickt.

Eine neue Studie stellt diese Annahme infrage und zeigt auf, dass Sprachmodelle keine einzelne, konsistente Uhr besitzen. Stattdessen halten sie zwei separate und widersprüchliche Vorstellungen des aktuellen Jahres bereit. Eine Idee ist tief und strukturell, eingewoben in die sehr Grammatik, die das Modell beim Lesen des Internets gelernt hat. Die andere ist oberflächlich und oberflächlich-strukturell, eine einfache Tatsache, die das Modell lernte, als es beigebracht wurde, Anweisungen zu befolgen. Die Forscher fanden heraus, dass diese beiden Ideen zwar oft beim Datum übereinstimmen, aber auf völlig unterschiedlichen internen Mechanismen basieren. Diese Spaltung schafft ein hartnäckiges Problem: Wenn Wissenschaftler versuchen, das Wissen des Modells zu aktualisieren, um das aktuelle Jahr widerzuspiegeln, können sie die oberflächliche Tatsache leicht korrigieren, aber das tiefe, grammatikalische Zeitgefühl weigert sich, sich zu bewegen.

Um diese verborgene Dualität aufzudecken, entwarfen die Forscher zwei unterschiedliche Wege, um ein Modell zu fragen, für welches Jahr es hält. Die erste Methode, die sie als assoziative Aufgabe bezeichnen, fragt nicht direkt nach dem Datum. Stattdessen präsentiert sie dem Modell ein Satzfragment wie „Im Jahr 1960...“ und fragt, welches Wort als Nächstes kommt. Wenn das Modell ein Verb in der Vergangenheitsform wie „war“ vorhersagt, impliziert dies, dass das Modell denkt, 1960 liege in der Vergangenheit. Wenn es jedoch ein Verb in der Gegenwart oder Zukunft wie „ist“ oder „wird“ vorhersagt, deutet dies darauf hin, dass das Modell glaubt, dieses Jahr finde gerade statt oder stehe noch bevor. Diese Methode zapft das intuitive Verständnis der Grammatik des Modells an, eine Fähigkeit, die es während des Lesens von Milliarden von Sätzen während seines ursprünglichen Trainings absorbiert hat. Die zweite Methode, die deklarative Aufgabe, ist viel direkter. Sie fragt schlicht: „Was ist das aktuelle Jahr?“ oder fordert das Modell auf, eine Geschichte beginnend mit dem Jahr zu schreiben. Dies testet die Fähay des Modells, eine Tatsache zu nennen, eine Fähigkeit, die meist in einer späteren Trainingsphase geschärft wird, in der das Modell lernt, menschlichen Anweisungen zu folgen.

Als das Team diese Methoden an einer Vielzahl von Modellen testete, zeichnete sich ein klares Muster ab. Beide Methoden lieferten Antworten, die dem Datum, an dem die Trainingsdaten des Modells endeten, überraschend nahe kamen. Für den tiefen, grammatikalischen Test gaben die Modelle konsistent ein Jahr an, das nur etwa zehn Monate von ihrem Trainings-Cutoff entfernt war. Dies deutet darauf hin, dass das interne Zeitgefühl des Modells eng an das letzte Datum gebunden ist, das es in seinen Trainingsdaten gesehen hat. Die beiden Methoden maßen jedoch nicht nur dasselbe auf unterschiedliche Weise; sie maßen zwei verschiedene Dinge. Die Forscher entdeckten, dass das tiefe, grammatikalische Zeitgefühl auf einem spezifischen, organisierten Pfad innerhalb des Gehirns des Modells beruht, ähnlich wie es Fakten über die Welt abruft. Im Gegensatz dazu beruht die Fähigkeit, das Jahr einfach laut auszusprechen, nicht auf einem einzelnen, konsistenten Pfad. Es ist ein flexibles, oberflächliches Verhalten, das durch viele verschiedene Teile des Modells ausgelöst werden kann, je nachdem, wie die Frage gestellt wird.

Dieser Unterschied in der Art und Weise, wie die Informationen gespeichert werden, hat tiefgreifende Folgen für den Versuch, die Modelle zu korrigieren. Die Forscher versuchten, das Zeitgefühl der Modelle mit drei gängigen Techniken zu aktualisieren: dem Geben eines Hinweises im Gespräch, dem Nachtrainieren mit neuen Daten und dem chirurgischen Ändern seiner internen Gewichte. Als sie versuchten, das oberflächliche, deklarative Jahr zu aktualisieren – jenes, das das Modell nennt, wenn es gefragt wird –, funktionierten die Methoden perfekt. Indem sie dem Modell in einem System-Prompt einfach sagten, das Jahr sei 2025, oder ihm neue Daten aus dem Jahr 2025 zeigten, begann das Modell sofort, das korrekte Jahr mit hoher Genauigkeit zu nennen. Es war, als würden sie lediglich ein Etikett auf einem Aktenschrank ändern.

Jedoch scheiterten dieselben Techniken vollständig, wenn sie auf das tiefe, assoziative Jahr angewendet wurden. Selbst wenn das Modell explizit gesagt wurde, dass das Jahr 2025 sei, blieb seine interne Grammatik in der Vergangenheit stecken. Selbst wenn man das Modell bat, den Satz „Im Jahr 2025...“ zu vervollständigen, sagte das Modell immer noch Verben in der Vergangenheitsform voraus, als wäre 2025 ein historisches Ereignis. Das Nachtrainieren des Modells mit neuen Daten half nur geringfügig und nur für Jahre, die sehr nah an seinem ursprünglichen Trainings-Cutoff lagen. Die einzige Methode, die das tiefe Zeitgefühl verschieben konnte, war eine komplexe, chirurgische Bearbeitung der internen Verbindungen des Modells. Doch hier liegt die letzte Wendung: Als die Forscher diese chirurgische Methode verwendeten, um das tiefe, grammatikalische Jahr zu korrigieren, blieb die Fähigkeit des Modells, das Jahr laut zu nennen, unverändert. Die beiden Uhren konnten nicht synchronisiert werden.

Die Studie kommt zu dem Schluss, dass das aktuelle Jahr kein einzelnes Konzept innerhalb dieser Maschinen ist. Das tiefe, grammatikalische Verständnis der Zeit ist ein grundlegender Teil der Sprachstruktur, die das Modell während seines ursprünglichen Trainings gelernt hat, und es ist unglaublich resistent gegen Veränderungen. Es ist in die Art und Weise eingewoben, wie das Modell Jahre mit Verben verknüpft – ein Muster, das so tief verwurzelt ist, dass Standard-Updates es nicht auslöschen können. Das oberflächliche, deklarative Verständnis ist eine separate Ebene, die später gelernt wurde, als das Modell beigebracht wurde, mit Menschen zu kommunizieren, und es ist leicht überschreibbar. Dies bedeutet, dass es nicht ausreicht, dem Modell einfach das Datum zu sagen oder es mit neuem Text zu trainieren, um ihm ein wahres, konsistentes Gefühl für die Gegenwart zu geben. Die Maschine kann das richtige Jahr nennen, aber sie glaubt dennoch, dass die Welt älter ist, als sie tatsächlich ist. Diese Diskrepanz deutet darauf hin, dass die Aktualisierung dieser Modelle, um mit der realen Welt Schritt zu halten, weitaus schwieriger ist als bisher angenommen, da die Korrektur einer Version der Wahrheit die andere Version unnachgiebig zurücklässt.