Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering

Moderne Computerprogramme, die Text schreiben, bekannt als Sprachmodelle, arbeiten, indem sie Wort für Wort vorhersagen. Sie betrachten die Wörter, die man ihnen gegeben hat, und raten das nächste, dann nutzen sie dieses neue Wort, um das darauffolgende zu erraten, wodurch sie einen Satz Schritt für Schritt aufbauen. Lange Zeit nahmen Wissenschaftler an, dass diese Programme nur so weit in die Zukunft blicken konnten, wie es ihre nächste Vermutung erlaubte. Eine neue Studie legt jedoch nahe, dass in der komplexen mathematischen Maschinerie dieser Modelle eine verborgene Informationsebene existiert, die bereits die allgemeine Bedeutung dessen enthält, was der Computer gleich sagen wird, noch bevor er auch nur ein einziges neues Wort tippt. Diese Forschung untersucht, ob diese internen Computerzustände eine „Vorschau“ auf den zukünftigen Text enthalten, wie klar diese Vorschau im Vergleich zum bloßen Lesen des Prompts ist und ob das Wissen um diese Vorschau es uns ermöglicht, das zu verändern, was der Computer schreibt.

Der Forscher Jaekeol Choi von der Hankuk University of Foreign Studies setzte sich zum Ziel, diese Idee unter Verwendung verschiedener Versionen populärer Sprachmodelle zu testen. Er konzentrierte sich auf den Moment unmittelbar vor dem Beginn der Generierung eines neuen Satzes durch den Computer. In genau diesem Augenblick hat das Modell die Eingabe des Nutzers verarbeitet und hält eine spezifische interne Repräsentation bereit, ein komplexes Zahlenmuster, das alles zusammenfasst, was es bisher verstanden hat. Das Team stellte eine einfache Frage: Wenn man auf dieses interne Muster blickt, kann man dann sagen, welches allgemeine Thema oder welches Gefühl der kommenden Satz haben wird, obwohl der Satz noch nicht geschrieben wurde? Um dies herauszufinden, trainierten sie ein einfliches Werkzeug, um diese internen Muster zu lesen und sie in eine Zusammenfassung des zukünftigen Textes zu übersetzen. Sie verglichen diese Methode mit anderen Wegen, die Zukunft zu erraten, wie etwa den Computer zuerst einige Wörter schreiben zu lassen oder die Zukunft allein basierend auf dem ursprünglichen Prompt vorherzusagen, ohne in das Gehirn des Computers zu schauen.

Die Studie ergab, dass die Antwort „Ja“ lautet. Die internen Muster des Modells enthalten tatsächlich eine linear zugängliche Karte der Bedeutung des zukünftigen Textes. Wenn die Forscher den internen Zustand des Computers betrachteten, bevor er einen Satz generierte, konnten sie den allgemeinen semantischen Inhalt dieses Satzes erfolgreich vorhersagen. Dies galt für verschiedene Modellgrößen und Architekturen, von kleineren Modellen mit Hunderten von Millionen Parametern bis hin zu größeren mit Milliarden. Die Fähigkeit, diese zukünftige Bedeutung zu lesen, war in den tieferen Schichten des Verarbeitungsnetzwerks des Computers am stärksten. Die Klarheit dieser Vorschau hing jedoch stark davon ab, wie die Forscher „Bedeutung“ definierten. Wenn sie eine spezifische Art und Weise verwendeten, um Bedeutung zu messen, war die interne Vorschau signifikant besser als das bloße Raten basierend auf dem Prompt allein. Wenn sie jedoch andere Arten verwendeten, um Bedeutung zu messen, war der Vorteil des Blicks in das Gehirn des Computers viel geringer, manchmal kaum unterscheidbar von dem, was man allein durch das Betrachten der Ausgangswörter erraten konnte.

Die Forscher verglichen diese Methode der „internen Vorschau“ auch mit der offensichtlicheren Strategie, den Computer zuerst einige Wörter schreiben zu lassen. Wenn man den Computer drei oder fünf Wörter generieren lässt, erhält man natürlich ein viel klareres Bild davon, wohin der Satz führt, als wenn man nur versucht, aus dem verborgenen Zustand zu erraten. Dies ist nicht überraschend, da der Computer die Arbeit des Schreibens dieser Wörter bereits erledigt hat. Die Studie enthüllte jedoch einen interessanten Kompromiss. Wenn der Zielsatz länger wird und die Zukunft ferner rückt, nimmt der Vorteil, den Computer mehr Wörter schreiben zu lassen, ab. Wenn das Ziel darin besteht, die Bedeutung eines Satzes zu verstehen, der 256 Wörter entfernt ist, wird die interne Vorschau überraschend konkurrenzfähig mit dem Schreiben eines kurzen Präfixes durch den Computer. Der interne Zustand bietet eine Möglichkeit, ein Gefühl für die ferne Zukunft zu bekommen, ohne die Rechenkosten für die Generierung all dieser Zwischenwörter zu tragen, obwohl er die Genauigkeit der tatsächlichen Generierung einer langen Sequenz niemals vollständig übertrifft.

Der vielleicht faszinierendste Teil der Forschung bestand darin, zu testen, ob dieses Wissen genutzt werden konnte, um das Verhalten des Computers zu ändern. Der Forscher nahm die Richtung im internen Zustand, die auf eine bestimmte Stimmung deutete, wie etwa Positivität oder Negativität, und versuchte, den Computer in diese Richtung zu lenken, bevor er mit dem Schreiben begann. Sie fanden heraus, dass dieser Impuls funktionierte. Durch die Anpassung des internen Zustands basierend auf ihren Vorhersagen konnten sie den Ton des generierten Textes effektiver verschieben als durch zufällige Anpassungen. Dieser Erfolg war jedoch nicht einheitlich über alle Teile des Computergehirns verteilt. In einigen Modellen war die Schicht, in der die zukünftige Bedeutung am leichtesten zu lesen war, auch der beste Ort, um Änderungen vorzunehmen. In anderen Modellen stimmten diese beiden Dinge überhaupt nicht überein; die Schicht, die die klarste Vorschau auf die Zukunft zeigte, war manchmal der falsche Ort, um einzugreifen, um das Ergebnis zu ändern. Tatsächlich drängte in einigen Fällen der Versuch, den Text an der Schicht mit der stärksten Vorschau zu ändern, den Computer sogar in die entgegengesetzte Richtung dessen, was beabsichtigt war.

Diese Erkenntnisse legen nahe, dass Sprachmodelle zwar Informationen über ihre eigenen zukünftigen Ausgaben in ihren internen Zuständen tragen, diese Informationen jedoch kein vorgeschriebenes Skript sind, das nur darauf wartet, gelesen zu werden. Stattdessen handelt es sich um ein komplexes, geschichtetes Signal, das in einigen Teilen des Netzwerks leichter zugänglich ist als in anderen. Die Studie stellt klar, dass nur weil ein Computer die zukünftige Bedeutung seiner eigenen Worte „sehen“ kann, dies nicht bedeutet, dass er die gesamte Antwort vollständig vorberechnet. Sie hebt zudem hervor, dass die Fähigkeit, ein Signal zu lesen, etwas anderes ist als die Fähigkeit, es zu steuern. Die Fähigkeit, die Zukunft vorherzusagen, und die Fähigkeit, die Zukunft zu steuern, sind verwandte, aber unterschiedliche Fähigkeiten, die nicht immer am selben Ort innerhalb des Modells auftreten. Diese Arbeit liefert eine klarere Karte darüber, wie diese intelligenten Systeme Informationen über das, was sie gleich sagen werden, organisieren, und zeigt, dass ihre internen Zustände reichhaltiger mit zukunftsgerichteten Daten ausgestattet sind als bisher angenommen, aber auch komplizierter in der Nutzung zur Steuerung sind, als eine einfache Ablesung vermuten ließe.