Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form
Diese Arbeit stellt die „Admission Gate“-Hypothese für den Zugriff auf latente Variablen in Sprachmodellen infrage und zeigt stattdessen auf, dass nachfragegesteuerte Aufmerksamkeitsmechanismen Informationen innerhalb eines spezifischen Fensters mittlerer Tiefe sammeln, um Variablen verbal berichtbar zu machen – ein Prozess, der sich von dem tatsächlichen Nutzen der Variable für die endgültige Antwort unterscheidet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der weiten, stillen Architektur eines modernen Sprachmodells existiert eine verborgene Welt von Informationen, lange bevor die Maschine ein einziges Wort ausspricht. Diese Modelle werden auf Ozeanen von Text trainiert und lernen, das Vorhersehbare zu bestimmen, indem sie Muster aus Sprache, Logik und Fakten miteinander verweben. Wenn ein Modell eine Frage gestellt wird, durchsucht es nicht einfach eine Datenbank; es konstruiert eine interne Repräsentation der Antwort, eine latente Variable, die die für die Aufgabe benötigte spezifische Bedeutung enthält. Jahrelang haben sich Forscher gefragt, wie diese verborgene Information sichtbar wird. Die vorherrschende Intuition deutete auf einen einfachen Mechanismus hin: Die Information ist immer da, sie ruht im internen Speicher des Modells und wartet darauf, dass sich ein Tor öffnet, um sie freizugeben. In dieser Sichtweise agiert das Modell wie ein Bibliothekar, der das Buch bereits im Regal hat und sich lediglich entscheidet, es auszuhändigen, wenn danach gefragt wird.
Ein Forscher an der University of California, Santa Cruz, setzte sich zum Ziel, diese Idee eines „Gates“ unter Verwendung eines großen Sprachmodells namens Qwen3.6 zu testen. Er entwarf eine Reihe von Experimenten, bei denen dem Modell dieselbe Geschichte gegeben wurde, aber unterschiedliche Fragen dazu gestellt wurden. In einigen Fällen musste das Modell ein spezifisches Stück Information aus der Geschichte verwenden, um ein Rätsel zu lösen; in anderen Fällen musste es diese Information direkt berichten; und in einem Kontrollfall wurde eine Frage gestellt, die keinerlei Wissen über die Geschichte erforderte. Durch die sorgfältige Messung des internen Zustands des Modells bei jedem Schritt seiner Verarbeitung konnten sie genau sehen, wann und wie die verborgene Information für die endgültige Antwort verfügbar wurde.
Was sie fanden, widerlegte die einfache Gate-Theorie. Die verborgene Information lag nicht im Speicher des Modells bereit, um freigeschaltet zu werden. Stattdessen sammelte das Modell die Information aktiv aus einem fernen Teil seines internen Stroms zusammen und transportierte sie an die spezifische Stelle, an der die Antwort geformt werden würde. Dieser Sammelprozess geschah nicht überall oder zu jeder Zeit. Er fand innerhalb eines sehr spezifischen Fensters in der Mitte der Verarbeitungsschichten des Modells statt, etwa zwischen der 36. und 42. Schicht von insgesamt 64. Unterhalb dieses Fensters war die Information zwar vorhanden, konnte aber die Reise zum Ende nicht überleben; oberhalb des Fensters war die Information bereits verschwunden oder zerstört. Das Modell führte dieses Sammeln nur dann durch, wenn die Aufgabe es tatsächlich verlangte. Wenn das Modell eine Frage erhielt, die kein Wissen über die Geschichte erforderte, fand der Sammelprozess kaum statt und konzentrierte siebenmal weniger Aufwand, als wenn die Information benötigt wurde.
Sie entdeckten, dass dieser Transport fast ausschließlich durch den Attention-Mechanismus des Modells durchgeführt wurde – jenen Teil des Systems, der entscheidet, auf welche Teile des Inputs man sich konzentrieren soll. Die andere große Komponente, das Feed-Forward-Netzwerk, das wie ein lokaler Prozessor fungiert, half nicht beim Bewegen der Information; tatsächlich arbeitete es in den mittleren Schichten, in denen das Sammeln stattfand, aktiv gegen den Transport. Die Information wurde nicht aus einem statischen Ort enthüllt; sie wurde physisch bewegt, wie ein Kurier, der ein Paket aus einem Lagerhaus zu einem Lieferwagen trägt. Diese Bewegung war so präzise, dass das Modell die Information in den mittleren Schichten mit einer Intensität konzentrieren konnte, die sieventzehnmal höher war als an jeder anderen Stelle des Systems.
Entscheidend war, dass sie zeigten, dass die Menge der im internen Zustand des Modells sichtbaren Information nicht immer mit der Nützlichkeit dieser Information für die endgültige Antwort übereinstimmte. Sie fanden heraus, dass drei verschiedene Teile des Modells das interne Signal um fast den gleichen Betrag verschieben konnten, ihr tatsächlicher Einfluss auf die endgültige Antwort jedoch um den Faktor sieben variierte. Dies bedeutet, dass das bloße Sehen eines starken Signals im internen Zustand des Modells nicht ausreicht, um zu wissen, ob das Modell diese Information tatsächlich korrekt verwendet. Die Größe des Signals erzählt nicht die ganze Geschichte darüber, wie das Modell denkt.
Die Studie enthüllte auch, dass dieses Sammelfenster ein fundamentales Merkmal des Designs des Modells ist und in verschiedenen Typen von Modellen, einschließlich einer dichten Architektur mit 62 Schichten, an der gleichen relativen Tiefe erscheint. Sie bestätigten, dass die Information nicht nur präsent, sondern kausal notwendig war; wenn sie den Transport in den mittleren Schichten blockierten, konnte das Modell die Frage nicht korrekt beantworten. Sie stellten jedoch auch fest, dass dieses Sammeln zwar notwendig, aber für sich genommen nicht ausreichend war; das Modell musste dennoch weitere Berechnungen durchführen, um die endgültige Antwort zu produzieren. Die Arbeit legt nahe, dass das Modell keinen statischen Arbeitsraum besitzt, in dem Informationen warten, um zugelassen zu werden. Stattdessen setzt es die benötigten Teile dynamisch zusammen und bewegt sie erst dann an ihren Platz, wenn die Aufgabe es erfordert – ein Prozess, der weitaus aktiver und selektiver ist, als bisher angenommen wurde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.