The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

In den digitalen Geistern moderner Sprachmodelle verharren Wörter nicht in Ruhe. Wenn ein Computer einen Satz liest, transformiert er jedes Wort in eine lange Liste von Zahlen, einen Punkt, der in einem riesigen, unsichtbaren Raum mit hunderten von Dimensionen schwebt. Diese Punkte sind nicht zufällig verstreut; sie gruppieren sich zusammen und bilden dünne, gekrümmte Schichten innerhalb dieser hochdimensionalen Leere. Wissenschaftler nennen diese Schichten Mannigfaltigkeiten (Manifolds), und die Dicke der Schicht erzählt eine Geschichte darüber, wie viel Information ein Wort trägt. Wenn ein Wort sich in vielen Richtungen frei bewegen kann, ist die Schicht dick und komplex. Wenn das Wort durch seine Nachbarn eng begrenzt wird, wird die Schicht dünn und einfach. Diese Kompression von Information ist eine grundlegende Art und Weise, wie diese Modelle die Welt verstehen, aber bis jetzt hatten Forscher Schwierigkeiten zu erkennen, wie die spezifische Aufgabe, die ein Wort in einem Satz erfüllt – ob es ein schweres Nomen wie „Katze“ oder ein leichtes Bindewort wie „die“ ist – diese Geometrie formt.

Ein Team von Forschern machte sich daran, diese verborgene Landschaft zu kartieren, mit der Frage, ob die grammatikalische Rolle eines Wortes den Pfad bestimmt, den es durch die Schichten eines neuronalen Netzwerks nimmt. Sie konzentrierten sich auf die Unterscheidung zwischen Open-Class-Wörtern, die eine reiche Bedeutung wie Nomen und Verben tragen, und Closed-Class-Wörtern, die einen strukturellen Zweck erfüllen, wie Präpositionen und Pronomen. Indem sie tausende von Sätzen in vier verschiedene Arten von Sprachmodellen einspeisten, verfolgten sie, wie sich die Form der Daten Schicht für Schicht veränderte. Sie fanden heraus, dass diese zwei Arten von Wörtern nicht denselben Weg nehmen. Closed-Class-Wörter dehnen sich zu Beginn des Prozesses in einen breiteren, komplexeren Raum aus, nur um kurz darauf wieder zu einer engen, einfachen Form zu kollabieren, als dies bei ihren inhaltsreichen Gegenstücken der Fall ist. Dies deutet darauf an, dass das Modell diese strukturellen Wörter zuerst ausdehnt, um zu verstehen, wie sie mit anderen Teilen des Satzes verknüpft sind, und sie dann wieder zusammenfaltet, sobald diese Verbindung hergestellt wurde, nachdem es alle notwendigen relationalen Informationen extrahiert hat.

Die Forscher entdeckten, dass diese geometrische Faltung keine zufällige Fluktuation ist, sondern eine präzise Reorganisation der Nachbarschaft um jedes Wort herum. Während ein Wort tiefer in das Netzwerk vordringt, ändern sich seine nächsten Nachbarn im mathematischen Raum. Für strukturelle Wörter geschieht dies schnell und entschlossen. Ein Wort wie „die“ mag seine Reise inmitten von anderen Determinativartikeln beginnen, aber während das Netzwerk den Satz verarbeitet, löst es sich von dieser Gruppe und bewegt sich näher an das spezifische Nomen heran, das es modifiziert. Dieser Wechsel der Nachbarn entspricht exakt dem Moment, in dem die interne Repräsentation des Wortes einfacher und komprimierter wird. Im Gegensatz dazu bewahren Inhaltswörter wie „Elefant“ oder „laufen“ länger eine komplexere, offenere Geometrie, was die fortlaufende Notwendigkeit widerspiegelt, ihre spezifischen Bedeutungen mit dem sich entwickelnden Kontext des Satzes zu integrieren.

Die Studie zeigte auch, dass die Architektur des Modells eine tiefe Bedeutung hat. Modelle, die Sätze gleichzeitig in beide Richtungen lesen, wie Encoder, lösen diese strukturellen Verbindungen frühzeitig auf, was dazu führt, dass die geometrischen Veränderungen in den mittleren Schichten stattfinden. Modelle, die strikt von links nach rechts lesen, wie Decoder, nehmen einen anderen Pfad, wobei diese geometrischen Verschiebungen später auftreten, wenn sich der Kontext akkumuliert hat. Trotz dieser architektonischen Unterschiede blieb der Kernbefund bestehen: Der Pfad, den ein Wort durch das Netzwerk nimmt, ist ein direktes Abbild seiner grammatikalischen Funktion. Die Forscher bewiesen dies, indem sie zeigten, dass ein Computer allein anhand der Form der Datenpunkte – ihrer Dicke und der Art, wie sich ihre Nachbarn verschieben – korrekt erraten konnte, ob es sich um ein Funktionswort oder ein Inhaltswort handelte, oder sogar das spezifische Part-of-Speech identifizieren konnte, ohne das Wort selbst gesehen zu haben.

Diese Arbeit legt nahe, dass die Grammatik eines Satzes nicht nur eine Menge von Regeln ist, denen das Modell folgt, sondern eine physische Realität innerhalb seiner mathematischen Struktur. Das Modell speichert nicht einfach die Bedeutung eines Wortes; es formt den Raum um dieses Wort physisch um, um das Rätsel zu lösen, wie es in den Satz passt. In dem Moment, in dem ein strukturelles Wort seinen Partner im Satz findet, kollabiert das Modell die zusätzlichen Dimensionen, die es zur Exploration benötigte, und hinterlässt eine kompakte, effiziente Repräsentation. Es ist, als ob das Modell ein temporäres Gerüst baut, um den Satz zusammenzuhalten, und sobald die Struktur sicher ist, entfernt es das Gerüst und lässt nur die essenzielle Form der Bedeutung zurück. Dieser geometrische Tanz von Expansion und Kontraktion bietet ein neues Fenster dazu, wie künstliche Intelligenz das empfindliche Gleichgewicht zwischen den Wörtern, die Bedeutung tragen, und den Wörtern, die alles zusammenhalten, versteht.