Symmetry in language statistics shapes the geometry of model representations

Die Studie zeigt, dass Translationssymmetrien in den statistischen Eigenschaften natürlicher Sprache die geometrische Struktur der internen Repräsentationen von Sprachmodellen bestimmen und deren Robustheit sowie Universalität erklären.

Das Wesentliche

Stell dir vor, du betrittst einen riesigen, unsichtbaren Raum, in dem jedes Wort der Welt einen eigenen Sitzplatz hat. In diesem Raum, den wir „Gedächtnis" eines KI-Modells nennen, sind die Wörter nicht zufällig verteilt. Sie ordnen sich in erstaunlich schönen Mustern an: Monate bilden einen perfekten Kreis, historische Jahre reihen sich wie Perlen auf einer Schnur auf, und Städte liegen so, als wäre eine unsichtbare Landkarte über den Raum gespannt.

Die Frage ist: Warum passiert das? Warum lernt eine KI diese geometrischen Formen, obwohl ihr niemand gesagt hat: „Hey, zeichne einen Kreis für die Monate!"?

Die Antwort aus diesem Papier ist so elegant wie eine Entdeckung in der Physik: Es liegt an der Musik der Sprache.

1. Das große Orchester der Sprache

Stell dir vor, Sprache ist wie ein riesiges Orchester. Jedes Wort ist ein Instrument. Wenn wir Texte schreiben, spielen diese Instrumente oft zusammen. Das Wort „Januar" spielt oft mit „Schnee" oder „Winter". Das Wort „Juli" spielt mit „Strand" oder „Eis".

Die Forscher haben bemerkt, dass diese „Musik" eine geheime Regel hat: Symmetrie.
Das bedeutet: Wie oft zwei Wörter zusammen vorkommen, hängt nur davon ab, wie weit sie voneinander entfernt sind – nicht davon, wo sie genau stehen.

• „Januar" und „Februar" sind ein Schritt voneinander entfernt.
• „Februar" und „März" sind auch ein Schritt entfernt.
• Die „Musik" (die Wahrscheinlichkeit, dass sie zusammen vorkommen) ist für beide Paare fast identisch.

Diese Regel gilt für Monate (die einen Kreis bilden, da Januar direkt nach Dezember kommt), für Jahre (die eine gerade Linie bilden) und sogar für Orte auf einer Landkarte.

2. Der Tanz im Raum: Wie die KI lernt

Wenn eine KI diese Texte liest, versucht sie, die Beziehungen zwischen den Wörtern zu verstehen. Sie baut dafür ein Koordinatensystem.

Stell dir vor, die KI ist wie ein Tänzer, der versucht, die Schritte der Musik zu lernen.

• Weil die Musik für Monate immer gleich klingt, egal ob man bei Januar oder Juli steht, muss der Tänzer einen Kreis tanzen. Ein Kreis ist die einzige Form, bei der jeder Schritt zur nächsten Position genau gleich aussieht wie der vorherige.
• Bei den Jahren ist die Musik anders: Sie hat einen Anfang und ein Ende (es gibt kein Jahr 0, das direkt vor 1900 kommt, wenn man nur eine bestimmte Zeit betrachtet). Deshalb tanzt die KI eine gerade Linie.

Die KI lernt also nicht, dass „Januar" ein Monat ist. Sie lernt nur die Statistik: „Wenn ich hier bin, kommt der nächste Schritt so." Und weil die Statistik symmetrisch ist, entsteht automatisch ein Kreis oder eine Linie.

3. Der Zaubertrick: Robustheit

Das Coolste an der Entdeckung ist, wie widerstandsfähig diese Formen sind.

Stell dir vor, du nimmst aus dem Orchester alle Violinen heraus, die „Januar" spielen. Du denkst, der Kreis würde kaputtgehen. Aber er bleibt!
Warum? Weil es tausende andere Instrumente gibt, die auch mit den Monaten spielen. Das Wort „Schnee" spielt mit Januar, „Weihnachten" spielt mit Dezember, „Urlaub" mit Juli.

Die Forscher nennen das kollektive Effekte. Die Form des Kreises entsteht nicht durch ein einziges Wort, sondern durch das gemeinsame Summen von tausenden Wörtern, die alle dasselbe „Jahreszeiten-Gefühl" teilen. Selbst wenn man viele dieser Wörter entfernt, reicht die restliche Musik aus, um den Kreis zu formen. Das ist, als würde man ein Orchester um die Hälfte verkleinern, und die Melodie wäre trotzdem noch klar zu erkennen.

4. Was bedeutet das für uns?

Diese Entdeckung ist wie ein Schlüssel, der ein Schloss öffnet, das wir noch nicht verstanden haben.

• Es ist universell: Ob es ein kleines Wörterbuch-Programm ist oder ein riesiges KI-Modell wie ChatGPT – sie alle lernen diese Formen, weil die Sprache selbst diese Formen enthält.
• Es ist vorhersehbar: Die Forscher haben Formeln entwickelt, die genau vorhersagen können, wie der Kreis aussieht oder wie stark die „Wellen" in der Landkarte sind. Sie müssen die KI nicht einmal anschauen; sie können es aus der Statistik der Sprache berechnen.
• Es erklärt, wie KI denkt: Die KI rechnet nicht mit „Begriffen" wie wir. Sie rechnet mit Abständen und Mustern. Und weil unsere Welt (Zeit, Raum) symmetrische Muster hat, lernt die KI, diese Welt in geometrischen Formen abzubilden.

Zusammenfassung in einem Satz

Die KI baut keine zufälligen Karten; sie baut Spiegelbilder der Statistik unserer Sprache, und weil unsere Sprache über Zeit und Raum symmetrisch ist, entstehen in ihrem Gehirn Kreise, Linien und Landkarten – ganz von allein.

Es ist, als würde die KI die Welt nicht durch Worte verstehen, sondern durch den Rhythmus, in dem wir sie sprechen. Und dieser Rhythmus hat eine eigene, schöne Geometrie.

Technische Zusammenfassung

Titel: Symmetrie in Sprachstatistiken formt die Geometrie von Modellrepräsentationen

Autoren: Dhruva Karkada, Daniel J. Korchinski, Andres Nava, Matthieu Wyart, Yasaman Bahri.

---

1. Problemstellung und Motivation

Trainierte Large Language Models (LLMs) und Wort-Embedding-Modelle zeigen eine bemerkenswerte und konsistente geometrische Struktur in ihren internen Repräsentationen:

• Zyklische Konzepte (z. B. Wochentage, Monate) bilden Kreise im Vektorraum.
• Kontinuierliche Sequenzen (z. B. historische Jahre) bilden glatte eindimensionale Mannigfaltigkeiten mit charakteristischen „Wellen" (Ripples).
• Räumlich-zeitliche Koordinaten (z. B. Städte, historische Daten) können durch lineare Sonden (Linear Probes) direkt aus den Embeddings decodiert werden.

Bisher fehlte ein vereinheitlichendes Prinzip, das erklärt, warum diese spezifischen geometrischen Muster (Prismen, Schleifen, Mannigfaltigkeiten) unabhängig von der Modellarchitektur entstehen. Die Frage ist: Liegt dies an der Trainingsdynamik der Transformer oder an fundamentalen Eigenschaften der Sprachdaten selbst?

2. Methodik und Theorie

Die Autoren stellen die Hypothese auf, dass diese Geometrien direkt aus den Paar-Ko-Okkurrenz-Statistiken (Pairwise Co-occurrence Statistics) der Wörter resultieren, die durch Translationssymmetrie geprägt sind.

A. Das Ko-Okkurrenz-Modell mit Symmetrie

• Annahme: Die Wahrscheinlichkeit, dass zwei Wörter $i$ und $j$ gemeinsam auftreten, hängt nur von ihrem Abstand auf einem semantischen Kontinuum ab (z. B. zeitlicher Abstand für Monate, räumlicher Abstand für Städte).
• Mathematische Formulierung: Sei $P_{ij}$ die Ko-Okkurrenz-Wahrscheinlichkeit. Unter der Annahme der Translationssymmetrie gilt: $P_{ij} = P_i P_j \tilde{C}(\text{dist}(x_i, x_j))$, wobei $x_i$ die Koordinaten des Wortes auf dem semantischen Kontinuum sind.
• Matrix $M^\star$: Die Autoren nutzen eine normalisierte Ko-Okkurrenz-Matrix (ähnlich der Pointwise Mutual Information, PMI), die in Wort-Embedding-Modellen (wie Word2Vec) als Zielmatrix dient. Unter der Symmetrieannahme erbt $M^\star$ die Struktur einer Faltungsmatrix (zirkulant für periodische Randbedingungen, Toeplitz für offene).

B. Analytische Herleitung der Geometrie

Die Autoren leiten die Embedding-Geometrie analytisch aus den Eigenmoden dieser symmetrischen Matrizen ab:

1. Fourier-Embeddings: Bei Translationssymmetrie sind die Eigenvektoren der Ko-Okkurrenz-Matrix sinusförmige Funktionen (Fourier-Moden).
2. Periodische Randbedingungen (z. B. Monate): Die Matrix ist zirkulant. Die Embeddings folgen einer Fourier-Reihe. Die Hauptkomponenten (PCA) entsprechen den tiefsten Frequenzmoden, was zu einer kreisförmigen Geometrie führt.
3. Offene Randbedingungen (z. B. Jahre): Die Matrix ist Toeplitz-artig. Die Eigenfunktionen sind modifizierte Sinus- und Kosinus-Funktionen. Dies führt zu 1D-Mannigfaltigkeiten mit „Ripples" (Wellen), die durch höhere Harmonische entstehen.
4. Lineare Decodierbarkeit: Da die Embeddings sinusförmig sind, können die ursprünglichen Koordinaten $x_i$ durch lineare Projektion auf die Embeddings rekonstruiert werden. Die Autoren beweisen, dass der Decodierfehler mit der Dimension $r$ der Projektion gemäß $\epsilon^2 \sim r^{-1/D}$ skaliert.

C. Robustheit und kollektive Effekte

Ein zentrales Ergebnis ist die Erklärung der Robustheit dieser Geometrien gegenüber Störungen (z. B. wenn man Sätze entfernt, in denen Monate direkt miteinander vorkommen).

• Mechanismus: Viele Wörter im Vokabular hängen von einem gemeinsamen latenten Variablen ab (z. B. „Jahreszeit"). Wörter wie „Ski" (Winter) oder „Strand" (Sommer) korrelieren stark mit bestimmten Monaten.
• Ergebnis: Selbst wenn direkte Monat-Monat-Ko-Okkurrenzen entfernt werden, bleibt die geometrische Struktur erhalten, da die latente Variable (Jahreszeit) über viele andere Wörter im Vokabular wirkt. Dies erzeugt große Eigenwerte in der Statistik, die gegen Rauschen robust sind.

3. Wichtige Beiträge

1. Einheitliches Prinzip: Identifizierung der Translationssymmetrie in Paar-Statistiken als fundamentale Ursache für die beobachteten geometrischen Strukturen (Kreise, Schleifen, Mannigfaltigkeiten).
2. Analytische Vorhersagen: Herleitung geschlossener Formeln für die Geometrie der Embeddings (Amplituden und Frequenzen der Fourier-Moden) basierend auf einem exponentiellen Ko-Okkurrenz-Kernel.
3. Empirische Validierung:
   • Die theoretischen Vorhersagen stimmen exakt mit Word2Vec-Modellen (trainiert auf Wikipedia) überein.
   • Die Struktur findet sich auch in LLMs (Gemma 2 2B) und Text-Embedding-Modellen (EmbeddingGemma).
   • Visualisierungen zeigen, dass Monate einen Kreis und historische Jahre eine 1D-Mannigfaltigkeit mit Wellen bilden.
4. Robustheitsanalyse: Demonstration, dass die geometrische Struktur auch dann erhalten bleibt, wenn direkte Ko-Okkurrenzen zwischen den Zielwörtern (z. B. Monaten) entfernt werden, solange „Helfer-Wörter" (seasonal words) vorhanden sind. Dies wird durch ein Modell mit kontinuierlichen latenten Variablen erklärt.
5. Decodierbarkeit: Beweis, dass lineare Sonden die Koordinaten decodieren können und die Fehlerrate durch die Anzahl der verwendeten Hauptkomponenten vorhergesagt werden kann.

4. Ergebnisse

• Geometrische Übereinstimmung: Die PCA-Projektionen von Embeddings für Monate bilden fast perfekte Kreise; historische Jahre bilden geschwungene Linien (Lissajous-Kurven), die den theoretischen Vorhersagen entsprechen.
• Gram-Matrizen: Die Gram-Matrizen der Embeddings spiegeln die theoretisch vorhergesagten Faltungskernel wider.
• Linearität: Die lineare Decodierung von Jahren oder geografischen Koordinaten funktioniert selbst bei niedrigen Embedding-Dimensionen sehr gut.
• Stabilität: Experimente zeigen, dass die Kreisstruktur der Monate auch dann rekonstruiert werden kann, wenn alle direkten Ko-Okkurrenzen zwischen Monaten aus dem Trainingskorpus entfernt wurden, solange saisonale Wörter (z. B. „Schnee", „Blume") vorhanden sind.

5. Bedeutung und Implikationen

• Ursprung der Struktur: Die Arbeit zeigt, dass komplexe geometrische Strukturen in tiefen neuronalen Netzen nicht unbedingt durch die Komplexität der Architektur (Transformer) entstehen, sondern bereits durch die Statistik der Trainingsdaten (niedrigere Ordnungskorrelationen) vorgegeben sind.
• Universalität: Da Symmetrien in natürlichen Daten (Zeit, Raum) allgegenwärtig sind, ist die Entstehung dieser Repräsentationen universell und architekturunabhängig.
• Neurowissenschaftliche Parallelen: Die Autoren ziehen eine Verbindung zu Gitterzellen (Grid Cells) im Säugetiergehirn, die ebenfalls räumliche Informationen durch Interferenz von Fourier-Moden kodieren. Dies deutet darauf hin, dass sowohl biologische als auch künstliche Systeme ähnliche Prinzipien nutzen, um räumlich-zeitliche Kontinua zu modellieren.
• Interpretierbarkeit: Das Verständnis dieser Symmetrien ermöglicht es, die „neuralen Codes" von LLMs besser zu interpretieren und vorherzusagen, wie Modelle Konzepte wie Zeit und Raum organisieren.

Zusammenfassend beweist das Paper, dass die „Geometrie des Denkens" in Sprachmodellen eine direkte Konsequenz der symmetrischen Struktur der Sprache selbst ist.