💬 NLP

Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics

Diese Arbeit untersucht die Anisotropie in Sprach-Transformern durch geometrische Argumente und empirische Analysen während des Trainings, wobei sie zeigt, dass aktivierungsabgeleitete Tangentialrichtungen einen signifikanten Teil der Gradientenenergie und -anisotropie erfassen.

Ursprüngliche Autoren: Raphael Bernas, Fanny Jourdan, Antonin Poché, Céline Hudelot

Veröffentlicht 2026-04-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raphael Bernas, Fanny Jourdan, Antonin Poché, Céline Hudelot

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum sind Wörter im Computer so "verzerrt"?

Stell dir vor, du hast einen riesigen, leeren Raum (den Computer-Speicher), in dem du alle Wörter der Welt ablegen kannst. Wenn du ein Wort wie "Hund" oder "Liebe" in diesen Raum setzt, sollte es theoretisch überall gleich wahrscheinlich sein, wo es landet. Das wäre ein "isotroper" Raum – überall gleichmäßig verteilt, wie Sand auf einem Strand.

Aber das passiert nicht. Die Forscher haben herausgefunden, dass Transformer-Modelle (die Technik hinter KI wie diesem Text) Wörter nicht gleichmäßig verteilen. Stattdessen drängen sie sich alle in einen schmalen, spitzen Kegel.

Die Metapher: Stell dir vor, du hast einen riesigen, dunklen Ballsaal. Wenn die Gäste (die Wörter) hereinkommen, bleiben sie nicht im ganzen Raum verteilt. Sie drängen sich alle in eine Ecke und stehen so dicht beieinander, dass sie sich fast berühren, selbst wenn sie gar nichts miteinander zu tun haben. Ein "Hund" und ein "Keks" stehen in dieser Ecke fast nebeneinander, obwohl sie völlig unterschiedlich sind. Das nennt man Anisotropie (Richtungsabhängigkeit).

Bisher dachte man, das sei ein Fehler, ein "Defekt" des Systems, den man reparieren muss. Diese neue Studie sagt jedoch: Nein, das ist eigentlich ein cleverer Trick des Systems.

Die zwei Geheimnisse der Studie

Die Autoren haben herausgefunden, warum das passiert und wie es funktioniert. Sie nutzen zwei Hauptbilder:

1. Der "Häufigkeits-Druck" (Warum die Wörter in die Ecke drängen)

Stell dir vor, du hast eine Party. Die Gäste, die sehr oft vorkommen (wie "der", "die", "das" oder "und"), sind wie Superstars. Sie kommen ständig, werden ständig angesprochen und müssen sich schnell bewegen.

Das Phänomen: Weil diese Wörter so oft vorkommen, "zittern" sie im Computer weniger. Sie werden in einen sehr kleinen, stabilen Bereich gepresst. Ihre Position ist extrem fest.
Die Seltenen: Wörter, die man selten benutzt (wie "Kakadu" oder "Zyklon"), sind wie Gäste, die nur einmal kommen. Sie haben mehr Freiheit, sich im Raum zu bewegen, und ihre Position ist weniger fest.
Die Folge: Da die häufigen Wörter so dominant sind und sich in einem kleinen Bereich drängen, ziehen sie den Rest des Raumes mit sich. Der ganze Raum wird verzerrt, weil die "Superstars" den Platz einnehmen.

2. Der "Tangenten-Tanz" (Warum das Lernen diese Verzerrung verstärkt)

Jetzt kommt der zweite Teil: Wie lernt das Modell?
Stell dir vor, die Wörter liegen auf einer gewellten, hügeligen Landschaft (das ist die "Geometrie" der Daten).

Der flache Pfad: Es gibt einen flachen, geraden Weg, der sich über die Hügel spannt (die "Tangente").
Der steile Abhang: Es gibt auch steile Wege, die senkrecht nach oben oder unten führen (die "Normale").

Das Modell lernt durch kleine Schritte (Updates). Die Studie zeigt, dass das Modell fast nur auf den flachen Pfad schaut.

Warum? Weil die häufigen Wörter so fest in ihrem kleinen Bereich "geparkt" sind, sind die steilen Wege für das Lernen fast unsichtbar. Die "Lern-Signale" (Gradienten) fließen fast ausschließlich entlang des flachen Pfades.
Der Teufelskreis: Das Modell verbessert sich nur in dieser einen Richtung. Es ignoriert die anderen Richtungen. Dadurch wird der "flache Pfad" immer breiter und dominanter, während die anderen Richtungen austrocknen.

Warum ist das eigentlich gut?

Früher dachte man, diese Verzerrung sei schlecht, weil man Wörter dann schwerer unterscheiden kann. Aber die Autoren sagen: Das ist eigentlich eine Art "intelligente Komprimierung".

Die Analogie: Stell dir vor, du musst einen riesigen Berg an Daten in einen kleinen Rucksack packen. Wenn du alles gleichmäßig verteilst, brauchst du einen riesigen Rucksack. Wenn du aber weißt, dass die wichtigsten Dinge (die häufigen Wörter) in eine bestimmte Richtung zeigen, kannst du den Rucksack in diese Richtung strecken und den Rest zusammenfalten.
Der Vorteil: Das Modell lernt so effizienter. Es ignoriert unnötige Details und konzentriert sich auf die wichtigsten Muster. Es reduziert die Komplexität, damit es schneller und besser lernt. Es ist wie ein Künstler, der ein Bild nicht mit Millionen von Farben malt, sondern nur mit den wichtigsten Strichen, um die Essenz zu erfassen.

Das Fazit für den Alltag

Die Studie sagt uns:

Es ist kein Fehler: Dass KI-Wörter sich in einem Kegel drängen, ist kein Defekt, sondern ein notwendiger Teil des Lernprozesses.
Es ist ein Mechanismus: Das System nutzt die Häufigkeit von Wörtern, um sich auf die wichtigsten Richtungen zu konzentrieren und unnötiges "Rauschen" auszublenden.
Wir sollten es verstehen, nicht bekämpfen: Statt zu versuchen, diese Verzerrung zu entfernen (was das Lernen vielleicht sogar verschlechtern würde), sollten wir verstehen, wie diese "Verzerrung" hilft, dass KI so gut funktioniert.

Kurz gesagt: Die KI ist wie ein kluger Tourist, der nicht jeden Winkel einer Stadt erkundet, sondern sich auf die Hauptstraßen konzentriert, um schnell ans Ziel zu kommen. Die "Verzerrung" ist nur die Karte, die sie sich dafür gezeichnet hat.

1. Problemstellung

Transformer-Modelle dominieren das Feld des Natural Language Processing (NLP), weisen jedoch ein inhärentes Phänomen der Anisotropie auf. Anstatt dass Token-Embeddings den Vektorraum gleichmäßig ausfüllen, konzentrieren sie sich in einem schmalen Kegel und zeigen selbst bei semantisch unzusammenhängenden Inhalten eine hohe paarweise Kosinus-Ähnlichkeit.

Bisherige Forschung hat dies oft als pathologisch betrachtet, da es Ähnlichkeitsbasiertes Reasoning verschlechtert und die semantische Geometrie verzerrt. Neuere Arbeiten deuten jedoch darauf hin, dass Anisotropie nicht nur ein Fehler, sondern möglicherweise eine inhärente Eigenschaft des Selbst-Aufmerksamkeits-Mechanismus oder ein Ergebnis der Trainingsdynamik ist. Ein zentrales Defizit der bisherigen Theorien ist jedoch, dass sie selten auf einer expliziten geometrischen Analyse der zugrunde liegenden Repräsentationsmanifolde (Mannigfaltigkeiten) basieren. Die Frage bleibt offen: Wie entstehen diese geometrischen Verzerrungen durch die Interaktion von Frequenz-Bias, Sampling und Gradienten-Updates?

2. Methodik

Das Paper kombiniert theoretische geometrische Argumente mit empirischen Validierungen durch mechanistische Interpretierbarkeit während des Trainings (nicht nur post hoc).

A. Theoretischer Rahmen (Geometrie des Lernens)

Die Autoren modellieren Token-Embeddings als Stichproben aus einem lokalen, differenzierbaren Riemannschen Untermannigfaltigkeit $\mathcal{M}$ im hochdimensionalen euklidischen Raum $\mathbb{R}^d$ .

Frequenzinduzierte Varianz-Kollaps: Es wird gezeigt, dass häufige Tokens (hohe Frequenz) im Training eine stark konzentrierte Sampling-Verteilung aufweisen. Ihre Embedding-Normen schrumpfen, und sie oszillieren in einem sehr kleinen Volumen um ihren idealisierten Mittelpunkt $\mu$ . Seltene Tokens behalten eine diffuser Verteilung bei.
Krümmungsverzerrung (Curvature Bias): Unter der Annahme einer lokalen Mannigfaltigkeit führt die Beziehung zwischen intrinsischer Distanz (Bogenlänge auf dem Manifold) und extrinsischer Distanz (euklidische Sehne) dazu, dass bei einer festen extrinsischen Distanz $t$ Richtungen mit hoher Krümmung eigentlich überrepräsentiert sein müssten.
Abschwächung durch Radiale Konzentration: Da häufige Tokens jedoch extrem nahe am Ursprung liegen (kleines $t$ ), wird dieser Krümmungseffekt durch die Sampling-Verteilung $g(t)$ unterdrückt. Die geometrische „Sichtbarkeit" von Krümmungsrichtungen geht verloren; das Sampling wird flach und anisotrop.
Gradienten-Bias: Die Analyse der Gradientenstruktur zeigt, dass Updates in linearen Schichten und Attention-Mechanismen tangentialen Richtungen (entlang des Manifold) gegenüber normalen Richtungen (senkrecht zum Manifold, die Krümmung kodieren) bevorzugt werden.
- Tangentiale Komponenten skalieren mit $O(t)$ , normale mit $O(t^2)$ .
- Dies erzeugt einen sich selbst verstärkenden Feedback-Loop: Gradienten verstärken die tangentiale Struktur, was die normale Struktur weiter unterdrückt.

B. Empirische Validierung

Die Theorie wurde an einer Vielzahl von Modellen (Encoder wie EuroBERT, Decoder wie Pythia, SmolLM2, OLMo) getestet.

Tangent-Proxies: Anstatt die theoretische Tangentialebene direkt zu messen, extrahierten die Autoren während des Trainings (frühe Checkpoints) niedrig-rangige Unterräume aus den Aktivierungen („Concept Subspaces"). Diese dienen als Proxy für die dominanten tangentialen Richtungen.
Gradienten-Energie-Analyse: Die Autoren verglichen die Energie echter Backpropagation-Gradienten in diesen tangentialen Proxies mit der Energie in zufällig gewählten, normal-orthogonalen Unterräumen.
Anisotropie-Messung: Es wurde geprüft, ob das Entfernen der tangentialen Richtungen die Anisotropie (gemessen via IsoScore*) stärker reduziert als das Entfernen normaler Richtungen.

3. Schlüsselbeiträge

Theoretische Herleitung: Die Arbeit liefert den ersten geometrischen Beweis dafür, wie frequenzbasiertes Sampling die Sichtbarkeit von Krümmungsrichtungen in Embeddings abschwächt und warum Trainingsdynamiken tangentiale Richtungen bevorzugt amplifizieren.
Verbindung von Frequenz und Geometrie: Es wird gezeigt, dass die „Representation Degeneration" (Zusammenbruch der Embeddings) direkt mit der Frequenzabhängigkeit der Sampling-Varianz und der daraus resultierenden tangentialen Dominanz zusammenhängt.
Dynamische Interpretierbarkeit: Die Autoren nutzen mechanistische Interpretierbarkeit während des Trainings, um zu zeigen, dass die Anisotropie primär in der frühen Trainingsphase geprägt wird, wenn die tangentiale Gradienten-Dominanz am stärksten ist.
Neue Perspektive auf Anisotropie: Anisotropie wird nicht als reiner Defekt, sondern als implizite Dimensionsreduktion interpretiert, die die Generalisierung in überparametrisierten Modellen unterstützen kann.

4. Ergebnisse

Die empirischen Ergebnisse stützen die theoretischen Vorhersagen robust:

Gradienten-Energie-Konzentration: In allen getesteten Modellen (sowohl Encoder als auch Decoder) konzentriert sich die Gradientenenergie signifikant stärker in den aktivitätsabgeleiteten tangentialen Proxies als in den kontrollierten normalen Unterräumen. Das Verhältnis der Energie ( $R_{energy}$ ) liegt oft um eine Größenordnung höher für tangentiale Richtungen (z. B. Werte von 20 bis über 1000 in frühen Phasen).
Anisotropie-Erklärung: Das Entfernen der tangentialen Proxies führt zu einer signifikant stärkeren Verbesserung der Isotropie (höhere IsoScore*) als das Entfernen normaler Richtungen. Dies bestätigt, dass die Anisotropie tatsächlich in diesen tangentialen Richtungen „gespeichert" ist.
Frequenzabhängigkeit: Der Effekt ist bei Decoder-Modellen (causal) stärker ausgeprägt als bei Encoder-Modellen (Masked Language Modeling), was mit der schwächeren Frequenz-Konzentration bei Encodern übereinstimmt.
Zeitliche Dynamik: Der Effekt ist in der frühen Trainingsphase am stärksten. In späteren Phasen nimmt er ab, bleibt aber bestehen, was darauf hindeutet, dass die grundlegende geometrische Struktur früh etabliert wird.
Token-Frequenz: Häufige Tokens zeigen die stärkste tangentiale Ausrichtung und den stärksten Varianz-Kollaps, während seltene Tokens eine größere kinematische Freiheit behalten.

5. Bedeutung und Fazit

Das Paper bietet einen fundamentalen neuen Blickwinkel auf die Geometrie von Sprachmodellen:

Ursache der Anisotropie: Es wird gezeigt, dass Anisotropie kein zufälliges Artefakt ist, sondern eine direkte Konsequenz der lokalen Geometrie des Trainings-Manifolds in Kombination mit der Frequenzverteilung der Sprache und der Optimierungsdynamik (Gradienten-Bias).
Implikationen für das Training: Da die geometrische Struktur früh im Training geprägt wird, könnten frühe Trainingsphasen entscheidend für die finale Repräsentationsqualität sein.
Neue Interpretation: Anisotropie kann als eine Form der impliziten Regularisierung verstanden werden, die das Problem von überparametrisiert zu unterparametrisiert verschiebt und so die Generalisierung fördert.
Methodischer Fortschritt: Die Arbeit demonstriert die Kraft, mechanistische Interpretierbarkeit dynamisch während des Trainings einzusetzen, um Lernprozesse zu verstehen, anstatt nur statische Endzustände zu analysieren.

Zusammenfassend beweist das Paper, dass die scheinbar pathologische Anisotropie in Transformern eine tief verwurzelte geometrische Eigenschaft ist, die durch die Wechselwirkung von Sprachfrequenzen, lokaler Mannigfaltigkeitskrümmung und der bevorzugten Verstärkung tangentialer Gradienten entsteht.