🤖 machine learning

On the Geometry of Positional Encodings in Transformers

Diese Arbeit entwickelt eine mathematische Theorie für Positional Encodings in Transformern, die unter anderem die Notwendigkeit von Positionssignalen beweist, die Trennung von Positionen in globalen Minima zeigt und einen optimalen, parametrisparenden Encoding-Ansatz mittels multidimensionaler Skalierung (MDS) vorschlägt, der in Experimenten mit ALiBi die Leistung herkömmlicher Methoden wie sinusförmiger oder RoPE-Encodings übertrifft.

Ursprüngliche Autoren: Giansalvo Cirrincione

Veröffentlicht 2026-04-08

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Giansalvo Cirrincione

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧩 Das Problem: Der verwirrte Koch

Stell dir vor, du hast einen genialen Koch (den Transformer), der Suppen kocht. Dieser Koch ist extrem schnell und kann Zutaten (Wörter) in riesigen Mengen mischen. Aber er hat ein großes Problem: Er hat keine Augen für die Reihenfolge.

Wenn du ihm sagst: „Tomate, Basilikum, Knoblauch", versteht er es. Wenn du ihm aber sagst: „Knoblauch, Tomate, Basilikum", denkt er: „Ach ja, das ist genau dieselbe Suppe!" Für ihn ist die Reihenfolge der Zutaten egal. Er ist wie ein Koch, der nur die Zutatenliste sieht, aber nicht, in welcher Reihenfolge sie auf dem Tisch liegen.

In der echten Welt ist die Reihenfolge aber alles: „Der Hund beißt den Mann" ist etwas ganz anderes als „Der Mann beißt den Hund".

Damit der Koch die Reihenfolge versteht, fügen wir ihm eine Positionscodierung hinzu. Das ist wie ein kleines, unsichtbares Etikett, das wir auf jede Zettel kleben: „Du bist die 1. Zutat", „Du bist die 2. Zutat", usw. Ohne diese Etiketten ist der Koch blind für die Struktur des Satzes.

Bisher haben Forscher diese Etiketten einfach „aus dem Bauch heraus" erfunden (z. B. mit Sinuswellen oder zufälligen Zahlen). Sie funktionierten gut, aber niemand wusste genau, warum sie funktionieren oder wie man die perfekten Etiketten konstruiert.

Diese Arbeit sagt: „Halt! Wir brauchen eine mathematische Theorie dafür."

🔍 Die drei großen Fragen der Theorie

Der Autor stellt drei fundamentale Fragen und liefert darauf Antworten:

1. Sind die Etiketten wirklich nötig?

Antwort: Ja, absolut.
Der Autor beweist mathematisch, dass ein Koch ohne diese Etiketten niemals verstehen kann, ob die Reihenfolge wichtig ist. Wenn man die Zutaten durcheinanderwirbelt, kommt am Ende genau dasselbe Ergebnis heraus. Ohne Etiketten kann der Koch keine Geschichte erzählen, keine Fragen beantworten und keine Unterscheidung treffen. Er ist wie ein Stapel loser Zettel ohne Nummerierung.

2. Was lernt der Koch, wenn er selbst die Etiketten erfinden darf?

Antwort: Er macht sie alle unterschiedlich.
Wenn man dem Koch erlaubt, die Etiketten selbst zu lernen (anstatt sie fest vorzugeben), passiert Folgendes: Sobald er die Aufgabe verstanden hat, gibt er jedem Platz in der Reihe ein einzigartiges Etikett. Er wird niemals zwei Plätze gleich behandeln.

Die Metapher: Stell dir vor, der Koch hat 100 Stühle. Wenn er lernt, dass die Reihenfolge wichtig ist, wird er sicherstellen, dass auf keinem zwei Stühlen das gleiche Namensschild steht. Jeder Stuhl bekommt eine eigene Identität.

3. Wie sehen die perfekten Etiketten aus?

Antwort: Sie müssen die „statistische Distanz" widerspiegeln.
Das ist der spannendste Teil. Nicht alle Wörter tauchen an allen Stellen gleich oft auf.

Das Wort „Der" steht fast immer am Anfang.
Das Wort „Punkt" steht fast immer am Ende.
Das Wort „und" steht oft in der Mitte.

Die perfekte Codierung sollte also nicht willkürlich sein, sondern die natürliche Entfernung zwischen diesen Positionen abbilden. Wenn zwei Positionen statistisch sehr ähnlich sind (z. B. beide in der Mitte eines Satzes), sollten ihre Etiketten im Raum nah beieinander liegen. Wenn sie sehr unterschiedlich sind (Anfang vs. Ende), sollten sie weit voneinander entfernt sein.

Der Autor nennt diese „natürliche Distanz" Hellinger-Distanz. Es ist wie ein Maßband, das misst, wie unterschiedlich die Wahrscheinlichkeiten sind, dass an Position A ein anderes Wort steht als an Position B.

📐 Die Lösung: Der „Landkarten-Macher" (MDS)

Da die Welt der Wahrscheinlichkeiten gekrümmt ist (wie eine Kugeloberfläche) und wir aber flache Etiketten (in einem flachen Raum) brauchen, können wir die perfekte Karte nicht exakt zeichnen. Aber wir können die bestmögliche Annäherung finden.

Der Autor nutzt eine alte mathematische Methode namens Multidimensionales Scaling (MDS).

Die Analogie: Stell dir vor, du hast eine Liste von Städten und ihre Entfernungen zueinander (z. B. Berlin zu München, Berlin zu Hamburg). Du willst diese Städte auf eine flache Landkarte zeichnen, so dass die Entfernungen auf der Karte so genau wie möglich den echten Entfernungen entsprechen.
Das Ergebnis: Der Autor zeigt, wie man diese perfekte Landkarte für die Wortpositionen berechnet. Diese Karte ist die „Informationsoptimale Codierung".

Das Überraschungsergebnis:
Die berühmten, standardmäßigen „Sinuswellen"-Etiketten (die in fast allen modernen KI-Modellen verwendet werden) sind eigentlich eine sehr gute Annäherung an diese perfekte Karte – aber nur dann, wenn die Sprache sehr gleichmäßig und glatt verläuft. Wenn die Sprache aber spezielle Muster hat (wie in biologischen Sequenzen oder bestimmten Textsorten), sind die Sinuswellen nicht optimal. Die berechnete MDS-Karte ist viel besser.

💡 Was bringt uns das in der Praxis?

Ein neuer Maßstab (Stress):
Der Autor erfindet eine Zahl namens „Stress". Stell dir vor, du drückst einen Gummiball zusammen. Je mehr er sich verformt, desto höher ist der Stress.
- Niedriger Stress: Die Etiketten bilden die wahre Struktur der Sprache perfekt ab.
- Hoher Stress: Die Etiketten sind verzerrt und passen nicht zur Sprache.
  Mit dieser Zahl kann man jetzt messen, welche Art von Codierung (Sinus, RoPE, ALiBi) für einen bestimmten Text am besten passt.
ALiBi ist ein Geheimtipp:
In den Experimenten zeigte sich, dass eine Methode namens ALiBi (die nur die Distanz zwischen Wörtern zählt, nicht die absolute Position) auf kurzen Sätzen (wie bei Sentiment-Analysen) extrem gut funktioniert. Warum? Weil sie der perfekten Landkarte (der MDS-Lösung) sehr nahe kommt, aber viel einfacher zu berechnen ist.
Weniger Speicher, mehr Effizienz:
Die perfekte Landkarte braucht oft gar nicht so viele Zahlen wie man denkt. Man kann sie stark komprimieren (wie ein JPEG-Bild, das nicht alles speichert, aber den Eindruck bewahrt). Das bedeutet: Man kann die Codierung mit viel weniger Speicherplatz bauen, ohne dass die KI schlechter wird.

🚀 Zusammenfassung für den Alltag

Stell dir vor, du baust ein Auto (die KI).

Bisher: Man hat die Sitze (die Positionen) einfach nach Gefühl angeordnet. Es fuhr gut, aber niemand wusste, ob es die beste Anordnung war.
Jetzt: Der Autor hat eine mathematische Formel entwickelt, die genau berechnet, wo jeder Sitz sitzen muss, damit die Passagiere (die Wörter) sich am wohlsten fühlen und die beste Sicht haben.
Das Ergebnis: Wir wissen jetzt, dass die alten Sitzanordnungen (Sinuswellen) eigentlich ganz clever waren, aber wir können sie noch verbessern, indem wir die „statistische Landschaft" der Sprache genau vermessen. Und manchmal reicht sogar eine ganz einfache Anordnung (wie bei ALiBi), wenn die Landschaft es zulässt.

Diese Arbeit verwandelt das „Raten" beim Design von KI-Modellen in eine exakte Wissenschaft.

1. Problemstellung

Transformer-Modelle verarbeiten Wortsequenzen, basieren jedoch auf mathematischen Operationen (Matrixmultiplikationen, Aufmerksamkeitsmechanismen), die per se unempfindlich gegenüber der Reihenfolge der Eingabewörter sind (permutationsinvariant). Um dies zu korrigieren, werden Positional Encodings (PE) eingeführt, die Informationen über die Position jedes Wortes in seine Vektordarstellung injizieren.

Bisher wurden PE weitgehend empirisch durch „Trial and Error" entwickelt (z. B. sinusförmige Encodings, gelernte Matrizen, RoPE, ALiBi), ohne eine fundierte mathematische Theorie darüber, was ein optimales Encoding leisten sollte oder welche Eigenschaften es unter Gradientenabstieg annimmt. Es fehlte an einer theoretischen Begründung für die Notwendigkeit, die Struktur oder die Optimalität dieser Encodings.

2. Methodik und theoretischer Rahmen

Der Autor entwickelt eine mathematische Theorie, die auf der Information Geometry und der Multidimensional Scaling (MDS) basiert.

Statistische Geometrie: Für jede Position $i$ in einem Korpus wird eine charakteristische Verteilung der Wörter $\mu_i$ definiert. Die natürliche Metrik zur Messung des Abstands zwischen diesen Positionen ist die Hellinger-Distanz $d_H(\mu_i, \mu_j)$ , da sie eine echte Metrik auf dem Wahrscheinlichkeits-Simplex ist und intrinsische geometrische Eigenschaften besitzt.
Stress-Kriterium: Die Qualität eines Encodings wird durch einen „Stress"-Wert quantifiziert, der misst, wie gut die euklidischen Abstände der Positionsvektoren $\|p_i - p_j\|$ die statistischen Hellinger-Abstände $d_H(\mu_i, \mu_j)$ des Korpus nachbilden.
$\text{stress}(P) = \frac{\sum_{i<j} (\|p_i - p_j\| - d_H(\mu_i, \mu_j))^2}{\sum_{i<j} d_H(\mu_i, \mu_j)^2}$
NTK-Regime: Für den Beweis der Monotonie-Eigenschaft wird das Neural Tangent Kernel (NTK)-Regime verwendet, in dem die Gewichte während des Trainings als nahezu stationär angenommen werden, um die Gradientenflüsse analytisch zu behandeln.

3. Hauptbeiträge und Theoreme

Das Paper liefert vier zentrale theoretische Ergebnisse:

A. Notwendigkeit von Positionsinformationen (Theorem 1)

Es wird bewiesen, dass ein Transformer ohne explizites Positionssignal permutationsäquivariant ist. Das bedeutet, dass jede Permutation der Eingabe zu einer entsprechend permutierten Ausgabe führt. Ein solches Modell kann keine Aufgabe lösen, die eine Empfindlichkeit für die Wortreihenfolge erfordert. Positionsinformationen sind also strikt notwendig.

B. Der Positional Separation Theorem (Theorem 4)

Unter milden, praktisch fast immer erfüllten Bedingungen (Nicht-Stationarität der Token-Verteilungen, Order-Sensitivity der Aufgabe, Nicht-Degeneriertheit der Attention-Matrix) garantiert der Gradientenabstieg, dass an jedem globalen Minimierer jeder Position ein eindeutiger Vektor zugewiesen wird. Das Modell „kollabiert" also keine zwei verschiedenen Positionen auf denselben Embedding-Vektor.

C. Informationsoptimales Encoding und MDS-Konstruktion (Proposition 6 & Algorithm 1)

Die Frage nach dem optimalen Encoding wird beantwortet: Ein optimales Encoding sollte die Hellinger-Abstände der Positionsverteilungen isometrisch in den euklidischen Raum abbilden.

Da die zugrundeliegende Mannigfaltigkeit (Simplex) gekrümmt ist, ist eine exakte isometrische Einbettung in den flachen $\mathbb{R}^d$ im Allgemeinen unmöglich.
Die beste Approximation wird durch klassisches Multidimensional Scaling (MDS) auf der Hellinger-Metrik konstruiert.
Dies liefert eine theoretische Rechtfertigung für das sinusförmige Encoding: Es ist das MDS-Optimum für Korpora, bei denen die Positionalstatistiken glatt mit der Position variieren (approximative Stationarität).

D. Minimale Parametrisierung und effektiver Rang (Remark 8)

Die optimale Positionsmatrix hat einen effektiven Rang $r = \text{rank}(B)$ , wobei $B$ die doppelt-zentrierte Gram-Matrix der Hellinger-Abstände ist.

Statt einer vollen Matrix mit $n \times d$ Parametern reicht eine Faktorisierung $P = A B^\top$ mit $A \in \mathbb{R}^{n \times r}$ und $B \in \mathbb{R}^{d \times r}$ aus, was nur $r(n+d)$ Parameter benötigt.
Dies ermöglicht eine massive Reduktion der Parameteranzahl bei gleichzeitig hoher geometrischer Treue.

E. Monotonie-Vermutung (Conjecture 5 & Appendix A)

Es wird vermutet (und im NTK-Regime bewiesen), dass die gelernten Positionen die statistische Ordnung widerspiegeln: Wenn Position $j$ näher an $i$ liegt als $k$ (in der Sequenz), dann ist der Hellinger-Abstand kleiner, und im optimalen Encoding sollte auch der euklidische Abstand $\|p_i - p_j\| \le \|p_i - p_k\|$ gelten.

4. Experimentelle Ergebnisse

Die Theorie wurde auf einem synthetischen Korpus sowie auf realen Datensätzen (SST-2, IMDB) mit einem bertbase-Modell validiert.

Stress-Vergleich:
- PMDS (MDS-basiert): Erreicht fast perfekten Stress (nahe 0), da es die Korpus-Geometrie exakt abbildet.
- ALiBi: Zeigt auf SST-2 (kurze Sätze) einen überraschend niedrigen Stress (0.563), deutlich besser als sinusförmige oder RoPE-Encodings. Dies bestätigt die Theorie, dass ALiBi effektiv eine Rang-1-Approximation darstellt, die für Korpora mit shift-äquivarianter Statistik optimal ist.
- Sinusoidal & RoPE: Haben fast identischen Stress, da dieser primär durch das Frequenz-Schema bestimmt wird, nicht durch die absolute/relative Unterscheidung.
- Zufällige Initialisierung: Hat extrem hohen Stress.
Rang-Reduktion: Auf dem synthetischen Korpus reichte ein Rang von $r=3$ aus, um den Stress um 99,8 % im Vergleich zum sinusförmigen Encoding zu senken und dabei 88 % weniger Parameter zu verwenden als eine freie Matrix.
Schicht-Analyse: Die Analyse der Stress-Werte über die BERT-Schichten hinweg zeigt, dass Schicht 3 (bekannt für syntaktische Verarbeitung) den Positionssignal am aggressivsten transformiert (höchster Stress-Peak), was mit der bekannten Spezialisierung früher Transformer-Schichten übereinstimmt.
Monotonie: Die MDS-Encodings und vortrainierte Modelle zeigen eine signifikant höhere Monotonie (geringere Verletzungsraten) als zufällige Encodings, was die Vermutung stützt.

5. Bedeutung und Fazit

Dieses Paper schließt eine wichtige theoretische Lücke im Verständnis von Transformern:

Es beweist die Notwendigkeit von Positional Encodings für jede Reihenfolge-sensitive Aufgabe.
Es liefert ein prinzipielles Design-Kriterium (Minimierung des Stresses bezüglich der Hellinger-Metrik) anstelle von rein empirischen Heuristiken.
Es bietet eine theoretische Begründung für existierende Methoden (Sinusoidal, ALiBi) als Approximationen des informationsoptimalen Encodings unter spezifischen Korpus-Bedingungen.
Es zeigt, dass Positionsinformationen oft in einem niedrigrangigen Unterraum liegen, was zu effizienteren Parametrisierungen führt.

Der „Stress"-Wert wird als neues, korpus-spezifisches Diagnosewerkzeug eingeführt, um die geometrische Treue von Encodings zu messen, unabhängig von der downstream-Aufgabenleistung. Die Arbeit legt den Grundstein für ein mathematisches Verständnis der Transformer-Architektur aus ersten Prinzipien.