Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

Dieser Beitrag stellt Jordan-RoPE vor, eine nicht halbeinfache relative Positionscodierung, die komplexe Jordan-Blöcke nutzt, um oszillierend-polynomiale Merkmale zur Modellierung von abstandsmodulierten Phasenwechselwirkungen zu erzeugen und in bestimmten Kontexten strukturelle Vorteile sowie spezifische Leistungsgewinne gegenüber den Standardbaselines RoPE und ALiBi aufweist.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu verstehen, bei der die Reihenfolge der Ereignisse wichtig ist. In einem Computermodell namens Transformer ist der „Attention"-Mechanismus wie ein Leser, der entscheidet, welche vorherigen Wörter in einem Satz für das Verständnis des aktuellen Wortes wichtig sind.

Um dies zu tun, muss das Modell wissen, wie weit voneinander entfernt zwei Wörter sind. Wenn das Modell nur die Wörter selbst betrachtet, weiß es nicht, ob Wort A direkt vor Wort B kam oder 100 Wörter davor. Hier kommt die Positional Encoding ins Spiel – es ist das „Lineal", das das Modell verwendet, um Entfernungen zu messen.

Das Problem: Die alten Lineale

Die Arbeit untersucht zwei beliebte Methoden, mit denen Modelle derzeit Entfernungen messen:

1. RoPE (Rotary Positional Encoding): Stellen Sie sich dies wie einen Dreher vor. Er dreht die Bedeutung von Wörtern basierend auf ihrer Position. Er ist hervorragend darin, den Rhythmus oder die Phase eines Satzes zu handhaben (wie der Beat in einem Song), behandelt die Entfernung jedoch als einfache Rotation.
2. ALiBi: Stellen Sie sich dies wie eine gerade Linie vor. Es fügt eine einfache Strafe hinzu, wenn man weit entfernt ist. Es ist gut darin zu sagen: „Näher ist besser", erfasst aber nicht die komplexen, wellenförmigen Muster der Sprache.

Die meisten Modelle verwenden diese beiden getrennt, als hätten sie ein Lineal für Rotation und ein separates Lineal für Entfernung. Sie mischen sie nicht in einem einzigen, vereinten Werkzeug zusammen.

Die neue Idee: Jordan-RoPE

Der Autor, Yaobo Zhang, fragt: Was wäre, wenn wir den Dreher und das Entfernungslineal zu einem einzigen, komplexeren Werkzeug kombinieren könnten?

In der Mathematik gibt es ein Konzept namens Jordan-Block. Normalerweise sind mathematische Werkzeuge „schön" und getrennt (wie der Dreher und das Lineal als distincte Einheiten). Ein „defekter" oder „nicht-halb-einfacher" Jordan-Block ist jedoch ein Werkzeug, bei dem die Teile zusammengeklebt sind und etwas Neues erzeugen.

Die kreative Analogie: Der wackelige Dreher
Stellen Sie sich einen Dreher (die Rotation) vor, der leicht unausgewogen ist. Während er sich dreht, rotiert er nicht nur; er wackelt auch.

• Das Drehen repräsentiert den Rhythmus der Sprache (die Phase).
• Das Wackeln repräsentiert die Entfernung.
• Im neuen Jordan-RoPE wird das Wackeln größer, je weiter Sie gehen. Es ist nicht nur eine einfache Rotation oder eine einfache Entfernung; es ist eine entfernungsmodulierte Rotation.

Mathematisch erzeugt dies eine Eigenschaft, die aussieht wie:

Entfernung × (Rotation × Kosinus + Rotation × Sinus)

Anstatt nur zu wissen: „Es ist 5 Schritte entfernt" oder „Es ist in einem 90-Grad-Winkel", sieht das Modell nun: „Es ist 5 Schritte entfernt und der Winkel verschiebt sich aufgrund dieser Entfernung." Es erfasst eine bestimmte Art von Muster, bei der sich der Rhythmus des Satzes ändert, je weiter zurück Sie schauen.

Wie sie es getestet haben

Der Autor hat dieses Werkzeug nicht nur gebaut; er hat getestet, ob es in bestimmten Situationen tatsächlich hilft.

1. Der „synthetische" Test: Sie erstellten eine künstliche Sprachaufgabe, bei der die Antwort streng von diesem „entfernungsmodulierten Rotations"-Muster abhing (wie ein Geheimschrift-Code, bei dem sich die Nachricht ändert, je weiter zurück Sie lesen).

   • Ergebnis: Das neue Werkzeug (Jordan-RoPE) löste dieses Rätsel viel besser als die alten Werkzeuge (RoPE oder ALiBi). Es war das einzige, das das Muster des „wackelnden Drehers" natürlich verstand.

2. Der „Real-World"-Test: Sie testeten es an einem kleinen Sprachmodell, das auf Wikipedia-Texten trainiert wurde (WikiText-103).

   • Ergebnis: Es schnitt besser ab als das Standard-RoPE-Werkzeug, schlug aber nicht die „Meister"-Kombination aus RoPE + ALiBi.
   • Der Haken: Die Arbeit betont sorgfältig, dass dies kein Allheilmittel für alle Sprachen ist. In der echten menschlichen Sprache ist das „Wackeln" möglicherweise nicht immer das Wichtigste. Das Werkzeug ist am nützlichsten, wenn die Aufgabe spezifisch diesen komplexen, entfernungsabhängigen Rhythmus erfordert.

Die „stabilisierte" Version

Es gab ein Problem: In der rein mathematischen Version wächst das „Wackeln" (der nilpotente Teil) mit zunehmender Entfernung ins Unendliche, was die Mathematik des Computers zerstören kann.

• Die Lösung: Sie erstellten eine „stabilisierte" Version, die das Wackeln begrenzt. Es ist wie ein Regler am Dreher, sodass er stark wackelt, aber niemals außer Kontrolle gerät. Diese Version funktionierte in den Tests sehr gut.

Das Fazit

Diese Arbeit stellt Jordan-RoPE vor, eine neue Art, Entfernungen in der KI zu messen, die Rotation und Entfernung in einer einzigen, „zusammengeklebten" mathematischen Struktur vereint.

• Was es tut: Es ermöglicht der KI, Muster zu erkennen, bei denen sich der Rhythmus des Textes basierend auf der Entfernung ändert.
• Wann es am besten funktioniert: Wenn die Aufgabe komplexe, entfernungsabhängige Oszillationen beinhaltet (wie im synthetischen Test).
• Was es nicht tut: Es behauptet nicht, das absolut beste Werkzeug für jede einzelne Sprachaufgabe zu sein. Tatsächlich ist die Standard-Kombination „RoPE + ALiBi" für allgemeinen Text immer noch stärker.

Stellen Sie es sich als einen spezialisierten Schraubenschlüssel vor. Wenn Sie eine Schraube haben, die zum Lösen einen spezifischen „wackelnden Dreh" erfordert, ist dieser Schraubenschlüssel perfekt. Aber wenn Sie nur eine Standard-Schraube drehen müssen, sind Ihre alten Werkzeuge möglicherweise immer noch die beste Wahl. Die Arbeit beweist, dass dieser spezialisierte Schraubenschlüssel existiert, wie vorgesehen funktioniert und für spezifische, komplexe Aufgaben nützlich ist.

Technische Zusammenfassung

Technische Zusammenfassung: Jordan-RoPE

Problemstellung
Relative Positionscodierungen (RPE) definieren die primitiven Funktionen des für Aufmerksamkeitsmechanismen verfügbaren Query-Key-Verzugs. Während erfolgreiche Mechanismen wie RoPE (rotatorische Phase) und ALiBi (additive Distanzverzerrung) durch gruppentheoretische Klassifikationen linearer, translationsinvarianter Operatoren gut verstanden sind, verlassen sie sich typischerweise auf halbeinfache (diagonalisierbare) Generatoren. Dies lässt die Ecke der Klassifikation, die nicht-halbeinfache Operatoren betrifft, unerforscht. Insbesondere behandeln Standardansätze Phasen- (rotatorische) und Distanz- (polynomiale/Scher-)Merkmale als separate Kanäle oder additive Verzerrungen. Die Arbeit untersucht, ob die Kopplung eines komplexen rotatorischen Eigenwerts mit einer nilpotenten Antwort innerhalb eines einzelnen defekten Jordan-Blocks neue primitive relative Positionsmerkmale hervorbringt, die strukturell von einfachen direkten Summen verschieden sind.

Methodik
Die Autoren schlagen Jordan-RoPE vor, eine Konstruktion, die den komplexen rotatorischen Eigenwert und eine nilpotente Antwort in einen einzigen komplexen Jordan-Block zweiter Ordnung einbettet.

1. Algebraische Formulierung:
   Der Generator ist definiert als $J_{\gamma, \omega, \eta} = (-\gamma + i\omega)I + \eta N$, wobei $N$ eine nilpotente Matrix ist ($N^2=0$). Der resultierende relative Operator für den kausalen Verzögerungswert $d = i-j \ge 0$ lautet:
   $$G_{exact}(d) = \exp(d J) = e^{(-\gamma + i\omega)d} (I + \eta d N)$$
   Dies erzeugt eine Basis aus oszillatorisch-polynomiellen Merkmalen:
   $$e^{-\gamma d} \cos(\omega d), \quad e^{-\gamma d} \sin(\omega d), \quad d e^{-\gamma d} \cos(\omega d), \quad d e^{-\gamma d} \sin(\omega d)$$
   Entscheidend ist, dass der nilpotente Kanal das Frequenz-Tangential-Merkmal $d e^{i\omega d}$ bereitstellt und Distanz und Phase direkt koppelt, anstatt sie separat zu addieren.

2. Kontragrediente Query-Aktion:
   Da der Jordan-Block nicht-orthogonal ist, führt die Anwendung derselben Transformation auf Queries und Keys nicht zu einem reinen relativen Operator ($G(i)^\top G(j) \neq G(j-i)$). Um den korrekten relativen Score wiederherzustellen, formulieren die Autoren eine kontragrediente Query-Aktion: Queries werden durch die inverse Transponierte der positionsabhängigen Matrix transformiert, während Keys die primale Transformation verwenden. Dies stellt sicher, dass der Aufmerksamkeits-Score strikt vom Verzögerungswert $d$ abhängt.

3. Stabilisierung:
   Der exakte nilpotente Term wächst linear mit $d$, was für lange Kontexte problematisch ist. Die Autoren führen Stabilized Jordan-RoPE ein, indem sie $d$ durch eine beschränkte Scherfunktion $\tau(d) = d / (1 + d/L)$ ersetzen. Obwohl dies das exakte Ein-Parameter-Gruppengesetz bricht, erhält es die lokale Jordan-Antwort und verhindert ein unbeschränktes Wachstum. Eine Scaled-exact-Variante wird ebenfalls vorgeschlagen, die das Gruppengesetz bewahrt, indem die Schergröße durch die Kontextlänge $L$ normalisiert wird.

Hauptbeiträge

• Strukturelle Identifikation: Die Arbeit identifiziert den komplexen Jordan-Block zweiter Ordnung als die minimale nicht-halbeinfache Erweiterung der rotatorischen RPE, bei der Phase und nilpotente Antwort in einer einzigen defekten Darstellung gekoppelt sind, anstatt in Teilräume getrennt zu werden.
• Primitive Basis: Sie zeigt, dass diese Konstruktion direkt die primitive Logit-Basis $d e^{i\omega d}$ (und ihre reellen Komponenten $d \cos(\omega d), d \sin(\omega d)$) bereitstellt und eine Basis aus „distanzmodulierter Phase" auf der Ebene vor dem Softmax realisiert.
• Implementierung: Sie liefert die Realblock-Implementierung und die notwendige kontragrediente Query-Aktion für nicht-orthogonale Abbildungen.
• Unterscheidung von Baselines: Sie trennt die exakte Darstellung von stabilisierten Implementierungen und klärt, dass eine beschränkte Scherung das numerische Verhalten verbessert, aber das exakte Gruppengesetz opfert.

Experimentelle Ergebnisse
Die Evaluation konzentriert sich auf strukturelle Belege anstelle von breiten Leistungsansprüchen und verwendet drei Arten von Tests:

1. Kernel-Level-Proben: Auf einem gemischten Ziel $y(d) = (d/L)\cos(\omega d)$ erreicht die Exact/raw Jordan-Basis den niedrigsten mittleren quadratischen Fehler (MSE) und übertrifft RoPE, ALiBi und Direct-sum-Baselines signifikant. Dies bestätigt, dass die Basis die gekoppelte Struktur des Ziels direkt abbildet.
2. Synthetisches Sprachmodell: In einer Aufgabe, bei der das Modell eine Regel für distanzmodulierte Phase lernen muss ($K(d) = (d/L)\cos(\omega d)$), erreicht Stabilized Jordan-RoPE bei einer Länge von 8192 eine Genauigkeit von 0,906 und übertrifft RoPE (0,781) und Direct-sum (0,500). Dies deutet darauf hin, dass Transformer den gekoppelten Modus nutzen können, wenn die Aufgabe dies belohnt.
3. Natürliche Sprache (WikiText-103): Auf einem kleinen Byte-Level-Sprachmodell erreicht Scaled-exact Jordan-RoPE ($c=1$) den niedrigsten mittleren Verlust innerhalb der Jordan-Familie (1,869) und ist mit Damped RoPE (1,884) konkurrenzfähig. Allerdings bleibt RoPE+ALiBi insgesamt am stärksten (1,796). Die Autoren stellen fest, dass eine größere erzwungene initiale Scherung ($\eta$) den Verlust bei langen Längen in diesem Setting verschlechtert, was darauf hindeutet, dass Aufgaben der natürlichen Sprache primär Dämpfung und Recency-Bias belohnen und nicht starke oszillatorisch-polynomiale Scherung.

Bedeutung und Behauptungen
Die Arbeit macht bescheidene, strukturelle Behauptungen anstatt einen neuen State-of-the-Art für Positionscodierungen zu beanspruchen:

• Strukturelle Erweiterung: Komplexe Jordan-Blöcke bieten eine kontrollierte, nicht-halbeinfache Erweiterung der rotatorischen RPE.
• Bedingte Nützlichkeit: Die gekoppelte Jordan-Basis ist speziell dann nützlich, wenn der Ziel-Kernel distanzmodulierte Phaseninteraktionen (z. B. $d \cdot \text{Phase}$) belohnt.
• Einschränkungen: Die Autoren stellen ausdrücklich fest, dass sie nicht behaupten, nilpotente Mechanismen seien neu, noch dass die Jordan-Familie bestehende Codierungen bei der allgemeinen Modellierung natürlicher Sprache dominiert. Der Beleg ist, dass die Konstruktion eine spezifische primitive Basis ($d e^{i\omega d}$) bietet, die sich von der direkten Summe von Phasen- und Distanzkanälen unterscheidet.

Zusammenfassend bietet Jordan-RoPE einen mathematisch rigorosen Weg, Distanz und Phase innerhalb eines einzigen Aufmerksamkeitsmechanismus zu koppeln, und erweist sich als effektiv bei synthetischen Aufgaben, die eine solche Kopplung erfordern, während es zeigt, dass Aufgaben der natürlichen Sprache möglicherweise immer noch einfachere, entkoppelte oder additive Verzerrungen bevorzugen.