Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

Deze paper introduceert Jordan-RoPE, een niet-semisimple relatieve positionele codering die complexe Jordan-blokken benut om oscillerend-polynomiale kenmerken te genereren voor het modelleren van door afstand gemoduleerde fase-interacties, waarbij structurele voordelen en specifieke prestatiewinsten ten opzichte van standaard RoPE- en ALiBi-baselines in bepaalde contexten worden aangetoond.

De kern

Stel je voor dat je probeert een verhaal te begrijpen waarbij de volgorde van gebeurtenissen belangrijk is. In een computermodel genaamd een Transformer is het "attention"-mechanisme als een lezer die beslist welke vorige woorden in een zin belangrijk zijn voor het begrijpen van het huidige woord.

Om dit te doen, moet het model weten hoe ver twee woorden uit elkaar staan. Als het model alleen naar de woorden zelf kijkt, weet het niet of Woord A direct voor Woord B kwam of 100 woorden ervoor. Hier komt Positionele Encodering om de hoek kijken—het is de "liniaal" die het model gebruikt om afstand te meten.

Het Probleem: De Oude Linialen

Het artikel bekijkt twee populaire manieren waarop modellen momenteel afstand meten:

1. RoPE (Rotary Positional Encoding): Denk hierbij aan een draaiende tol. Het roteert de betekenis van woorden op basis van hun positie. Het is uitstekend in het hanteren van het ritme of de fase van een zin (zoals de beat in een lied), maar het behandelt afstand als een simpele rotatie.
2. ALiBi: Denk hierbij aan een rechte lijn. Het voegt een simpele straf toe voor het ver weg zijn. Het is goed in het zeggen dat "dichter bij beter is", maar het vangt de complexe, golvende patronen van taal niet op.

De meeste modellen gebruiken deze twee apart, alsof je een liniaal voor rotatie hebt en een aparte liniaal voor afstand. Ze mengen ze niet samen in één, geïntegreerd gereedschap.

Het Nieuwe Idee: Jordan-RoPE

De auteur, Yaobo Zhang, vraagt zich af: Wat als we de draaiende tol en de afstandsliniaal konden combineren tot één enkel, complexer gereedschap?

In de wiskunde bestaat het concept van een Jordan-blok. Meestal zijn wiskundige hulpmiddelen "netjes" en gescheiden (zoals de draaiende tol en de liniaal als distincte entiteiten). Maar een "defect" of "niet-semisimpel" Jordan-blok is een hulpmiddel waarbij de onderdelen aan elkaar gelijmd zijn op een manier die iets nieuws creëert.

De Creatieve Analogie: De Wiebelende Draaiende Tol
Stel je een draaiende tol (de rotatie) voor die lichtjes uit balans is. Terwijl hij draait, roteert hij niet alleen; hij wiebelt ook.

• De rotatie vertegenwoordigt het ritme van de taal (de fase).
• De wiebel vertegenwoordigt de afstand.
• In de nieuwe Jordan-RoPE wordt de wiebel groter naarmate je verder gaat. Het is niet alleen een simpele rotatie of een simpele afstand; het is een afstand-gemoduleerde rotatie.

Wiskundig gezien creëert dit een eigenschap die er als volgt uitziet:

Afstand × (Rotatie × Cosinus + Rotatie × Sinus)

In plaats van alleen te weten "het is 5 stappen verwijderd" of "het staat op een hoek van 90 graden", ziet het model nu "het is 5 stappen verwijderd en de hoek verschuift vanwege die afstand". Het vangt een specifiek type patroon op waarbij het ritme van de zin verandert afhankelijk van hoe ver je terugkijkt.

Hoe Ze Het Testten

De auteur bouwde dit gereedschap niet alleen; ze testten of het daadwerkelijk helpt in specifieke situaties.

1. De "Synthetische" Test: Ze creëerden een nep-taak waarbij het antwoord strikt afhing van dit "afstand-gemoduleerde rotatie"-patroon (zoals een geheime code waarbij het bericht verandert afhankelijk van hoe ver terug je leest).

   • Resultaat: Het nieuwe gereedschap (Jordan-RoPE) loste deze puzzel veel beter op dan de oude hulpmiddelen (RoPE of ALiBi). Het was het enige dat het "wiebelende rotatie"-patroon op natuurlijke wijze begreep.

2. De "Real World" Test: Ze probeerden het op een klein taalmodel getraind op Wikipedia-tekst (WikiText-103).

   • Resultaat: Het deed het beter dan het standaard RoPE-hulpmiddel, maar het versloeg de "kampioen"-combinatie van RoPE + ALiBi niet.
   • De Haken en Ogen: Het artikel is voorzichtig om te zeggen dat dit geen wondermiddel is voor alle taal. In menselijke taal is de "wiebel" misschien niet altijd het belangrijkste. Het gereedschap is het meest nuttig wanneer de taak specifiek die complexe, afstand-afhankelijke ritmiek vereist.

De "Gestabiliseerde" Versie

Er was een probleem: in de pure wiskundige versie groeit de "wiebel" (het nilpotente deel) oneindig groot naarmate de afstand toeneemt, wat de wiskunde van de computer kan doen crashen.

• De Oplossing: Ze creëerden een "Gestabiliseerde" versie die een limiet aan de wiebel stelt. Het is alsof je een regelaar op de draaiende tol zet zodat hij veel wiebelt, maar nooit uit de hand loopt. Deze versie werkte zeer goed in de tests.

De Conclusie

Dit artikel introduceert Jordan-RoPE, een nieuwe manier om afstand in AI te meten die rotatie en afstand combineert in één enkele, "aan elkaar gelijmde" wiskundige structuur.

• Wat het doet: Het stelt de AI in staat patronen te zien waarbij het ritme van de tekst verandert op basis van afstand.
• Wanneer het het beste werkt: Wanneer de taak complexe, afstand-afhankelijke oscillaties omvat (zoals in de synthetische test).
• Wat het niet doet: Het claimt niet het absolute beste gereedschap te zijn voor elke taak in de taal. Sterker nog, de standaard "RoPE + ALiBi"-combinatie is nog steeds sterker voor algemene tekst.

Zie het als een gespecialiseerde moersleutel. Als je een bout hebt die een specifieke "wiebelende rotatie" vereist om los te draaien, is deze moersleutel perfect. Maar als je gewoon een standaard schroef moet draaien, zijn je oude gereedschappen misschien nog steeds de beste keuze. Het artikel bewijst dat deze gespecialiseerde moersleutel bestaat, werkt zoals bedoeld en nuttig is voor specifieke, complexe taken.

Technische samenvatting

Technische Samenvatting: Jordan-RoPE

Probleemstelling
Relatieve positionele encodingen (RPE) definiëren de primitieve functies van de query-key-lag die beschikbaar is voor attentiemechanismen. Hoewel succesvolle mechanismen zoals RoPE (roterende fase) en ALiBi (additieve afstandsbias) goed begrepen worden via groep-theoretische classificaties van lineaire, translatie-invariante operatoren, vertrouwen ze doorgaans op semisimpele (diagonaliseerbare) generatoren. Dit laat de niet-semisimpele hoek van de classificatie onderbelicht. Specifiek behandelen standaardbenaderingen fase (roterend) en afstand (polynoom/vervorming) als aparte kanalen of additieve biases. Het artikel onderzoekt of het koppelen van een complex roterend eigenwaarde met een nilpotente respons binnen één defectieve Jordan-blok nieuwe primitieve relatieve-positiekenmerken oplevert die structureel verschillend zijn van eenvoudige directe sommen.

Methodologie
De auteurs stellen Jordan-RoPE voor, een constructie die de roterende complexe eigenwaarde en een nilpotente respons inbedt in één complex Jordan-blok van orde twee.

1. Algebraïsche Formulering:
   De generator wordt gedefinieerd als $J_{\gamma, \omega, \eta} = (-\gamma + i\omega)I + \eta N$, waarbij $N$ een nilpotente matrix is ($N^2=0$). De resulterende relatieve operator voor causale lag $d = i-j \ge 0$ is:
   $$G_{exact}(d) = \exp(d J) = e^{(-\gamma + i\omega)d} (I + \eta d N)$$
   Dit genereert een basis van oscillerend-polynoom kenmerken:
   $$e^{-\gamma d} \cos(\omega d), \quad e^{-\gamma d} \sin(\omega d), \quad d e^{-\gamma d} \cos(\omega d), \quad d e^{-\gamma d} \sin(\omega d)$$
   Cruciaal is dat het nilpotente kanaal de frequentie-tangent-kenmerk $d e^{i\omega d}$ levert, waarbij afstand en fase direct worden gekoppeld in plaats van apart te worden toegevoegd.

2. Contragrediente Query-actie:
   Omdat het Jordan-blok niet-orthogonaal is, levert het toepassen van dezelfde transformatie op queries en keys geen zuivere relatieve operator op ($G(i)^\top G(j) \neq G(j-i)$). Om de juiste relatieve score te herstellen, formuleren de auteurs een contragrediente query-actie: queries worden getransformeerd door de inverse transponering van de positie-afhankelijke matrix, terwijl keys de oorspronkelijke transformatie gebruiken. Dit zorgt ervoor dat de attentiescore strikt afhankelijk is van de lag $d$.

3. Stabilisatie:
   De exacte nilpotente term groeit lineair met $d$, wat problematisch is voor lange contexten. De auteurs introduceren Stabilized Jordan-RoPE, waarbij $d$ wordt vervangen door een begrensd vervormingsfunctie $\tau(d) = d / (1 + d/L)$. Hoewel dit de exacte één-parameter-groepswet doorbreekt, behoudt het de lokale Jordan-respons en voorkomt het onbegrensde groei. Een Scaled-exact variant wordt ook voorgesteld, die de groepswet behoudt door de grootte van de vervorming te normaliseren met de contextlengte $L$.

Belangrijkste Bijdragen

• Structurele Identificatie: Het artikel identificeert het complex Jordan-blok van orde twee als de minimale niet-semisimpele uitbreiding van roterende RPE waarbij fase en nilpotente respons zijn gekoppeld in één defectieve representatie, in plaats van gescheiden in deelruimten.
• Primitieve Basis: Het toont aan dat deze constructie direct de primitieve logit-basis $d e^{i\omega d}$ (en zijn reële componenten $d \cos(\omega d), d \sin(\omega d)$) biedt, waarmee een "afstands-gemoduleerde fase"-basis op het pre-softmax-niveau wordt gerealiseerd.
• Implementatie: Het biedt de implementatie van het reële blok en de nodige contragrediente query-actie voor niet-orthogonale afbeeldingen.
• Onderscheid met Baselines: Het scheidt de exacte representatie van gestabiliseerde implementaties, en verduidelijkt dat begrenste vervorming het numerieke gedrag verbetert maar de exacte groepswet opoffert.

Experimentele Resultaten
De evaluatie richt zich op structureel bewijs in plaats van brede prestatieclaims, met gebruik van drie soorten tests:

1. Kernel-niveau Probes: Op een gemengde target $y(d) = (d/L)\cos(\omega d)$ bereikt de Exact/raw Jordan-basis de laagste Mean Squared Error (MSE), en presteert ze aanzienlijk beter dan RoPE, ALiBi en Direct-sum baselines. Dit bevestigt dat de basis direct overeenkomt met de gekoppelde structuur van de target.
2. Synthetisch Taalmodel: In een taak waarbij het model een afstands-gemoduleerde fase-regel moet leren ($K(d) = (d/L)\cos(\omega d)$), bereikt Stabilized Jordan-RoPE een nauwkeurigheid van 0,906 bij lengte 8192, en presteert het beter dan RoPE (0,781) en Direct-sum (0,500). Dit suggereert dat Transformers de gekoppelde modus kunnen benutten wanneer de taak dit belooft.
3. Natuurlijke Taal (WikiText-103): Op een klein byte-level taalmodel bereikt Scaled-exact Jordan-RoPE ($c=1$) het laagste gemiddelde verlies binnen de Jordan-familie (1,869) en is het concurrerend met Damped RoPE (1.884). Echter, RoPE+ALiBi blijft overall het sterkst (1.796). De auteurs merken op dat een grotere geforceerde initiële vervorming ($\eta$) het verlies bij lange lengten in deze setting verslechtert, wat suggereert dat taken in natuurlijke taal voornamelijk demping en recency-bias belonen in plaats van sterke oscillerend-polynoom vervorming.

Betekenis en Claims
Het artikel maakt bescheiden, structurele claims in plaats van te beweren dat er een nieuwe state-of-the-art positionele encoding is:

• Structurele Uitbreiding: Complexe Jordan-blokken bieden een gecontroleerde, niet-semisimpele uitbreiding van roterende RPE.
• Voorwaardelijke Nut: De gekoppelde Jordan-basis is specifiek nuttig wanneer de target-kernel afstands-gemoduleerde fase-interacties belonen (bijv. $d \cdot \text{fase}$).
• Beperkingen: De auteurs stellen expliciet dat ze niet claimen dat nilpotente mechanismen nieuw zijn, noch dat de Jordan-familie bestaande encodingen op algemene natuurlijke taalmodellering domineert. Het bewijs is dat de constructie een specifieke primitieve basis ($d e^{i\omega d}$) biedt die verschilt van de directe som van fase- en afstandskanalen.

Kortom, Jordan-RoPE biedt een wiskundig rigoureuze manier om afstand en fase te koppelen binnen één attentiemechanisme, wat effectief blijkt in synthetische taken die dergelijke koppeling vereisen, terwijl het aantoont dat taken in natuurlijke taal mogelijk nog steeds eenvoudige, ontkoppelde of additieve biases prefereren.