📊 statistics

RotRNN: Modelling Long Sequences with Rotations

Dieses Paper stellt RotRNN vor, ein lineares rekurrentes neuronales Netz, das die Eigenschaften von Rotationsmatrizen nutzt, um eine einfache, effiziente und robust normalisierte Alternative zu komplexen State-of-the-Art-Modellen für die Modellierung langer Sequenzen anzubieten und dabei eine wettbewerbsfähige Leistung auf relevanten Benchmarks erzielt.

Ursprüngliche Autoren: Kai Biegun, Rares Dolga, Jake Cunningham, David Barber

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kai Biegun, Rares Dolga, Jake Cunningham, David Barber

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an eine sehr lange Geschichte zu erinnern, wie etwa einen Roman oder die komplexe Handlung eines Films. Ihr Gehirn (oder ein Computermodell) muss den Anfang der Geschichte im Gedächtnis behalten, während es das Ende liest, ohne dabei überfordert zu werden oder die Details zu vergessen.

Lange Zeit hatten Computer damit Schwierigkeiten. Standardmodelle „wurden müde“ und vergaßen den Anfang (das Problem der verschwindenden Gradienten/vanishing gradient problem) oder wurden „verwirrt“ und explodierten in das Chaos (das Problem der explodierenden Gradienten/exploding gradient problem).

Vor kurzem wurde ein neuer Typ von Computermodell namens Linear Recurrent Neural Network (wie S4 oder LRU) sehr populär, da es hervorragend darin ist, lange Sequenzen zu speichern. Diese Modelle sind jedoch ein wenig wie Hochleistungsrennwagen, die unglaublich schwierig abzustimmen sind. Sie erfordern sehr spezifische, komplizierte „Anfangseinstellungen“ (Initialisierung), und selbst dann ist nicht immer klar, warum sie so gut funktionieren. Manchmal passt die Mathematik dahinter nicht ganz zu der Art und Weise, wie sie tatsächlich im Code aufgebaut sind.

Hier kommt RotRNN, das neue Modell, das in dieser Arbeit vorgeschlagen wird.

Die Kernidee: Der Kreisel

Die Autoren dieser Arbeit fragten sich: „Was wäre, wenn wir unser Gedächtnissystem mithilfe von Rotation aufbauen würden?“

Denken Sie an eine Rotationsmatrix als einen perfekten Kreisel.

Wenn man einen Kreisel dreht, bleibt er aufrecht und stabil. Er wird nicht größer oder kleiner; er dreht sich nur.
In der Mathematik hat eine Rotationsmatrix eine besondere Eigenschaft: Sie bewahrt die „Größe“ (oder die Norm) dessen, was sie berührt. Wenn man eine Zahl in eine Rotation einspeist, ist die Ausgabe dieselbe Größe, nur in eine andere Richtung gedreht.

Die Autoren erkannten, dass, wenn sie ihr Gedächtnissystem vollständig aus diesen „Kreisel-Elementen“ aufbauen würden, das System von Natur aus stabil bleiben würde. Es würde nicht versehentlich zu groß werden (explodieren) oder zu nichts schrumpfen (verschwinden).

Wie es funktioniert (Die einfache Version)

Das Problem mit bisherigen Modellen:
Stellen Sie sich vor, Sie versuchen, einen Stapel Papier im Gleichgewicht zu halten. Frühere Modelle (wie LRU) versuchten, den Stapel zu balancieren, indem sie das Gewicht der Papiere ständig basierend auf komplexen mathematischen Regeln anpassten. Manchmal geriet der Stapel ins Wanken, und das „Gewicht“ (der verborgene Zustand/hidden state) wurde zu schwer oder zu leicht, was das Modell instabil machte.
Die RotRNN-Lösung:
Anstatt Gewichte zu balancieren, dreht RotRNN die Information einfach.

Die Drehung: Jedes Mal, wenn das Modell ein neues Stück Daten liest, rotiert es das Gedächtnis ein Stück weit.
Die Stabilität: Da es eine reine Rotation ist, bleibt die „Größe“ des Gedächtnisses exakt gleich. Es ist wie eine Tänzerin, die sich auf der Stelle dreht; egal wie oft sie sich dreht, sie wird nicht größer oder kleiner.
Der Zerfall: Um sicherzustellen, dass das Modell nicht alles für immer im Gedächtnis behält (was auch schlecht ist), fügen sie eine sanfte „Bremse“ hinzu (einen Zerfallsfaktor/decay factor). Dies ermöglicht es dem Modell, alte Erinnerungen langsam ausklingen zu lassen, während es die aktuellen stabil hält.

Warum ist das besser?

Keine komplizierte Einrichtung: Alte Modelle benötigten einen sehr spezifischen, mathematisch aufwendigen Startpunkt, um zu funktionieren. RotRNN ist wie ein Spielzeug, das direkt einsatzbereit funktioniert. Sie müssen nicht mit komplexen Einstellungen herumspielen; die Mathematik der Rotation hält es automatisch stabil.
Es tut, was es verspricht: Manchmal werden Computermodelle auf eine Weise gebaut, wie sie in der Theorie stehen, arbeiten aber in der Praxis anders. RotRNN ist der Theorie gegenüber „treu“. Der Code macht genau das, was die Mathematik sagt, dass er tun sollte.
Der „Multi-Head“-Trick: Um verschiedene Arten von Erinnerungen zu handhaben (einige kurz, einige lang), nutzt das Modell mehrere „Köpfe“ (Multi-Heads – wie mehrere Kreisel, die gleichzeitig arbeiten). Jeder Kreisel dreht sich mit seiner eigenen Geschwindigkeit, was es dem Modell ermöglicht, sowohl auf jüngste Ereignisse als auch auf Dinge, die vor langer Zeit passiert sind, zu achten.

Die Ergebnisse

Die Autoren testeten RotRNN bei mehreren schwierigen Aufgaben, wie dem Lesen langer Dokumente, der Klassifizierung von Texten und der Erkennung von gesprochenen Worten.

Leistung: Es schnitt genauso gut ab wie die besten existierenden Modelle („State-of-the-Art“).
Stabilität: Als sie die „Größe“ des Gedächtnisses innerhalb des Modells während des Trainings untersuchten, blieb RotRNN vollkommen stabil. Im Gegensatz dazu schwankte die Gedächtnisgröße des vorherigen populären Modells (LRU) wild umher und brauchte lange, um sich zu stabilisieren.

Das Fazript

Das Paper stellt RotRNN vor, eine neue Art für Computer, lange Sequenzen zu speichern. Anstatt komplexe, fragile Balancierakte zu nutzen, verwendet es die einfache, stabile Physik der Rotation. Es ist einfacher zu bauen, stabiler im Betrieb und mindestens so gut in seinem Job wie die fortschrittlichsten Modelle, die derzeit verfügbar sind. Es ist eine Erinnerung daran, dass die eleganteste Lösung manchmal einfach darin besteht, die Dinge am Laufen zu halten.

Technisches Resümee: RotRNN – Modellierung langer Sequenzen mittels Rotationen

Problemstellung
Die Modellierung langer Sequenzen bleibt ein herausforderndes Gebiet im maschinellen Lernen, da die Erfassung weitreichender Abhängigkeiten schwierig ist. Während Transformer unter quadratischer Rechenkomplexität und schwachen induktiven Biases leiden und nicht-lineare RNNs mit verschwindenden oder explodierenden Gradienten zu kämpfen haben, haben jüngste State Space Models (SSMs) und Linear Recurrent Units (LRUs) eine State-of-the-Art-Leistung erreicht. Diese Modelle weisen jedoch erhebliche Nachteile auf:

Komplexe Initialisierung: SSMs wie S4 verlassen sich auf komplizierte theoretische Herleitungen (z. B. HiPPO-Initialisierung basierend auf optimalen Polynomprojektionen), die während des Trainingsprozesses nicht gut verstanden werden.
Diskrepanz zwischen Implementierung und Theorie: Die LRU ist zwar konzeptionell einfacher, spiegelt ihre theoretische Motivation in der Praxis jedoch nicht vollständig wider. Insbesondere gelingt es ihr nicht, konjugierte Paare für Eigenwerte reeller Matrizen zu erzwingen, es fehlen Beschränkungen, um reelle Ausgaben zu gewährleisten, und sie stützt sich auf einen gelernten Normalisierer, der keine konsistenten Größenordnungen des verborgenen Zustands während des gesamten Trainings garantiert.
Stabilität: Bestehende Methoden erfordern oft komplexe Normalisierungsschemata oder Initialisierungsverfahren, die über verschiedene Tiefen und Random Seeds hinweg möglicherweise nicht robust sind.

Methodik
Die Autoren schlagen RotRNN (Rotational Recurrent Neural Network) vor, ein lineares rekurrentes Modell, das die rekurrente Zustandsmatrix $A$ als Rotationsmatrix parametrisiert. Die Methodik basiert auf drei Kernsäulen:

Parametrisierung via Rotationsmatrizen:
Anstatt eine beschränkte Matrix direkt zu lernen, lernt RotRNN eine allgemeine Gewichtungsmatrix $M$ und bildet diese mittels der Matrixexponentialfunktion einer antisymmetrischen Matrix auf die spezielle orthogonale Gruppe $SO(N)$ ab ( $A = \exp(M - M^\top)$ ). Dies stellt sicher, dass $A$ während des Trainings stets eine gültige Rotationsmatrix bleibt.
Um eine effiziente Berechnung von Potenzmatrizen zu ermöglichen (die für die Faltungsform der linearen Rekurrenz erforderlich ist), zerlegen die Autoren die Rotationsmatrix $A$ in eine blockdiagonale Form: $A = P \Theta P^\top$ . Hierbei ist $P$ eine orthogonale Matrix und $\Theta$ besteht aus $2\times2$ -Rotationsblöcken, die durch Winkel $\theta_i$ definiert sind. Diese Struktur ermöglicht die schnelle Berechnung von $A^k$ ohne aufwendige dichte Matrizenoperationen.
Prinzipielle Normalisierung:
Unter Ausnutzung der Orthogonalität von Rotationsmatrizen (wobei die Eigenwerte auf dem Einheitskreis liegen), leiten die Autoren ein Normalisierungsverfahren ab, das eine konstante erwartete Größe des verborgenen Zustands ( $E[\|x_t\|^2] = c$ ) während des Trainings aufrechterhält.
Die Rekurrenz ist definiert als $x_t = \gamma A x_{t-1} + \xi B u_t$ , wobei $\gamma$ ein lernbarer skalarer Zerfallsfaktor ist und $\xi$ ein Rescaling-Koeffizient, der so abgeleitet wurde, dass die konstante Norm-Bedingung erfüllt wird. Im Gegensatz zur LRU, die die Normalisierung basierend auf dem Grenzwert unendlicher Sequenzen vornimmt, gilt die Normalisierung von RotRNN für alle Zeitschritte, wodurch der exponentielle Zerfall früher Eingaben verhindert wird, der häufig auftritt, wenn Normalisierungskonstanten zur Potenz $t$ erhoben werden.
Multi-Head-Architektur:
Um die Einschränkung eines einzelnen skalaren Zerfallsfaktors $\gamma$ (der sich möglicherweise nicht gut für Aufgaben mit unterschiedlichen Gedächtnishorizonten generalisieren kann) zu adressieren, verwendet RotRNN $H$ unabhängige, niedrigdimensionale Heads. Jeder Head operiert mit seiner eigenen Rotationsmatrix $A^{(h)}$ , Eingangsmatrix $B^{(h)}$ und seinem Zerfallsfaktor $\gamma^{(h)}$ . Die Ausgaben werden konkateniert und linear gemischt, was es dem Modell ermöglicht, Abhängigkeiten auf mehreren Skalen zu erfassen.

Wesentliche Beiträge

Neuartige lineare RNN-Schicht: Der Vorschlag einer rekurrenten Schicht, bei der die Zustandsmatrix als Rotation parametrisiert wird, wodurch sichergestellt wird, dass der Algorithmus seiner theoretischen Motivation während des gesamten Trainings treu bleibt.
Effiziente Berechnung: Eine Methode zur effizienten Berechnung von Potenzmatrizen parametrisierter Rotationen durch Zerlegung in blockdiagonale Formen, was eine schnelle lineare Rekurrenz ermöglicht.
Robuste Normalisierung: Eine fundierte Ableitung eines Normalisierungsverfahrens, das eine konstante erwartete Größe des verborgenen Zustands beibehält und somit stärkere Stabilitätsgarantien bietet als vorangegangene Arbeiten, die auf asymptischer Konvergenz beruhen.
Theoretische Erkenntnis: Eine Ableitung, die die mathematische Äquivalenz zwischen einem Spezialfall der LRU (bei dem die Eigenwerte konjugierte Paare bilden) und dem Multi-Head-RotRNN aufzeigt, was potenziell Aufschluss über die internen Mechanismen der LRU geben kann.

Ergebnisse
Die Autoren evaluierten RotRNN auf mehreren Benchmarks für die Modellierung langer Sequenzen:

Long Range Arena (LRA): RotRNN zeigte eine wettbewerbsfähige Leistung gegenüber State-of-the-Art-Modellen linearer Rekurrenz (S4, S5, LRU). Es erreichte die höchsten Werte unter den Baselines bei Aufgaben mit diskreten Eingaben wie ListOps, Text (IMDB) und Retrieval. Bei bildbasierten Aufgaben auf Pixelebene (Path-X, CIFAR) schnitt es jedoch etwas schlechter ab als einige Baselines.
Speech Commands: Bei der 35-Way-Speech-Commands-Klassifikationsaufgabe erreichte RotRNN eine identische Genauigkeit wie die reproduzierte LRU (95,2 %) bei ähnlicher Parameteranzahl und blieb damit konkurrenzfähig mit komplexeren Deep State Space Models.
Stabilitätsanalyse: Eine empirische Analyse der verborgenen Zustandsnormen auf dem ListOps-Datensatz zeigte, dass RotRNN eine nahezu konstante Größenordnung über das Training, die Schichttiefe und verschiedene Random Seeds hinweg beibehält. Im Gegensatz dazu wies die LRU wilde Variationen in den Größenordnungen der verborgenen Zustände auf und benötigte deutlich länger, um zu einer stabilen Größenordnung zu konvergieren.

Bedeutung und Ansprüche
Das Paper behauptet, dass RotRNN eine konzeptionell einfache, effiziente und mathematisch fundierte Alternative zu bestehenden linearen rekurrenten Modellen bietet. Seine primäre Bedeutung liegt in der Überbrückung der Lücke zwischen theoretischer Motivation und praktischer Implementierung. Durch die Verwendung von Rotationsmatrizen vermeidet RotRNN die komplexen Initialisierungsschemata von SSMs sowie die Implementierungsinkonsistenzen der LRU. Die Autoren behaupten, dass ihr Modell ein robustes Normalisierungsverfahren bietet, das Stabilität ohne Rückgriff auf „Black Box“-Initialisierung gewährleistet und gleichzeitig eine wettbewerbsfähige Leistung auf Standard-Benchmarks erzielt. Darüber hinaus legt die Arbeit nahe, dass die Betrachtung der LRU durch die Linse rotationsbasierter Blockstrukturen dazu beitragen kann, die Mechanik der linearen Rekurrenz in vorangegangenen Modellen zu klären.