🤖 machine learning

LeRoPE: Learnable RoPE Frequencies Improve Language Modeling

Dieses Paper führt LeRoPE ein, eine Methode, die die Frequenzen der Rotary Positional Encoding (RoPE) als lernbare Parameter anstatt als feste Hyperparameter behandelt, und demonstriert durch das Trainieren von Modellen mit 52M bis 2,5B Parametern, dass dieser Ansatz das Standard- sowie das Partial-RoPE konsistent übertrifft und dabei signifikant weniger Rechenleistung benötigt, um eine vergleichbare Leistung zu erzielen.

Ursprüngliche Autoren: Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter das Lesen und Schreiben bei. Um dem Roboter zu helfen, die Reihenfolge von Wörtern in einem Satz zu verstehen, geben Sie ihm einen speziellen „Positions-Tracker“. Lange Zeit war der beste Tracker ein fest vorgefertigtes Rezept namens RoPE (Rotary Positional Encodings). Denken Sie bei diesem Rezept an ein riesiges, fest eingestelltes Radio mit 32 verschiedenen Stationen (Frequenzen). Jede Station dreht sich mit einer spezifischen, unveränderlichen Geschwindigkeit, um dem Roboter zu helfen, zu erkennen, wo Wörter relativ zueinander stehen. Einige Stationen drehen sich super schnell, andere sehr langsam. Die Regel lautete: „Fass die Regler nicht an; sie sind in Stein gemeißelt.“

Die Autoren dieser Arbeit stellten jedoch eine einfache Frage: Was wäre, wenn wir den Roboter die Regler selbst einstellen ließen?

Sie führten LeRoPE (Learned RoPE) ein. Anstatt die Frequenzen festzulegen, ließen sie den Roboter während des Trainings einen winzigen „Lautstärkeregler“ für jede der 32 Stationen lernen. Der Roboter darf selbst entscheiden, wie schnell oder langsam jede Station drehen soll, um aus dem Text den besten Sinn zu ergeben.

Die große Entdeckung: Eine Station regiert alles

Als die Forscher Roboter verschiedener Größen trainierten (von einem winzigen Modell mit 52 Millionen Parametern bis hin zu einem massiven Modell mit 2,5 Milliarden Paramern), fanden sie etwas Faszinierendes heraus. Der Roboter passte die Regler nicht einfach nur zufällig an. Er tat konsistent zwei Dinge:

Er verstummte die langsamsten Stationen. Der Roboter erkannte, dass die sehr langsamen Stationen (die kaum rotieren) nicht viel bei der Positionsbestimmung halfen. Er drehte deren Lautstärke auf fast Null.
Er fand eine „Super-Station“. Der Roboter entdeckte eine spezifische Station, die zum Star der Show wurde. Dieses „dominante Band“ rotierte mit einer ganz bestimmten Geschwindigkeit – etwa dem 2,2-fachen der Trainingsfenster-Länge. Wenn der Roboter beispielsweise auf Sätzen von 2.048 Token trainiert wurde, rotierte diese spezielle Station mit einer Wellenlänge von etwa 4.170 Token.

Diese „Super-Station“ fungierte wie ein riesiger, rhythmischer Herzschlag für die Aufmerksamkeit des Roboters. Sie half dem Roboter, den Abstand zwischen Wörtern besser zu verstehen, als es das alte, feste Rezept jemals konnte.

Das Ergebnis: Ein klügerer Roboter mit weniger Aufwand

Das Team testete diese neue Methode an einer Leiter von Modellen, von der winzigen Größe 52M bis hin zur riesigen Größe 2,5B. Die Ergebnisse waren konsistent:

Bessere Leistung: Bei jeder einzelnen Größe machte der Roboter, der LeRoPE nutzt, weniger Fehler (geringerer Loss) als der Roboter mit dem alten, festen RoPE.
Der 3,4%-Sieg: Um die Leistung des LeRoPE-Roboters im größten Maßstab (2,5B Parameter) zu erreichen, hätte der alte RoPE-Roboter 3,4 % mehr Rechenleistung (FLOPs) benötigt. Das ist so, als müsste man eine zusätzliche Strecke von 3,4 % laufen, um ein Rennen im gleichen Tempo zu beenden.
Nadel im Heuhaufen: Sie testeten auch die Fähigkeit des Roboters, eine bestimmte Information in einem langen Text zu finden (der „Needle-in-a-Haystack“-Test). Der LeRoPE-Roboter war besser darin, die Nadel zu finden, selbst wenn viele ablenkende Textstücke (bis zu 31 Distraktoren) im Weg waren.

Was sie ausschlossen

Das Paper stellt sorgfältig klar, was nicht funktionierte oder nicht der Hauptgrund für den Erfolg war:

Es geht nicht nur darum, langsame Stationen auszuschalten. Sie probierten eine Methode namens „Partial RoPE“ (p-RoPE) aus, die einfach die langsamsten Stationen komplett abschaltet. Dies half zwar ein wenig, machte aber nur etwa 10,4 % der Verbesserung aus, die LeRoPE erreichte. LeRoPE ist besser, weil es die Stationen nicht nur ausschaltet, sondern die Art und Weise, wie sie rotieren, umgestaltet.
Es geht nicht nur um die finalen Einstellungen. Sie testeten, die gelernten Regler des Roboters nach dem Training einzufrieren und sie auf einen neuen Roboter anzuwenden. Dieses „Fixed LeRoPE“ erfasste etwa 63,6 % der Verbesserung. Dies deutet darauf hin, dass die finalen Einstellungen zwar großartig sind, aber der Prozess, mit dem der Roboter diese Einstellungen zusammen mit seinem restlichen Gehirn lernt, ebenfalls eine entscheidende Rolle spielt.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in diesen Ergebnissen, da sie nicht nur einen Test durchgeführt haben.

Sie testeten über fünf verschiedene Modellgrößen hinweg.
Sie führten Experimente mit mehreren Zufallssämen (Random Seeds – unterschiedliche Startpunkte) durch, um sicherzustellen, dass die Ergebnisse nicht nur Glück waren. Selbst mit unterschiedlichen Startpunkten fand der Roboter immer dieselbe „Super-Station“.
Sie testeten auf verschiedenen Arten von Texten, einschließlich Code (Python), und sahen ähnliche Muster.

Sie merken jedoch eine kleine Einschränkung an: Ihre größten Modelle (2,5B) sind immer noch viel kleiner als die gigantischen Modelle, die heute in der realen Welt verwendet werden. Obwohl die Ergebnisse also stark und konsistent sind, beobachten sie dieses Verhalten in einem spezifischen Bereich von Modellgrößen.

Das Fazament

Das Paper legt nahe, dass die alte Regel der „festen Frequenzen“ für die Positionsverfolgung nicht das Beste ist, was wir tun können. Indem wir dem Modell erlauben, seine eigenen Frequenzen zu lernen, entdeckt es auf natürliche Weise eine hocheffiziente Art, Position zu handhaben, indem es einen einzigen, kraftvollen „Herzschlag“ erschafft, der ihm hilft, Texte besser und schneller zu verstehen. Es ist eine kleine Änderung an der Mathematik, aber sie verleiht dem Roboter einen spürbaren Vorsprung, spart Rechenleistung und verbessert seine Fähigkeit, Informationen in langen Geschichten zu finden.

Technisches Resümee: LeRoPE: Gelernte RoPE-Frequenzen verbessern die Sprachmodellierung

Problemstellung

Rotary Positional Encodings (RoPE) sind der Standardmechanismus für die Positionskodierung in modernen Large Language Models (LLMs). RoPE arbeitet durch die Rotation von Query- und Key-Vektoren in zweidimensionalen Frequenzbändern, wobei die Rotationsrate für jedes Band durch eine feste geometrische Sequenz bestimmt wird, die durch einen Basis-Hyperparameter ( $b$ ) definiert ist.

Die vorangegangene Forschung hat Einschränkungen dieses festen Frequenzansatzes identifiziert:

Semantische vs. Positionale Verwechslung: Jüngste Arbeiten deuten darauf hin, dass die langsamsten Frequenzbänder (jene mit den niedrigsten Rotationsraten) oft semantische Informationen anstelle von Positionsinformationen tragen, da sie sich über typische Kontextfenster hinweg kaum rotieren.
Suboptimale Frequenzallokation: Bestehende Verbesserungen, wie etwa Partial RoPE (p-RoPE) oder die Anpassung des Basis-Werts $b$ , beinhalten die manuelle Auswahl, welche Bänder rotiert werden sollen oder wie diese skaliert werden. Diese Methoden legen die Frequenzallokation a priori vor dem Training fest, was verhindern kann, dass das Modell das optimale Frequenzspektrum für eine gegebene Aufgabe und Kontextlänge entdeckt.

Die Autoren postulieren, dass die RoPE-Operation, da sie bezüglich ihrer Frequenzen differenzierbar ist, diese Frequenzen als lernbare Parameter anstatt als feste Hyperparameter behandeln sollte.

Methodik: LeRoPE

Das Paper schlägt LeRoPE (Learned RoPE) vor, eine Modifikation des Standard-RoPE-Mechanismus, bei der die Frequenz jedes Bandes durch einen gelernten Skalar skaliert wird.

Kernmechanismus

Anstatt eine feste Frequenz $\theta_m$ für Band $m$ zu verwenden, führt LeRoPE einen lernbaren Skalar $\alpha_m$ pro Frequenzband ein. Die effektive Frequenz $\hat{\theta}_m$ ist definiert als:
$\hat{\theta}_m = e^{\alpha_m} \theta_m$
wobei $\theta_m$ die Standard-RoPE-Frequenz ist, die aus dem Basiswert $b$ abgeleitet wird.

Wichtige Designentscheidungen:

Logarithmische Parametrisierung: Die Frequenzen sind im Log-Raum ( $\alpha_m$ ) parametrisiert. Dies stellt sicher, dass Aktualisierungen an $\alpha_m$ zu multiplikativen Änderungen der Frequenz führen, was eine bessere Konditionierung bietet, wenn Frequenzen gegen Null skaliert werden, und instabile Gradientendynamiken nahe Null vermeidet.
Initialisierung: $\alpha_m$ wird auf 0 initialisiert, wodurch LeRoPE zu Beginn des Trainings mathematisch äquivalent zu Standard-RoPE ist.
Parameter-Sharing: Derselbe Satz gelernter Frequenzen wird über alle Layer und Attention-Heads hinweg geteilt. Für eine Head-Dimension $d_h$ fügt dies dem Modell $d_h/2$ lernbare Parameter hinzu (z. B. 32 Parameter für $d_h=64$ ).
Optimierung: Die Autoren verzichten auf Weight Decay für die LeRoPE-Parameter und wenden ein unabhängiges Gradient Clipping auf diese an, um ein stabiles Lernen der Frequenzskalare zu gewährleisten.

Theoretische Analyse

Das Paper leitet den Gradienten der Loss-Funktion in Bezug auf die Frequenzparameter her. Sie zeigen, dass die Gradientenaktualisierung für eine Frequenz $\theta_m$ der Ableitung einer Ersatz-Loss-Funktion $P_m(\theta)$ entspricht, welche der Realteil der diskreten Zeit-Fourier-Transformation des Offset-aggregierten Gradientensignals ist. Diese Formulierung legt nahe, dass das Modell Frequenzen lernt, indem es sie mit den spektralen Charakteristika der Attention-Logit-Gradientensignale über relative Token-Offsets hinweg ausrichtet.

Experimentelles Setup

Die Autoren validieren LeRoPE durch eine rigorose Skalierungsstudie:

Modellgröße: Eine „Leiter“ von Decoder-only Transformern im Bereich von 52M bis 2,52B Parametern.
Architektur: Basierend auf der Enoki-Skalierungsleiter (Charles et al., 2025; Ferbach etok al., 2026), mit fester Head-Dimension (64) und ko-skalierten Tiefe/Breite.
Trainingsdaten: Vortrainiert auf dem C4-Korpus mit einer Sequenzlänge von 2048 Tokens.
Baselines:
- Standard RoPE ( $b=10.000$ ).
- Partial RoPE (p-RoPE, $p=0,75$ ), welches die Rotation aus den langsamsten 25 % der Bänder entfernt.
Evaluationsmetriken: Validierungs-Perplexität auf C4, Compute-Multiplikatoren (erforderliche FLOPs, um den Loss einer Baseline zu erreichen) und „Needle-in-a-Haystack“ (NIAH) Retrieval-Genauigkeit.

Hauptergebnisse

1. Performance über alle Skalen hinweg

LeRoPE übertrifft sowohl Standard-RoPE als auch p-RoPE konsistent über alle Modellgrößen (52M bis 2,5B) hinweg.

Perplexität: LeRoPE erreicht bei jeder Skala eine niedrigere Validierungs-Perplexität.
Recheneffizienz: Beim größten Maßstab (2,5B) benötigt Standard-RoPE 3,4 % mehr Rechenleistung (FLOPs), um den durch LeRoPE erreichten Loss zu erreichen. Dieser Vorteil ist beständig, wobei der Compute-Multiplikator für RoPE relativ zu LeRoPE bei etwa 1,03–1,04 stagniert.
Robustheit: Die Verbesserung hält über mehrere Random Seeds hinweg stand. Für das 217M-Modell ist die Differenz zwischen LeRoPE und RoPE (0,0066 nats) 3- bis 7-mal größer als die Standardabweichung der Seed-Variabilität.

2. Entstehung eines dominanten Positionsbands

Die Analyse der gelernten Frequenzen offenbart ein konsistentes Muster über Skalen und Seeds hinweg:

Frequenzunterdrückung: Das Modell lernt, die Frequenzen der langsamsten Bänder zu unterdrücken (gegen Null zu treiben), was effektiv deren Rotation entfernt.
Dominantes Band: Ein einzelnes Frequenzband kristallisiert sich mit einer großen Norm und einem starken Positionsbeitrag zu den Attention-Logits heraus. Dieses „dominante Positionsband“ besitzt eine Wellenlänge ( $\lambda$ ), die linear mit der Trainings-Kontextlänge ( $L_{train}$ ) skaliert, spezifisch $\lambda \approx 2,2 \times L_{train}$ .
Mechanismus: Während Standard-RoPE Positionsinformationen über viele Bänder verteilt, konzentriert LeRoPE das Positionssignal in dieses spezifische dominante Band, während die verbleibenden Bänder scheinbar andere Signaltypen handhaben oder sich gegenseitig aufheben.

3. Ablation und Generalisierung

Gefrorene Frequenzen: Das Training eines Modells mit Frequenzen, die auf die Werte eines separaten LeRoPE-Durchlaufs eingefroren wurden, fängt 63,6 % des Performance-Gewinns ein. Dies zeigt, dass die Entdeckung des optimalen Frequenzsatzes ein primärer Treiber des Erfolgs ist, obwohl die Dynamik des gemeinsamen Trainings ebenfalls beiträgt.
Code-Pretraining: Experimente auf dem StarCoder-Python-Datensatz zeigen ähnliche Gewinne (0,0104 nats Verbesserung gegenüber RoPE) und ähnliche Frequenzmuster, was darauf hindeutet, dass die Methode über natürliche Sprache hinaus generalisiert.
Extrapolation: Während LeRoPE unter naiver Extrapolation stärker degradiert als RoPE (da der sinusförmige Beitrag des dominanten Bands außerhalb des Trainingsfensters positiv wird), bleibt es kompatibel mit Standard-Kontextverlängerungstechniken wie NTK-by-parts und YaRN. In Kombination mit diesen Methoden übertrifft LeRoPE RoPE und p-RoPE bei Sequenzlängen von bis zu 32k Tokens.

Bedeutung und Behauptungen

Das Paper behauptet, dass LeRoPE eine einfache, parametereffiziente und universell anwendbare Verbesserung der Positionskodierung von Sprachmodellen darstellt.

Lernbarkeit statt Heuristiken: Die Arbeit demonstriert, dass die Behandlung von Frequenzbändern als lernbare Parameter es dem Modell ermöglicht, automatisch eine effizientere Spektralallokation zu entdecken als manuell abgestimmte Heuristiken (wie p-RoPE oder feste Basis-Anpassungen).
Effizienz: Die Methode bietet einen konsistenten „kostenlosen“ Performance-Boost, der das benötigte Rechenbudget, um ein Ziel-Performance-Niveau zu erreichen, um etwa 3,4 % reduziert.
Mechanistischer Einblick: Die Entstehung eines einzelnen dominanten Positionsbands liefert neue Erkenntnisse darüber, wie Modelle Frequenzspektren nutzen. Es deutet darauf hin, dass eine spezifische, gelernte Frequenz ausreicht, um das notwendige Positionssignal für In-Distribution-Aufgaben zu kodieren, während langsamere Bänder besser für semantische Inhalte genutzt werden.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass die Experimente auf Modelle bis zu 2,5B Parameter beschränkt sind und dass die Gewinne bei übertrainierten, größeren Modellen noch nicht vollständig nachgewiesen wurden. Die Konsistenz der Ergebnisse über die Skalierungsleiter und verschiedene Datensätze (C4 und Code) hinweg deutet jedoch darauf hin, dass die Methode robust ist und wahrscheinlich auch für größere Foundation-Modelle von Nutzen ist.