🤖 machine learning

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

Das Papier stellt RoVE vor, eine parameterfreie Modifikation, die Wert-Embeddings zusammen mit Keys rotiert, um den Wertpfad positionssensitiv zu machen, wodurch verschiedene Attention-Formulierungen vereinheitlicht werden und konsistente Leistungsverbesserungen gegenüber dem Standard-RoPE bei Long-Context- und In-Context-Learning-Aufgaben demonstriert werden.

Ursprüngliche Autoren: Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „blinde Bote“

Stellen Sie sich ein großes Sprachmodell (wie das, mit dem Sie gerade sprechen) als ein riesiges Team von Arbeitern vor, die sich gegenseitig Zettel zuwerfen.

Der Query (Der Leser): Ein Arbeiter stellt eine Frage.
Der Key (Der Index): Andere Arbeiter halten Schilder hoch, um zu sagen: „Ich habe die Antwort, die du brauchst!“
Der Value (Die Nachricht): Sobald der Leser entscheidet, wem er zuhören soll, übergeben diese Arbeiter ihre eigentlichen Notizen (die Daten).

Das Paper weist auf einen Fehler hin, wie moderne Modelle (die etwas namens RoPE verwenden) dies handhaben.

Der gute Teil: Das Modell ist sehr intelligent darin, wem es zuhören soll. Es weiß, dass eine Notiz von einem Arbeiter, der 5 Schritte entfernt steht, etwas anderes ist als eine Notiz von jemandem, der 50 Schritte entfernt steht. Es behandelt die Distanz sorgfältig.
Der schlechte Teil: Sobald der Leser beschließt, einem Arbeiter zuzuhören, wird der Inhalt der Notiz so behandelt, als wäre er egal, wie weit dieser Arbeiter entfernt ist.
- Analogie: Stellen Sie sich vor, Sie hören einem Freund beim Erzählen einer Geschichte zu. Wenn er direkt neben Ihnen steht, hören Sie seine Stimme klar. Wenn er 30 Meter entfernt ist, hören Sie immer noch exakt dieselben Worte, als stünde er direkt neben Ihnen. Das Modell versäumt es zu erkennen, dass die „Distanz“ beeinflussen sollte, wie die Nachricht interpretiert wird, und nicht nur, wer spricht.

Die Lösung: RoVE (Rotary Value Embeddings)

Die Autoren schlagen eine einfache, kostenlose Korrektur namens RoVE vor.

Anstatt nur die „Schilder“ (Keys) zu rotieren, um die Distanz anzuzeigen, rotiert RoVE auch die „Notizen“ (Values), bevor sie gelesen werden.

Die Analogie: Stellen Sie sich vor, die Arbeiter halten alle Landkarten in den Händen.
- Der alte Weg (RoPE): Der Leser weiß genau, wo der Arbeiter steht. Aber wenn der Arbeiter ihm die Notiz übergibt, ist die Notiz in einer Standard-Schriftart geschrieben, unabhängig davon, wo der Arbeiter ist.
- Der neue Weg (RoVE): Bevor der Arbeiter die Notiz übergibt, dreht er das Papier basierend darauf, wie weit er entfernt ist. Wenn er weit weg ist, ist die Notiz leicht gekippt. Wenn er nah dran ist, liegt sie flach.
- Das Ergebnis: Wenn der Leser die Notiz erhält, sagt ihm die Neigung des Papiers genau, wie er die Nachricht im Verhältnis zu seiner eigenen Position interpretieren muss. Die Nachricht selbst „weiß“ nun ihre Distanz.

Warum das wichtig ist: Die „Aufmerksame Faltung“ (Attentive Convolution)

Das Paper behauptet, dass diese winzige Änderung den Aufmerksamkeitsmechanismus des Modells in etwas verwandelt, das man „Attentive Convolution“ nennt.

Die Metapher: Denken Sie an einen Standard-Aufmerksamkeitsmechanismus wie einen Scheinwerfer. Er leuchtet auf verschiedene Personen, aber das Licht hat überall die gleiche Farbe.
Die RoVE-Änderung: RoVE lässt den Scheinwerfer die Farbe ändern, je nachdem, wie weit die Person vom Zentrum entfernt ist.
Der Vorteil: Dies erzeugt eine „Block-Toeplitz“-Struktur (ein mathematischer Fachbegriff), die laut den Autoren dieselbe Struktur ist, die auch bei Faltungen (Convolutions) verwendet wird (die Mathematik hinter der Bildverarbeitung durch Computer).
- Vereinfacht gesagt: Durch dies beginnt das Modell, Sprache eher so zu verarbeiten wie Bilder oder physische Objekte, bei denen Position und Distanz die Bedeutung der Daten grundlegend verändern.

Was die Experimente zeigten

Die Autoren testeten dies an zwei Größen von Sprachmodellen (klein und mittelgroß) und fanden heraus:

Besseres Gedächtnis: Die Modelle wurden besser darin, Dinge über lange Distanzen zu behalten (Long-Context Retrieval).
Besseres Raten: Wenn sie gebeten wurden, Rätsel mit sehr wenigen Beispielen zu lösen (Few-Shot Learning), schnitten sie besser ab.
Größere Reichweite: Die Modelle verarbeiteten Texte, die viel länger waren, als sie trainiert wurden, ohne verwirrt zu werden (Out-of-Distribution Perplexity).

Das „kostenlose“ Upgrade

Der spannendste Teil des Papers ist, dass RoVE kein zusätzliches Training oder zusätzlichen Speicher benötigt.

Es fügt dem Modell keine neuen „Gewichte“ (Parameter) hinzu.
Es verlangsamt den Computer nicht signifikant.
Es ist ein „Drop-in“-Ersatz. Man kann die alte Methode durch RoVE austauschen, und das Modell wird sofort besser darin, Distanzen und lange Geschichten zu handhaben.

Zusammenfassung

Das Paper argumentiert, dass ein Sprachmodell, um eine Geschichte wirklich zu verstehen, nicht nur wissen sollte, wer spricht; es muss auch wissen, wie weit weg der Sprecher ist, und die Nachricht entsprechend anpassen. RoVE ist ein kluger, kostengünstiger Trick, der die „Nachricht“ (Value) ihrer Distanz bewusst macht und das Modell in einen robusteren Zuhörer verwandelt, der bei langen, komplexen Aufgaben glänzt.

Technisches Resümee: RoVE (Rotary Value Embeddings Attention)

Problemstellung

Standardmäßige Rotary Position Embeddings (RoPE) bewirken erfolgreich, dass Aufmerksamkeitswerte positionsrelativ werden, indem sie Queries und Keys basierend auf ihren absoluten Positionen rotieren. Der Value-Pfad bleibt jedoch positionsblind. In der Sprache der Transformer-Schaltkreise (Transformer Circuits) ist der Query-Key (QK)-Schaltkreis zwar auf relative Positionen voreingenommen, der Output-Value (OV)-Schaltkreis behandelt das Value-Token $x_j$ jedoch identisch, unabhängig von seinem Abstand zum Query $x_i$ . Speziell trägt die Channel-Map $W_V$ , die auf ein Value-Token angewendet wird, keine Informationen über dessen relativen Versatz $\delta = j - i$ . Diese Asymmetrie begrenzt die Fähigkeit des Modells, positionssensitive Transformationen auf die Values vor der Aggregation durchzuführen – eine Fähigkeit, die in Faltungsoperationen (Convolutional Operations) inhärent ist, aber in der Standard-RoPE-Attention fehlt.

Methodik: RoVE

Die Autoren schlagen RoVE (Rotary Value Embeddings) vor, eine parameterfreie Modifikation, die RoPE auf den Value-Pfad erweitert. Der Kernmechanismus besteht darin, die Value-Vektoren mit dens denselben positionsabhängigen Rotationsmatrizen zu rotieren, die auch für die Keys verwendet werden, jedoch in einer Weise, die sie vor der Aggregation mit dem Referenzrahmen des Queries ausrichtet.

Mathematische Formulierung

In Standard-RoPE wird der Output an Position $i$ wie folgt berechnet:
$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$
wobei $A(X)_{ij}$ die RoPE-Aufmerksamkeitsgewichte sind, die von dem relativen Versatz $j-i$ abhängen.

RoVE modifiziert dies, indem der Value $x_j$ durch $R_j$ (die Rotationsmatrix an Position $j$ ) rotiert und anschließend die Rotation an der Query-Position $i$ durch $R_i^{-1}$ invertiert wird:
$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$

Strukturelle Interpretation

Diese Modifikation verändert die Natur des Attention-Operators grundlegend:

Aufmerksame Faltung (Attentive Convolution): RoVE transformiert den Attention-Mechanismus in eine aufmerksame Faltung. Die konstante Value-Map $W_V$ wird durch eine versatzabhängige Kernel-Familie $\psi_\delta = R_\delta W_V$ ersetzt. Der relative Versatz $\delta$ moduliert nun die Token-Transformation (OV-Schaltkreis) genauso wie er die Token-Selektion (QK-Schaltkreis) moduliert.
Matrix-Mixer-Struktur: Im Rahmen der Matrix-Mixer-Architektur weist der Standard-RoPE-Mixer eine Kronecker-Struktur ( $A \otimes W_V$ ) auf, die Routing von der Channel-Projektion entkoppelt. RoVE ersetzt dies durch eine Block-Toeplitz-Struktur, bei der Blöcke entlang derselben relativen-Offset-Diagonale denselben rotierten Value-Kernel teilen, skaliert durch das Aufmerksamkeitsgewicht.
Perspektive des Frame-Wechsels: Die Operation kann als Frame-Wechsel betrachtet werden: Die Values werden von ihren lokalen Frames in einen gemeinsamen globalen Frame transformiert (via $R_j$ ), aggregiert und dann zurück in den lokalen Frame des Queries transformiert (via $R_i^{-1}$ ).

Effizienz

RoVE führt keine zusätzlichen lernbaren Parameter ein. Die Rotationsoperationen wirken unabhängig auf $n$ Tokens und $d^2$ Channel-Paare, was zu einer linearen Komplexität von $O(nd)$ führt. Dies ist vernachlässigbar im Vergleich zu den $O(nd^2)$ linearen Schichten und den $O(n^2d)$ Attention-Schichten. Darüber hinaus ist RoVE kompatibel mit effizienten Attention-Kerneln wie FlashAttention, da die Rotationen vor und nach dem Kernel-Aufruf erfolgen.

Zentrale Beiträge

Strukturelle Charakterisierung: Die Arbeit liefert eine theoretische Analyse, die zeigt, dass RoVE die QK- und OV-Schaltkreise vereinheitlicht, indem es den Value-Pfad positionssensitiv macht. Es wird demonstriert, dass dies die RoPE-Attention in eine aufmerksame Faltung verwandelt und dem Modell eine Block-Toeplitz-Mixer-Struktur verleiht.
Empirische Validierung: Die Autoren trainierten GPT-2-ähnliche Modelle (124M und 354M Parameter) auf dem FineWebEdu-10B Datensatz. Sie evaluierten RoVE als direkten Ersatz (Drop-in Replacement) für den Value-Pfad in Standard-Sprachmodellen (ohne Shared-KV).
Komplementarität mit YaRN: Die Studie untersucht die Interaktion zwischen RoVE und YaRN (einer Methode zur Frequenz-Interpolation für die Extrapolation langer Kontexte).

Experimentelle Ergebnisse

Die Evaluierung konzentrierte sich auf Few-Shot In-Context Learning (ICL), Out-of-Distribution (OOD) Perplexity und Long-Context Retrieval (RULER Benchmark).

In-Distribution Performance: RoVE verbesserte konsistent die Core-ICL-Genauigkeit und die In-Context-Perplexity innerhalb des Trainingskontextes (1024 Tokens) im Vergleich zu Standard-RoPE. Dies deutet darauf hin, dass der relative Positions-Bias selbst ohne Extrapolation vorteilhaft ist.
Out-of-Distribution (OOD) Perplexity: RoVE reduzierte die Perplexity bei Kontextlängen von bis zu 16k Tokens erheblich. In Kombination mit YaRN waren die Verbesserungen additiv, was darauf hindeutet, dass beide Methoden komplementäre Aspekte der Generalisierung bei langen Kontexten adressieren.
Long-Context Retrieval: Im RULER-Benchmark (4k/8k Tokens) zeigte RoVE signifikante Gewinne, insbesondere bei Aufgaben, die die Aufrechterhaltung und Rekombination von Informationen über den Kontext hinweg erfordern (z. B. Variable Tracking, Needle-in-a-Haystack). Die Verbesserungen waren am ausgeprägtesten, wenn RoVE mit YaRN kombiniert wurde.

Bedeutung und Behauptungen

Das Paper behauptet, dass RoVE einen robusten strukturellen Bias für Large Language Models (LLMs) bietet, indem es eine strukturelle Asymmetrie in der RoPE-Attention korrigiert. Durch die Positionssensitivität des Value-Pfads vereinheitlicht RoVE unabhängige Formulierungen ähnlicher Operationen, die in der Computer Vision, Robotik und jüngsten LLM-Architekturen (z. B. DeepSeek-V4) gefunden werden, unter einem einzigen theoretischen Rahmen: der aufmerksamen Faltung (attentive convolution).

Die Autoren betonen, dass RoVE eine parameterfreie, effiziente Modifikation ist, die die Leistung über verschiedene Modellskalen und Aufgaben hinweg verbessert, insbesondere bei Aufgaben, die eine Aggregation über lange Reichweiten erfordern. Die Ergebnisse legen nahe, dass die relative Positionsbewusstheit im Value-Strom eine kritische Komponente für die Verbesserung der Robustheit und der Retrieval-Fähigkeiten in langen Kontexten in Transformer-Architekturen ist.