Technische Samenvatting: RoVE (Rotary Value Embeddings Attention)

Probleemstelling

Standaard Rotary Position Embeddings (RoPE) zorgen er succesvol voor dat aandachtsscores positie-relatief worden door queries en keys te roteren op basis van hun absolute posities. Echter, het value-pad blijft positie-blind. In de taal van transformer-circuits is, terwijl de Query-Key (QK) circuit bevooroordeeld is naar relatieve posities, de Output-Value (OV) circuit ongevoelig voor de afstand tot de query $x_i$, ongeacht de waarde van het token $x_j$. Specifiek draagt de kanaalmap $W_V$ die op een value-token wordt toegepast geen informatie over de relatieve offset $\delta = j - i$. Deze asymmetrie beperkt het vermogen van het model om positie-gevoelige transformaties uit te voeren op de values vóór aggregatie, een capaciteit die inherent is aan convolutionele operaties maar afwezig is in standaard RoPE-attention.

Methodologie: RoVE

De auteurs stellen RoVE (Rotary Value Embeddings) voor, een parameter-vrije modificatie die RoPE uitbreidt naar het value-pad. De kern van het mechanisme is het roteren van de value-vectoren met dezelfde positie-afhankelijke rotatiematrices die voor keys worden gebruikt, maar op een manier die ze uitlijnt met het referentiekader van de query vóór aggregatie.

Wiskundige Formulering

In standaard RoPE wordt de output op positie $i$ als volgt berekend:
$$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$$
waarbij $A(X)_{ij}$ de RoPE-aandachtsgewichten zijn die afhankelijk zijn van de relatieve offset $j-i$.

RoVE modificeert dit door de value $x_j$ te roteren door $R_j$ (de rotatiematrix op positie $j$) en vervolgens de rotatie op de query-positie $i$ te inverteren door $R_i^{-1}$:
$$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$$

Structurele Interpretatie

Deze modificatie verandert de aard van de attention-operator fundamenteel:

1. Attentieve Convolutie: RoVE transformeert het attention-mechanisme in een attentieve convolutie. De constante value-map $W_V$ wordt vervangen door een offset-afhankelijke kernel-familie $\psi_\delta = R_\delta W_V$. De relatieve positie $\delta$ moduleert nu de token-transformatie (OV-circuit) net zoals het de token-selectie (QK-circuit) moduleert.
2. Matrix Mixer Structuur: In het matrix mixer-framework heeft de standaard RoPE mixer een Kronecker-structuur ($A \otimes W_V$), waarbij routing ontkoppeld is van kanaalprojectie. RoVE vervangt dit door een block-Toeplitz structuur, waarbij blokken langs dezelfde relatieve-offset diagonaal dezelfde geroteerde value-kernel delen, geschaald door het aandachtsgewicht.
3. Frame-verandering Perspectief: De operatie kan worden gezien als een frame-verandering: values worden getransformeerd van hun lokale frames naar een gedeeld globaal frame via $R_j$, geaggregeerd, en vervolgens getransformeerd terug naar het lokale frame van de query via $R_i^{-1}$.

Efficiëntie

RoVE introduceert geen extra leerbare parameters. De rotatie-operaties werken onafhankelijk op $n$ tokens en $d^2$ kanaalparen, wat resulteert in een lineaire complexiteit van $O(nd)$. Dit is verwaarloosbaar vergeleken met de $O(nd^2)$ lineaire lagen en $O(n^2d)$ attention-lagen. Bovendien is RoVE compatibel met efficiënte attention-kernels zoals FlashAttention, aangezien de rotaties plaatsvinden vóór en na de kernel-call.

Belangrijkste Bijdragen

1. Structurele Karakterisering: Het artikel biedt een theoretische analyse die aantoont dat RoVE de QK- en OV-circuits verenigt door het value-pad relatief-positie-gevoelig te maken. Het demonstreert dat dit de RoPE-attention transformeert in een attentieve convolutie, waardoor het model een block-Toeplitz mixer-structuur krijgt.
2. Empirische Validatie: De auteurs trainden GPT-2-stijl modellen (124M en 354M parameters) op de FineWebEdu-10B dataset. Ze evalueerden RoVE als een drop-in vervanging voor het value-pad in standaard (niet-gedeelde KV) taalmodellen.
3. Complementariteit met YaRN: De studie onderzoekt de interactie tussen RoVE en YaRN (een frequentie-interpolatiemethode voor long-context extrapolatie).

Experimentele Resultaten

De evaluatie richtte zich op few-shot in-context learning (ICL), out-of-distribution (OOD) perplexiteit en long-context retrieval (RULER benchmark).

• In-Distribution Prestaties: RoVE verbeterde consistent de Core ICL-nauwkeurigheid en in-context perplexiteit binnen de trainingscontext (1024 tokens) vergeleken met standaard RoPE. Dit geeft aan dat de relatieve-positie bias gunstig is, zelfs zonder extrapolatie.
• Out-of-Distribution (OOD) Perplexity: RoVE verminderde de perplexiteit aanzienlijk bij contextlengtes tot 16k tokens. In combinatie met YaRN waren de verbeteringen additief, wat suggereert dat de twee methoden complementaire aspecten van long-context generalisatie aanpakken.
• Long-Context Retrieval: Op de RULER benchmark (4k/8k tokens) liet RoVE significante winst zien, met name in taken die informatie-onderhoud en recombinatie over de context vereisen (bijv. Variable Tracking, Needle-in-a-Haystack). De verbeteringen waren het meest uitgesproken wanneer RoVE werd gecombineerd met YaRN.

Betekenis en Claims

Het artikel claimt dat RoVE een robuuste structurele bias biedt voor Large Language Models (LLMs) door een structurele asymmetrie in RoPE-attention te corrigeren. Door het value-pad positie-gevoelig te maken, verenigt RoVE onafhankelijke formuleringen van vergelijkbare operaties gevonden in computer vision, robotica en recente LLM-architecturen (bijv. DeepSeek-V4) onder één enkel theoretisch kader: attentieve convolutie.

De auteurs benadrukken dat RoVE een parameter-vrije, efficiënte modificatie is die de prestaties over modelschalen en taken heen verbetert, met name die welke langdurige aggregatie vereisen. De resultaten suggereren dat relatieve-positie bewustzijn in de value-stream een cruciaal onderdeel is voor het verbeteren van long-context robuustheid en retrieval-capaciteiten in transformer-architecturen.