🤖 machine learning

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

Il documento introduce RoVE, una modifica priva di parametri che ruota gli embedding dei valori insieme alle chiavi per rendere il percorso dei valori sensibile alla posizione, unificando così varie formulazioni di attenzione e dimostrando miglioramenti costanti delle prestazioni rispetto alla RoPE standard nei compiti di apprendimento a lungo contesto e in-context.

Autori originali: Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

Pubblicato 2026-06-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Il "Messaggero Cieco"

Immaginate un grande modello linguistico (come quello con cui state parlando) come una gigantesca squadra di lavoratori che si scambiano appunti tra loro.

La Query (Il Lettore): Un lavoratore pone una domanda.
La Key (L'Indice): Altri lavoratori tengono in mano dei cartelli per dire: "Ho la risposta che cerchi!".
Il Value (Il Messaggio): Una volta che il Lettore decide a chi prestare ascolto, quei lavoratori passano gli appunti effettivi (i dati).

Il paper evidenzia un difetto nel modo in cui i modelli moderni (che utilizzano qualcosa chiamato RoPE) gestiscono questo processo.

La Parte Buona: Il modello è molto intelligente nel capire a chi prestare ascolto. Sa che un appunto da un lavoratore che si trova a 5 passi di distanza è diverso da un appunto di qualcuno che si trova a 50 passi. Gestisce la distanza con cura.
La Parte Cattiva: Una volta che il Lettore decide di ascoltare un lavoratore, il contenuto dell'appunto viene trattato allo stesso modo, indipendentemente da quanto sia lontano quel lavoratore.
- Analogia: Immaginate di ascoltare un amico che racconta una storia. Se è proprio accanto a voi, sentite la sua voce chiaramente. Se si trova a 30 metri di distanza, sentite comunque esattamente le stesse parole, proprio come se fosse lì accanto a voi. Il modello non riesce a rendersi conto che la "distanza" dovrebbe cambiare il modo in cui il messaggio viene interpretato, non solo chi ha il diritto di parlare.

La Soluzione: RoVE (Rotary Value Embeddings)

Gli autori propongono una soluzione semplice e gratuita chiamata RoVE.

Inveve di ruotare solo i "cartelli" (Key) per mostrare la distanza, RoVE ruota anche gli "appunti" (Value) prima che vengano letti.

L'Analogia: Immaginate che i lavoratori tengano in mano delle mappe.
- Vecchio Metodo (RoPE): Il Lettore sa esattamente dove si trova il lavoratore. Ma quando il lavoratore consegna il suo appunto, l'appunto è scritto con un carattere standard, indipendentemente da dove si trovi il lavoratore.
- Nuovo Metodo (RoVE): Prima che il lavoratore consegni l'appunto, ruota il foglio in base alla sua distanza. Se è lontano, l'appunto è leggermente inclinato. Se è vicino, è piatto.
- Il Risultato: Quando il Lettore riceve l'appunto, l'inclinazione del foglio gli dice esattamente come interpretare il messaggio rispetto alla propria posizione. Il messaggio stesso ora "conosce" la propria distanza.

Perché Questo è Importante: L' "Attentive Convolution"

Il paper sostiene che questo piccolo cambiamento trasforma il meccanismo di attenzione del modello in qualcosa chiamato "Attentive Convolution" (Convoluzione Attentiva).

La Metafora: Pensate al meccanismo di attenzione standard come a un riflettore. Illumina diverse persone, ma la luce è della stessa identica tonalità ovunque.
Il Cambiamento di RoVE: RoVE fa sì che il riflettore cambi colore a seconda di quanto la persona è lontana dal centro.
Il Beneficio: Questo crea una struttura "block-Toeplitz" (un termine matematico elaborato), che gli autori dicono essere la stessa struttura utilizzata nelle convoluzioni (la matematica dietro il modo in cui i computer vedono le immagini).
- In termini semplici: Facendo questo, il modello inizia a elaborare il linguaggio più come fa con le immagini o gli oggetti fisici, dove la posizione e la distanza cambiano fondamentalmente il significato dei dati.

Cosa Mostrano gli Esperimenti

Gli autori hanno testato questa tecnica su due dimensioni di modelli linguistici (piccola e media) e hanno scoperto che:

Migliore Memoria: I modelli sono diventati più bravi a ricordare le cose su lunghe distanze (recupero di contesto lungo).
Migliore Capacità di Indovinare: Quando interrogati per risolvere enigmi con pochissimi esempi (few-shot learning), hanno ottenuto prestazioni migliori.
Portata Maggiore: I modelli hanno gestito testi molto più lunghi di quelli per cui erano stati addestrati senza confondersi (perplessità fuori distribuzione).

L'Aggiornamento "Gratuito"

La parte più entusiasmante del paper è che RoVE non richiede ulteriore addestramento né memoria extra.

Non aggiunge nuovi "pesi" (parametri) al modello.
Non rallenta significativamente il computer.
È un sostituto "plug-and-play". Potete sostituire il vecchio metodo con RoVE, e il modello diventa immediatamente più intelligente nel gestire la distanza e le storie lunghe.

Riassunto

Il paper sostiene che, affinché un modello linguistico comprenda davvero una storia, non deve solo sapere chi sta parlando; deve anche sapere quanto è lontano l'interlocutore e regolare di conseguenza il messaggio. RoVE è un trucco intelligente e a costo zero che rende il "messaggio" (Value) consapevole della propria distanza, trasformando il modello in un ascoltatore più robusto che eccelle in compiti lunghi e complessi.

Sintesi Tecnica: RoVE (Rotary Value Embeddings Attention)

Problema

I classici Rotary Position Embeddings (RoPE) rendono con successo i punteggi di attenzione relativi alla posizione ruotando query e key in base alle loro posizioni assolute. Tuttavia, il percorso dei valori rimane privo di informazione sulla posizione. Nel linguaggio dei circuiti transformer, mentre il circuito Query-Key (QK) è influenzato dalle posizioni relative, il circuito Output-Value (OV) tratta il token di valore $x_j$ in modo identico indipendentemente dalla sua distanza dalla query $x_i$ . Nello specifico, la mappa dei canali $W_V$ applicata a un token di valore non trasporta alcuna informazione sul suo offset relativo $\delta = j - i$ . Questa asimmetria limita la capacità del modello di eseguire trasformazioni sui valori sensibili alla posizione relativa prima dell'aggregazione, una capacità intrinseca nelle operazioni convoluzionali ma assente nella standard RoPE attention.

Metodologia: RoVE

Gli autori propongono RoVE (Rotary Value Embeddings), una modifica priva di parametri che estende RoPE al percorso dei valori. Il meccanismo centrale consiste nel ruotare i vettori di valore utilizzando le stesse matrici di rotazione dipendenti dalla posizione utilizzate per le key, ma in un modo che li allinei con il sistema di riferimento della query prima dell'aggregazione.

Formulazione Matematica

Nella RoPE standard, l'output alla posizione $i$ è calcolato come:
$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$
dove $A(X)_{ij}$ sono i pesi dell'attenzione RoPE dipendenti dall'offset relativo $j-i$ .

RoVE modifica questo processo ruotando il valore $x_j$ tramite $R_j$ (la matrice di rotazione alla posizione $j$ ) e invertendo poi la rotazione alla posizione della query $i$ tramite $R_i^{-1}$ :
$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$

Interpretazione Strutturale

Questa modifica cambia fondamentalmente la natura dell'operatore di attenzione:

Convoluzione Attentiva: RoVE trasforma il meccanismo di attenzione in una convoluzione attentiva. La costante mappa di valore $W_V$ viene sostituita da una famiglia di kernel dipendenti dall'offset $\psi_\delta = R_\delta W_V$ . L'offset relativo $\delta$ ora modula la trasformazione del token (circuito OV) proprio come modula la selezione del token (circuito QK).
Struttura a Matrix Mixer: Nel framework dei matrix mixer, lo standard RoPE mixer presenta una struttura di Kronecker ( $A \otimes W_V$ ), che separa il routing dalla proiezione dei canali. RoVE sostituisce questa con una struttura block-Toeplitz, dove i blocchi lungo la stessa diagonale di offset relativo condividono lo stesso kernel di valore ruotato, scalato dal peso dell'attenzione.
Prospettiva del Cambio di Frame: L'operazione può essere vista come un cambio di frame: i valori vengono trasformati dai loro frame locali in un frame globale condiviso tramite $R_j$ , aggregati, e poi trasformati nuovamente nel frame locale della query tramite $R_i^{-1}$ .

Efficienza

RoVE non introduce parametri addestrabili aggiuntivi. Le operazioni di rotazione agiscono indipendentemente su $n$ token e $d^2$ coppie di canali, risultando in una complessità lineare $O(nd)$. Ciò è trascurabile rispetto ai layer lineari $O(nd^2)$ e ai layer di attenzione $O(n^2d)$ . Inoltre, RoVE è compatibile con kernel di attenzione efficienti come FlashAttention, poiché le rotazioni avvengono prima e dopo la chiamata al kernel.

Contributi Chiave

Caratterizzazione Strutturale: Il paper fornisce un'analisi teorica dimostrando che RoVE unifica i circuiti QK e OV rendendo il percorso dei valori sensibile alla posizione relativa. Dimostra che ciò trasforma la RoPE attention in una convoluzione attentiva, dotando il modello di una struttura mixer block-Toeplitz.
Validazione Empirica: Gli autori hanno addestrato modelli di tipo GPT-2 (124M e 354M parametri) sul dataset FineWebEdu-10B. Hanno valutato RoVE come sostituzione "drop-in" per il percorso dei valori in modelli linguistici standard (non-shared-KV).
Complementarità con YaRN: Lo studio investiga l'interazione tra RoVE e YaRN (un metodo di interpolazione di frequenza per l'estrapolazione del contesto lungo).

Risultati Sperimentali

La valutazione si è concentrata sull'apprendimento in-context (ICL) few-shot, sulla perplexity out-of-distribution (OOD) e sul recupero a lungo contesto (benchmark RULER).

Performance In-Distribution: RoVE ha migliorato costantemente l'accuratezza del Core ICL e la perplexity in-context all'interno del contesto di addestramento (1024 token) rispetto alla RoPE standard. Ciò indica che il bias della posizione relativa è benefico anche senza estrapolazione.
Perplexity Out-of-Distribution (OOD): RoVE ha ridotto sostanzialmente la perplexity per lunghezze di contesto fino a 16k token. Quando combinato con YaRN, i miglioramenti sono stati additivi, suggerendo che i due metodi affrontano aspetti complementari della generalizzazione a lungo contesto.
Recupero a Lungo Contesto: Sul benchmark RULER (4k/8k token), RoVE ha mostrato guadagni significativi, particolarmente in compiti che richiedono la manutenzione e la ricombinazione delle informazioni attraverso il contesto (es. Variable Tracking, Needle-in-a-Haystack). I miglioramenti sono stati più pronunciati quando RoVE è stato combinato con YaRN.

Significato e Rivendicazioni

Il paper sostiene che RoVE offra un robusto bias strutturale per i Large Language Models (LLM) correggendo un'asimmetria strutturale nell'attenzione RoPE. Rendendo il percorso dei valori sensibile alla posizione, RoVE unifica formulazioni indipendenti di operazioni simili trovate nella computer vision, nella robotica e nelle recenti architetture LLM (es. DeepSeek-V4) sotto un unico framework teorico: la convoluzione attentiva.

Gli autori sottolineano che RoVE è una modifica efficiente e priva di parametri che migliora le prestazioni in scala e in vari compiti, specialmente quelli che richiedono l'aggregazione a lungo raggio. I risultati suggeriscono che la consapevolezza della posizione relativa nel flusso dei valori sia un componente critico per migliorare la robustezza del lungo contesto e le capacità di recupero nelle architetture transformer.