💬 NLP

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

Questa survey tecnica fornisce un quadro unificato per comprendere i metodi di codifica della posizione nei Transformer — dagli approcci assoluti e relativi ai Rotary Position Embeddings (RoPE) — analizzando al contempo le loro proprietà computazionali, le tecniche di scalabilità per contesti lunghi e la distinzione critica tra la capacità di estrapolazione della lunghezza e la generalizzazione affidabile su contesti lunghi.

Autori originali: Jiguo Li

Pubblicato 2026-08-12

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jiguo Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come comprendere una storia. Hai un cervello super veloce che può guardare tutte le parole di una frase contemporaneamente, invece di leggerle una per una come fa un essere umano. Questa è la magia del Transformer, il motore dietro l'IA moderna. Ma c'è un problema: poiché questo cervello vede tutto in una volta, non ha idea di quale parola sia venuta prima, seconda o ultima. Se rimescolassi le parole in una frase, questo cervello penserebbe che la versione rimescolata sia buona quanto l'originale. Per risolvere questo, dobbiamo dare all'IA un modo per sapere "dove" si trova ogni parola nella linea. Lo chiamiamo Codifica della Posizione (Position Encoding). Pensalo come a dare a ogni parola un cartellino identificativo unico o un numero di posto a sedere. Senza questi cartellini, l'IA è come un ospite a una festa che vede tutti i volti ma non ha idea di chi stia accanto a chi, o di chi sia arrivato per primo.

Questo articolo è un'immersione profonda nei diversi sistemi di "cartellini identificativi" che abbiamo inventato per l'IA nel corso degli anni. Traccia la storia dai semplici numeri di posto a sedere ai complessi orologi rotanti, e infine a una nuova generazione di trucchi che permettono all'IA di leggere libri composti da centinaia di migliaia di parole senza confondersi. L'autore non si limita a elencare questi metodi; sta cercando di capire quali funzionano davvero quando proviamo a estenderli per gestire storie massicce, e ci avverte che il solo fatto che un sistema possa accettare un input lungo non significa che lo comprenda davvero.

L'evoluzione del "Numero di Posto" dell'IA

All'inizio, il modo più semplice per dare a una parola un numero di posto era semplicemente cercarla in un dizionario. Questo è chiamato Posizione Assoluta Appresa (Learned Absolute Position). Immagina un insegnante che distribuisce un elenco dove la "Parola 1" riceve un colore specifico, la "Parola 2" un altro, e così via. Funziona molto bene per le storie brevi, ma se provi a leggere un romanzo e l'insegnante ha preparato un elenco solo per le prime 500 parole, l'IA si perde quando arriva alla parola 501.

Poi arrivò la Codifica Sinusoidale (Sinusoidal Encoding). Invece di un elenco statico, l'IA usa un modello di onda matematica (come un'onda sinusoidale) per generare i numeri di posto. Pensa a questo come a un insieme di orologi che ruotano a velocità diverse. Alcuni orologi ticchettano velocemente per distinguere tra la parola 1 e la parola 2, mentre altri ticchettano lentamente per distinguere tra la parola 1 e la parola 1.000. Questo è ingegnoso perché l'IA può calcolare un numero di posto per qualsiasi posizione, anche per quelle che non ha ancora visto. Tuttavia, l'articolo sottolinea che il solo fatto di poter calcolare il numero non significa che l'IA sappia come usarlo per distanze molto lunghe.

Successivamente, i ricercatori si sono resi conto che nel linguaggio ciò che conta spesso è la distanza tra le parole, non i loro numeri di posto assoluti. La parola "esso" è vicina al sostantivo a cui si riferisce? Questo ha portato alla Codifica della Posizione Relativa (Relative Position Encoding). Invece di dire "Io sono al posto 50", l'IA impara a dire: "Io sono a 3 posti di distanza da te". È come un gioco del musical chairs dove ti interessa solo chi è seduto accanto a te, non il numero esatto sulla tua sedia. Metodi come T5 e Transformer-XL usano questo approccio per gestire testi lunghi concentrandosi sullo scarto tra le parole.

Il Protagonista: RoPE

L'articolo mette in evidenza un metodo di terza generazione chiamato RoPE (Rotary Position Embedding) come attuale campione per molti grandi modelli di IA. Inveve di aggiungere un numero alla parola o calcolare una distanza, RoPE tratta i dati della parola come una freccia rotante. Mentre la parola avanza nella linea, la sua freccia ruota. Quando l'IA confronta due parole, controlla l'angolo tra le loro frecce. Se le frecce sono vicine, le parole sono vicine nella storia; se sono lontane, le parole sono lontane.

La bellezza di RoPE è che gestisce naturalmente la "distanza" tra le parole senza bisogno di una tabella di ricerca separata. È come se tutti alla festa indossassero un orologio che gira a una velocità basata su quando sono arrivati. Quando due persone parlano, guardano semplicemente la differenza tra le lancette dei loro orologi per sapere da quanto tempo sono separate.

La Sfida del Lungo Contesto: Allungare la Storia

Il problema principale di questi sistemi è che sono solitamente addestrati su storie brevi (come 4.000 parole). Quando proviamo a usarli per documenti massicci (come 128.000 parole o più), gli "orologi" o le "frecce rotanti" iniziano a ruotare secondo schemi che l'IA non ha mai visto prima. È come provare a guidare un'auto progettata per le strade cittadine su un'autostrada; il motore potrebbe girare, ma la gestione sembra sbagliata.

L'articolo esamina diverse tecniche di "estensione" per risolvere il problema:

Interpolazione della Posizione (Position Interpolation - PI): Questo sistema schiaccia la storia lunga nello spazio breve che l'IA già conosce. È come comprimere un film di 10 ore in 2 ore. L'IA può guardarlo, ma i dettagli diventano sfocati e potrebbe perdere le sottili differenze tra parole che sono vicine tra loro.
Scaling NTK-aware: Questo è più intelligente. Mantiene i "clocks veloci" (che gestiscono i dettagli ravvicinati) alla loro velocità normale, ma rallenta i "clocks lenti" per coprire la lunga distanza. È un compromesso che mantiene nitidi i dettagli locali pur raggiungendo più lontano.
NTK Dinamico: Questo metodo cambia il fattore di estensione a seconda di quanto è lunga la storia corrente. Se la storia è breve, non la estende affatto. Se è lunga, la estende. Tuttavia, l'articolo avverte che questo può essere complicato da gestire in tempo reale perché potrebbe confondere la memoria dell'IA riguardo alle parole passate.
LongRoPE e LongRoPE2: Questi sono i metodi più avanzati. Inveve di usare una singola regola per tutti, cercano il perfetto fattore di estensione per ogni parte del cervello dell'IA. Mischiano persino storie brevi e lunghe durante l'addestramento in modo che l'IA impari a gestirle entrambe. L'autore suggerisce che questa sia la strada più promettente, ma richiede una calibrazione attenta e dati specifici.

Il Grande Avvertimento: Il fatto che ci stia dentro, non significa che funzioni

La scoperta più importante di questo articolo è un bagno di realtà. Il solo fatto che un modello di IA possa accettare un input di 100.000 parole non significa che possa comprenderlo. L'autore sostiene che molti modelli falliscono il test "Ago nel Pagliaio" (trovare un fatto specifico in un testo enorme) o faticano nel ragionamento su lunghe distanze, anche se hanno attivati le sofisticate impostazioni di "lungo contesto".

Essi sottolineano che il contesto efficace (quanto l'IA effettivamente utilizza) è spesso molto più breve del contesto nominale (il numero massimo di parole che può tecnicamente contenere). Evidenziano inoltre che non basta cambiare la matematica per gestire numeri più grandi; l'IA deve essere riaddestrata o perfezionata con queste nuove impostazioni per imparare effettivamente a usarle.

Il Verdetto

L'articolo conclude che, sebbene abbiamo fatto progressi incredibili dai semplici numeri di posto sedere ai complessi orologi rotanti, non abbiamo ancora risolto il problema della comprensione del lungo contesto. Non esiste una singola "soluzione magica". L'approccio migliore sembra essere un mix di scaling intelligente (come LongRope), un addestramento attento con esempi sia brevi che lunghi e test rigorosi per vedere se l'IA sta effettivamente prestando attenzione all'intera storia, e non solo all'inizio e alla fine.

Per chiunque costruisca o utilizzi questi modelli di IA, il messaggio è chiaro: non fidatevi solo dei numeri di marketing. Se volete che un'IA legga un intero romanzo, dovete controllare se è in grado di trovare i colpi di scena nel mezzo, non solo se può inghiottire l'intero libro in un solo boccone. Il viaggio verso un'IA a lungo contesto è ancora in corso, e la strada davanti a noi richiede più di semplici numeri più grandi; richiede modi più intelligenti per mantenere focalizzata l'attenzione dell'IA.

Sintesi Tecnica: Codifica della Posizione nei Transformer

Definizione del Problema

I meccanismi di auto-attenzione nei Transformer consentono interazioni dipendenti dal contenuto tra i token, ma mancano di un meccanismo intrinseco per codificare l'ordine dei token. Senza una posizione esplicita, il modello è equivariante alle permutazioni dell'input; rimescolare la sequenza di input produce un output corrispondentemente rimescolato, rendendo il modello incapace di distinguere la struttura della sequenza. Sebbene le prime soluzioni iniettassero informazioni posizionali nelle rappresentazioni di input o nei punteggi di attenzione, estendere questi meccanismi a contesti lunghi (oltre la lunghezza di addestramento) presenta sfide significative. Nello specifico, la semplice estrapolazione delle codifiche di posizione porta spesso a sfasamenti fuori distribuzione (OOD), degradazione dei punteggi di attenzione e perdita delle prestazioni in contesti brevi. Inoltre, vi è una mancanza di comprensione unificata su come diverse strategie di codifica (assoluta, relativa e rotazionale) interagiscano con il KV caching, l'estrapolazione della lunghezza e scelte architettoniche specifiche come la Multi-Query Attention (MLA).

Metodologia ed Evoluzione Tecnica

Il documento fornisce una survey tecnica unificata e la derivazione dei metodi di codifica della posizione, categorizzandoli in tre generazioni:

1. Codifica della Posizione Assoluta

Embeddings Appresi: Ai token vengono assegnati vettori apprendibili da una tabella di parametri ( $P \in \mathbb{R}^{L_{max} \times d}$ ). Questo è semplice ma vincolato a una lunghezza massima e manca di vincoli strutturali sulle posizioni adiacenti.
Codifica Sinusoidale: Utilizza funzioni seno e coseno con frequenze variabili per generare vettori di posizione. Sebbene la forma sia assoluta, le proprietà geometriche (somma degli angoli) implicano uno spostamento relativo. Tuttavia, il modello deve imparare a sfruttare questa struttura, e ciò non garantisce una generalizzazione affidabile per contesti lunghi.

2. Codifica della Posizione Relativa

Shaw et al.: Aggiunge vettori di distanza relativa apprendibili a Chiavi (Keys) e Valori (Values).
Transformer-XL: Decompone l'attenzione in contenuto-contenuto, contenuto-posizione e offset globali per supportare la memoria a livello di segmento.
T5: Comprime le distanze relative in bias scalari appresi per ogni testa di attenzione e bucket di distanza.
Limitazioni: Questi metodi spesso aumentano la complessità computazionale a causa dei calcoli a coppie $n \times n$ e complicano la fusione degli operatori e il KV caching.

3. Rotary Position Embeddings (RoPE)

Meccanismo: RoPE ruota i vettori Query e Key in base alle loro posizioni assolute. Fondamentalmente, il prodotto scalare di vettori ruotati dipende solo dalla posizione relativa ( $n-m$ ), codificando efficacemente la distanza relativa pur mantenendo la forma standard $QK^\top$ .
Derivazione: Basata su matrici di rotazione 2D o moltiplicazione di numeri complessi ( $z' = z e^{i m \theta}$ ).
Proprietà: Non garantisce un decadimento dell'attenzione monotonico con la distanza (i punteggi oscillano periodicamente), ma consente una rappresentazione esplicita della distanza relativa all'interno del punteggio di attenzione.

4. Estensioni per Contesti Lunghi (Scaling di RoPE)

Il documento dettaglia i metodi per estendere RoPE oltre le lunghezze di addestramento, affrontando il problema delle "fasi non addestrate" dove le dimensioni a bassa frequenza entrano in intervalli di fase non visti:

Interpolazione di Posizione (PI): Comprime uniformemente gli indici di posizione per far rientrare la lunghezza target nell'intervallo di addestramento. Ciò riduce la risoluzione locale.
NTK-aware: Modifica la base di RoPE ( $\beta$ ) per scalare le frequenze in modo non uniforme, preservando la struttura locale ad alta frequenza pur espandendo la copertura a bassa frequenza.
Dynamic NTK: Regola dinamicamente il fattore di scala in base alla lunghezza corrente della sequenza per evitare di comprimere input brevi.
NTK-by-parts & Ya\RN: Applica diverse strategie di interpolazione in base agli intervalli di frequenza (rotazioni all'interno della lunghezza di addestramento) e include la calibrazione della temperatura dell'attenzione per gestire i cambiamenti di entropia.
LongRoPE & LongRoPE2: Utilizza la ricerca evolutiva per trovare i fattori di scala per dimensione e gli intervalli di ritenzione dipendenti dalla posizione. LongRoPE2 introduce "periodi di addestramento effettivi" e addestramento ibrido (mischiando contesti brevi e lunghi) per ottimizzare sia l'estensione del contesto lungo che la ritenzione del contesto breve.

5. Alternativa: ALiBi

ALiBi aggiunge una penalità di distanza lineare ( $-m_h|i-j|$ ) ai logit dell'attenzione. Non richiede una tabella di posizione e inietta un bias di recenza, sebbene manchi della struttura di fase multifrequenza di RoPE.

Contributi Chiave

Derivazione Unificata: Il documento deriva come RoPE converta gli indici di posizione assoluta in differenze di fase relative nei prodotti scalari Query-Key, chiarendo la relazione matematica tra codifica assoluta e relativa.
Confronto Sistematico: Confronta i metodi in base ai punti di iniezione (input, logit o trasformazione geometrica), ai costi computazionali, alla compatibilità con il KV cache e alle capacità di estrapolazione della lunghezza.
Analisi delle Leggi di Scaling: Formalizza la relazione tra la base di RoPE, la lunghezza di addestramento e l'intervallo di estrapolazione, definendo le dimensioni critiche in cui la copertura di fase diventa insufficiente.
Linee Guida di Implementazione: Il rapporto sottolinea che la configurazione della posizione (es. rope_theta, convenzioni di accoppiamento, fattori di scala) deve essere vincolata al checkpoint e che la "lunghezza nominale" non è uguale alla "lunghezza effettiva".
Protocolli di Valutazione: Propone l'uso di metriche che vadano oltre la semplice accettazione dell'input, suggerendo metriche come i tassi di ritenzione del contesto breve, la perplessità per posizione e task di recupero/ragionamento (es. needle-in-a-haystack, span di definizione-uso del codice).

Risultati e Scoperte

Estrapolazione vs. Generalizzazione: La capacità di calcolare caratteristiche posizionali oltre la lunghezza di addestramento non implica una generalizzazione affidabile per contesti lunghi. Un'estensione di successo richiede l'adattamento dei pesi del modello alle nuove distribuzioni di fase.
Trade-off: Lo scaling uniforme (PI) preserva la stabilità ma degrada la risoluzione locale. Lo scaling non uniforme (NTK, LongRoPE) preserva meglio la struttura locale ma richiede una calibrazione o una ricerca attenta.
Consistenza del KV Cache: I metodi di scaling dinamico (come Dynamic NTK) confliggono con il KV caching standard se l'angolo di rotazione dei token storici cambia; le implementazioni rigorose richiedono di ruotare nuovamente le chiavi in cache o di fissare l'ingrandimento per sessione.
Diversità dei Modelli: Sebbene RoPE sia diventato dominante nei LLM decoder-only (es. LLaMA, PaLM, Gemma), esistono variazioni significative. Alcuni modelli (BLOOM, Falcon) usano ALiBi, T5 usa bias relativi, e nuove architetture (DeepSeek, GLM-5, Kimi K3) impiegano sottospazi RoPE/NoPE disaccoppiati o meccanismi di posizione impliciti (KDA) per supportare MLA o l'attenzione sparsa.

Significato e Conclusione

Il documento conclude che il campo si è spostato dalla semplice iniezione di coordinate a sofisticate strategie di scaling della frequenza e di addestramento ibrido. Tuttavia, diverse sfide rimangono irrisolte:

Contesto Effettivo: Accettare input lunghi non garantisce l'utilizzo affidabile delle dipendenze a lungo raggio.
Aliasing di Fase: Le funzioni periodiche possono causare il fatto che diverse distanze producano fasi simili, un problema non del tutto eliminato dalle combinazioni multifrequenza.
Conflitto del Contesto Breve: L'interpolazione e lo scaling spesso degradano le capacità a breve raggio, e mancano regole stabili per il trasferimento tra modelli.
Semantica del Sistema: Le implementazioni ingegneristiche (packing, sliding windows, speculative decoding) possono involontariamente rompere la semantica della posizione se non allineate con cura.

L'autore afferma che la ricerca futura deve andare oltre il semplice ampliamento delle lunghezze nominali del contesto. Invece, l'obiettivo dovrebbe essere quello di stabilire meccanismi di posizione che siano prevedibili, addestrabili, memorizzabili in cache e capaci di esprimere strutture complesse e multidimensionali (come grafi di chiamata del codice o relazioni spaziali multimodali), valutati attraverso compiti reali di lunga dipendenza piuttosto che attraverso benchmark di recupero sintetici.