Sintesi Tecnica: PJ-RoPE: Uno Spazio di Posizione Fourier–Jet–Affine per l'Attenzione Relativa

Problema

Le rappresentazioni della posizione relativa sono centrali per l'attenzione a lungo contesto nei Transformer, eppure i metodi esistenti sono spesso trattati come design competitivi piuttosto che come componenti di una struttura unificata.

• RoPE codifica il ritardo relativo tramite caratteri di Fourier (rotazioni).
• ALiBi aggiunge un termine di recenza affine monotono direttamente ai logit dell'attenzione.
• Jordan-RoPE sostituisce le frequenze rotative semisimplesi con blocchi di Jordan finiti, generando caratteristiche "finite-jet" di tipo derivativo.

Il documento sostiene che questi metodi condividono una struttura algebrica comune radicata nei moduli di differenza a coefficienti costanti. Nello specifico, le radici semplici corrispondono ai caratteri di Fourier/RoPE, le radici non nulle ripetute generano jet di Fourier/Jordan, e le radici unitarie ripetute producono la recenza affine simile ad ALiBi. Il problema centrale affrontato è la mancanza di un framework unificato che tratti questi metodi come settori selezionabili all'interno di un unico spazio apprendibile, e l'assenza di diagnostica per determinare quali settori siano effettivamente utilizzati da compiti specifici. Inoltre, le caratteristiche jet di ordine superiore (che coinvolgono potenze della distanza relativa) pongono sfide di stabilità in contesti lunghi, causando una crescita drammatica delle caratteristiche trasformate e dei logit.

Metodologia

Gli autori propongono PJ-RoPE (Poincaré-type RoPE), un framework che unifica queste primitive in uno spazio di posizione relativa Fourier–Jet–Affine apprendibile.

1. Formulazione Teorica

Il framework si basa sull'algebra dei moduli di differenza a coefficienti costanti. Definisce uno spazio di posizione $P_{PJ}$ come una somma diretta di tre settori:

• Settore Fourier–Jet Omogeneo ($H_{FJ}$): Contiene RoPE (ordine-0) e Jordan-RoPE (ordine-$r > 0$) features. Algebricamente, questi sono soluzioni di equazioni con radici non nulle ripetute, che generano termini del tipo $(d/L)^r e^{-cd/L} e^{i\omega d}$.
• Settore di Recenza Affine ($A_{rec}$): Contiene termini costanti e lineari (es. $-sd/L$), corrispondenti alla radice unitaria ripetuta. Questo fornisce una direzione "simile alla traslazione" analogamente all'estensione affine del gruppo di Lorentz (da cui "di tipo Poincaré").
• Settore Light-Cone (LC) ($H_{LC}$): Un grafico di coordinate compattificato per il comportamento di ordine superiore per affrontare la stabilità. Sostituisce la distanza grezza $d$ con una fase di tipo rapidità $\phi_L(d) = L \text{asinh}(d/L)$ e un'ampiezza saturante $\beta_L(d) = d/\sqrt{d^2 + L^2}$.

Il framework distingue tra due regimi di implementazione:

• PJ-bias: Un kernel di attenzione additivo scalare contenente caratteri di Fourier, jet smorzati, termini affini e varianti LC. È apprendibile ma non è una trasformazione esatta delle feature.
• PJ-rotary: Un'implementazione di trasformazione delle feature esatta che applica azioni relative alle feature di query e key, utilizzata per verificare le proprietà di chiusura di RoPE e Jordan-RoPE.

2. Diagnostica Adattiva

Per determinare quali regioni dello spazio vengono selezionate dai compiti, gli autori introducono gate di settore adattivi ($g_{FJ}, g_{aff}, g_{LC}$) e tre diagnostiche:

• Massa Effettiva (Effective Mass): Misura l'allocazione della magnitudo dei parametri gated attraverso i settori e gli ordini dei jet.
• Energia Funzionale (Functional Energy): Misura la scala realizzata dalle componenti del kernel su una finestra di valutazione, tenendo conto dello smorzamento e della cancellazione di fase.
• Leave-One-Order-Out (LOO): Valuta se la rimozione di un ordine specifico di jet degrada la funzione adattata, separando la selezione dei parametri dal reale contributo funzionale.

3. Stabilizzazione Light-Cone

Per prevenire la crescita esponenziale dei jet di ordine superiore in contesti lunghi, il ramo LC applica una trasformazione di coordinate. Questo limita la magnitudo delle feature trasformate e dei logit, ma comprime la risoluzione di fase a lunghe distanze, inquadrando esplicitamente il compromesso tra stabilità e risoluzione.

Contributi Chiave

1. Formulazione dello Spazio di Posizione: Il documento formula l'attenzione relativa come uno spazio Fourier–Jet–Affine apprendibile, separando i kernel di bias scalari dalle trasformazioni esatte delle feature rotative.
2. Contenimento dei Settori: Identifica RoPE, Jordan-RoPE (jet finiti), ALiBi (recenza affine) e le coordinate LC come settori distinti all'interno di una singola struttura matematica.
3. Diagnostica Adattiva: L'introduzione di gate di settore, massa effettiva, energia funzionale e ablazioni LOO fornisce un metodo per misurare empiricamente la selezione del settore a livello di task.
4. Catena di Evidenze: Gli autori valutano il recupero dei settori, l'uso addestrabile e l'allocazione naturale dei task attraverso kernel controllati, task sintetici, modelli linguistici a livello di byte e flussi di token musicali simbolici.

Risultati Sperimentali

Gli esperimenti utilizzano piccoli Transformer causali (circa 0.15M–0.20M parametri) addestrati su contesti brevi e valutati su contesti lunghi (fino a 32.768 token).

• Recupero di Kernel Fissi: Il PJ-bias scalare recupera con successo target di fase pura, jet finiti, affini e LC, confermando che lo spazio copre le famiglie di primitive progettate.
• Recupero di Settori Adattivi: Quando addestrati con segnali "teacher" (es. affine puro o specifici ordini di jet), i gate appresi e le diagnostiche spostano correttamente la massa verso i settori corrispondenti.
• Task di Sequenza Sintetici: I modelli di attenzione addestrabili possono utilizzare questi settori quando il ramo posizionale trasporta il segnale. I teacher affini attivano il ramo di recenza; i teacher di jet con segno attivano le varianti FJ.
• Linguaggio Naturale (Livello di Byte): Nei compiti linguistici (Tiny Shakespeare, WikiText-2, War and Peace), i modelli selezionano prevalentemente il comportamento affine/recenza. La massa FJ/LC di ordine superiore appare solo come una minore correzione diagnostica. La combinazione di RoPE con scaling stile NTK e recenza affine produce le migliori prestazioni a lungo contesto.
• Flussi di Token Musicali: Nei compiti musicali simbolici (MAESTRO, MusicNet), l'allocazione differisce. Le varianti LC-affine rimangono forti, ma vi è un'allocazione costante e misurabile verso le correzioni di ordine superiore (piccola ma non nulla). Ciò si allinea alla necessità di modellare i ritorni di motivi e gli inviluppi ritmici.
• Stabilità LC vs. Risoluzione: Le varianti LC riescono a limitare le norme di Q/K e le scale di cache/logit a 32.768 token. Tuttavia, ciò comporta un costo: la "portata di fase a lungo raggio" (far-range phase span) è significamente ridotta, portando a una minore risoluzione di recupero rispetto alle coordinate grezze.

Significato e Rivendicazioni

Il documento posiziona PJ-RoPE non come un singolo nuovo modello, ma come un framework diagnostico dello spazio di posizione. Il suo significato primario risiede nel riformulare i meccanismi di posizione relativa come uno spazio unificato e apprendibile dove diversi compiti selezionano diverse regioni:

• Selezione Dipendente dal Task: L'evidenza empirica suggerisce che i compiti linguistici favoriscono strutture affine/recenza, mentre i flussi simbolici strutturati (come la musica) utilizzano un mix di affine e correzioni jet di ordine superiore.
• Compromesso Stabilità-Risoluzione: Il lavoro quantifica esplicitamente il compromesso introdotto dalle coordinate Light-Cone: esse stabilizzano l'estrapolazione a lungo contesto limitando la crescita, ma comprimono la risoluzione di fase.
• Separazione delle Responsabilità: Il documento distingue tra "correttezza della rappresentazione" (chiusura esatta di PJ-rotary) e "stabilità a lungo contesto" (percorso scalare LC), notando che le trasformazioni esatte delle feature possono degradare bruscamente a lunghe distanze senza stabilizzazione.

Gli autori concludono che l'uso stabile a lungo contesto dipende da un'allocazione dipendente dal task tra recenza affine, struttura Fourier–jet e compattificazione LC. Rimangono modesti riguardo alla generalizzazione, notando che queste scoperte si basano su modelli piccoli e schemi di tokenizzazione specifici, e che è necessaria una validazione su scala maggiore prima che queste allocazioni possano essere trattate come regole di deployment.