Sintesi Tecnica: Operatori di Viaggio per la Composizione Strutturata Multi-Asse

Definizione del Problema

Le attuali architetture di apprendimento automatico faticano a modellare dati con struttura lungo più assi (ad esempio, sequenze, immagini, alberi, dati volumetrici) in un modo che si allinei con i meccanismi di apprendimento basati su vettori. Mentre le strutture compositive 1D possono essere modellate utilizzando semigruppi non commutativi o gruppi liberi, non esiste un framework algebrico ampiamente accettato per la composizione 2D o multidimensionale. I sistemi algebrici esistenti spesso non riescono a supportare i bisogni specifici delle moderne architetture, in particolare riguardo a come i dati si compongono e come le posizioni relative vengono descritte attraverso assi indipendenti.

Esiste una tensione critica: i meccanismi di attenzione standard aggregano i valori senza una composizione non commutativa, scartando di fatto il contesto strutturale di come i punti dati si relazionino lungo diversi assi. Inoltre, mentre l'Embedding di Posizione Rotativa (RoPE) modella con successo le posizioni relative 1D, estendere questo approccio a dati multidimensionali richiede un framework algebrico principato che garantisca l'indipendenza dal percorso (ovvero, comporre "destra poi giù" produce lo stesso risultato di "giù poi destra") e supporti bias induttivi adattivi al contenuto.

Metodologia: Il Framework Algebrico

Il documento introduce un framework compositivo in cui ogni elemento di dato porta sia un contenuto ($v \in \mathbb{R}^d$) sia un insieme di generatori di passo d'asse ($R_1, \dots, R_D \in G \le O(d)$), dove $G$ è un gruppo di trasformazioni ortogonali che preservano la norma.

Operazione Core

In 1D, la composizione di due punti dati $(a, A)$ e $(b, B)$ è definita come:
$$(a, A) \circ (b, B) := (a + Ab, AB)$$
Qui, il contenuto del composito è la somma del contenuto del primo punto e del secondo punto ruotato nel frame del primo. Il generatore di passo d'asse del composito è il prodotto $AB$. Questa operazione è associativa ma non commutativa.

In $D$-dimensioni, ogni dato porta un generatore per ogni asse. La composizione lungo un asse specifico $k$ applica il generatore di quell'asse per ruotare il contenuto del secondo punto e accumula il generatore per quell'asse, lasciando invariati gli altri assi.

L'Operatore di Viaggio (Journey Operator)

Un "viaggio" è definito come il percorso che connette due posizioni. L'operatore di viaggio $P_{j \to k}$ è il prodotto dei generatori di passo d'asse lungo il percorso dalla posizione $j$ alla posizione $k$.

• Indipendenza dal Percorso: Il documento dimostra che la composizione e il movimento attraverso gli assi sono indipendenti dal percorso (ovvero, il risultato dipende solo dallo spostamento, non dall'ordine degli assi) se e solo se i generatori di passo d'asse per asse commutano ($R_i R_j = R_j R_i$).
• Regimi Flat vs. Curved: Quando i generatori commutano, il framework opera in un regime "flat" (piatto) dove l'operatore di viaggio è una funzione pura dello spostamento ($P_{j \to k} = R^{k-j}$). Quando non commutano, il regime è "curved" (curvo), e le trasformazioni relative dipendono dalla posizione assoluta.

Classificazione Teorica

Sotto specifici assiomi (bilinearità, invarianza del frame torale, composizionalità del cociclo e preservazione della norma), il documento classifica tutti i meccanismi di attenzione compatibili. Dimostra che l'unico meccanismo compatibile è una rotazione $SO(2)^{d/2}$ blocco-diagonale. Questo risultato spiega perché RoPE e le sue varianti (2D-RoPE, tree PEs) emergono naturalmente come casi speciali. Viceversa, se viene assunto l'intero gruppo ortogonale $O(d)$, la struttura posizionale collassa completamente.

Architettura JoFormer

Motivato da queste scoperte, gli autori propongono JoFormer (Journey-based Transformer), che integra l'operatore di viaggio nel meccanismo di attenzione:

1. Lato Score: Ruota query e key con i rispettivi operatori assoluti ($A_i q_i, A_j k_j$) prima di calcolare gli score di attenzione.
2. Lato Value: Applica l'operatore di viaggio ai valori prima dell'aggregazione: $c_k = \sum_j \alpha_{kj} P_{j \to k} v_j$. Questo porta la struttura compositiva sul lato dei valori, cosa che l'attenzione standard manca.

Il documento presenta tre varianti:

• JoFormer-fixed: Utilizza angoli lineari rispetto alla posizione (frequenze standard di RoPE) con rotazione dei valori.
• JoFormer-learned: Utilizza vettori di frequenza appresi per layer.
• JoFormer-projected: Calcola gli angoli dal contenuto dello stream residuo tramite un MLP, creando un operatore di viaggio dipendente dai dati.

Contributi Chiave

1. Framework Compositivo: Un framework algebrico unificato in cui i dati portano contenuto e generatori di passo d'asse, definendo la composizione come un'unica operazione associativa che si estende naturalmente da 1D a $D$-dimensioni.
2. Risultati Teorici:
   • Prova che la composizione indipendente dal percorso richiede generatori di passo d'asse che commutano.
   • Classificazione che mostra come, sotto naturali assiomi, l'unico meccanismo compatibile sia la rotazione blocco-diagonale $SO(2)^{d/2}$, recuperando RoPE come caso speciale.
   • Prova che nel regime flat, il trasporto dei valori tramite l'operatore di viaggio è equivariante rispetto alla traslazione.
   • Dimostrazione che la Trasformata Discreta di Fourier (DFT) è un caso speciale di questo embedding compositivo.
3. Architettura JoFormer: Un nuovo design di modello che applica l'operatore di viaggio ai valori, unificando l'attenzione standard, i modelli State-Space (SSM) e JoFormer sotto una "formula del percorso del valore" (value-path formula).
4. Gerarchia Value-Path: Un ponte teorico che mostra come le ricorrenze SSM si srotolano nella stessa formula value-path dell'attenzione, chiarendo le differenze strutturali tra queste famiglie.

Risultati Sperimentali

Gli autori hanno condotto controlli di sanità (sanity checks) con singolo seed su compiti di visione, linguaggio e generalizzazione della lunghezza per testare le ipotesi del framework:

• Visione (CIFAR-100 & ImageNet):

  • Su CIFAR-100, l'applicazione della rotazione del Valore (V) (ruotare i valori e contro-ruotare l'output) ha migliorato costantemente l'accuratezza attraverso diversi modelli e tipi di frequenza. La sinergia tra la rotazione V e le frequenze apprendibili ha prodotto un guadagno del +1.88% rispetto al 2D-RoPE standard.
  • Su ImageNet-1K (ViT-S), JoFormer con rotazione V ha ottenuto un miglioramento dell'accuratezza Top-1 del +0.40% rispetto a RoPE2D.
  • Gli esperimenti hanno confermato l'ipotesi del "regime flat": le rotazioni dense (curved, come LieRE) hanno performato peggio delle rotazioni assiali (commuting).

• Modellazione del Linguaggio (Wikipedia):

  • JoFormer-projected (angoli dipendenti dal contenuto) ha ottenuto la perplexity più bassa tra tutte le configurazioni testate rispetto a RoFormer e alle varianti fixed/learned di JoFormer.

• Generalizzazione della Lunghezza:

  • JoFormer-projected ha dimostrato capacità di estrapolazione superiori. Quando addestrato su una lunghezza di sequenza 512 e testato su 4096, ha raggiunto un rapporto di perplexity di 1.02x, superando significativamente RoPE (6.29x) e JoFormer-fixed (4.41x). Ciò suggerisce che gli angoli dipendenti dai dati sono cruciali per la generalizzazione della lunghezza, oltre alla semplice rotazione V.

Significato e Claim

Il documento sostiene di fornire un framework algebrico fondamentale che risolve la tensione tra la struttura compositiva multi-asse e l'apprendimento basato su vettori. La sua importanza risiede in:

1. Unificazione Teorica: Spiega perché i metodi simili a RoPE sono risultati naturali di specifici vincoli di simmetria e fornisce una notazione comune per l'attenzione, gli SSM e JoFormer.
2. Bias Induttivo: Identifica un bias strutturale mancante nell'attenzione standard: la mancanza di composizione non commutativa sul lato dei valori. JoFormer colma questa lacuna.
3. Utilità Pratica: I test iniziali suggeriscono che questi bias induttivi (specificamente la rotazione V e gli angoli dipendenti dal contenuto) producono miglioramenti osservabili nei compiti di visione e nella generalizzazione della lunghezza.

Gli autori rimangono modesti, notando che i loro esperimenti sono controlli di sanità con singolo seed piuttosto che affermazioni definitive di benchmark, e che il valore del framework risiede principalmente nel fornire una regola di design principata. Dichiarano esplicitamente che, sebbene la teoria motivi l'architettura, non prova che le specifiche varianti (come JoFormer-projected) supereranno sempre le baseline, ma piuttosto che sono coerenti con la gerarchia value-path derivata.