On the Geometry of Positional Encodings in Transformers

1. Il Problema

I modelli linguistici neurali, in particolare l'architettura Transformer, elaborano sequenze di parole. Tuttavia, le operazioni matematiche fondamentali al loro interno (moltiplicazioni di matrici e meccanismi di attenzione) sono intrinsecamente invarianti rispetto all'ordine (permutazione-equivarianti). Senza un componente aggiuntivo, un Transformer non può distinguere tra una sequenza e una sua permutazione, rendendolo incapace di risolvere compiti sensibili all'ordine delle parole.

Attualmente, le positional encodings (codifiche posizionali) sono progettate principalmente tramite tentativi ed errori (es. codifiche sinusoidali fisse, encodings appresi, RoPE, ALiBi) senza una teoria matematica solida che spieghi:

1. Perché siano strettamente necessarie.
2. Quale struttura acquisiscano durante l'addestramento.
3. Qual sia la configurazione ottimale per rappresentare la geometria statistica di un corpus.

2. Metodologia

L'autore sviluppa una teoria matematica basata sulla geometria dell'informazione e sulla teoria dei kernel neurali (NTK). La metodologia si articola nei seguenti punti:

• Metrica di Hellinger: Viene utilizzata la distanza di Hellinger ($d_H$) tra le distribuzioni marginali dei token in diverse posizioni del corpus. Questa metrica è scelta perché è una vera distanza (simmetrica, soddisfa la disuguaglianza triangolare), limitata e intrinseca al semplicex delle probabilità, a differenza della divergenza KL.
• Criterio di Stress: Viene introdotto un nuovo criterio di valutazione, lo stress, che misura quanto fedelmente una codifica posizionale riproduce le distanze statistiche (di Hellinger) tra le posizioni del corpus nello spazio euclideo delle embedding.
  $$\text{stress}(P) = \frac{\sum_{i<j} (\|p_i - p_j\| - d_H(\mu_i, \mu_j))^2}{\sum_{i<j} d_H(\mu_i, \mu_j)^2}$$
• Scaling Multidimensionale Classico (MDS): Per costruire una codifica ottimale, l'autore applica l'MDS classico sulla matrice delle distanze di Hellinger per trovare la migliore approssimazione piatta (euclidea) della varietà statistica curva delle posizioni.
• Analisi Teorica: Vengono dimostrate teoremi sulla necessità delle codifiche, sulla separazione delle posizioni durante l'ottimizzazione e sulla monotonicità della geometria appresa.

3. Contributi Chiave

Il paper presenta quattro risultati principali che formano una gerarchia teorica:

1. Necessità dell'Informazione Posizionale (Teorema 1):
   Viene dimostrato che qualsiasi Transformer privo di segnale posizionale calcola una funzione equivariante rispetto alle permutazioni dell'input. Di conseguenza, non può risolvere alcun compito che richieda sensibilità all'ordine delle parole.

2. Teorema di Separazione Posizionale (Teorema 4):
   Quando la codifica posizionale è una matrice appresa ($P \in \mathbb{R}^{n \times d}$), sotto condizioni generiche (non stazionarietà delle distribuzioni, sensibilità all'ordine, non degenerazione), ogni minimizzatore globale assegna vettori di embedding distinti a posizioni distinte. Il training non collassa mai due posizioni diverse nello stesso vettore.

3. Costruzione della Codifica Ottimale (Proposizione 6 e Algoritmo 1):
   Viene dimostrato che una riproduzione isometrica esatta delle distanze di Hellinger è generalmente impossibile perché la varietà statistica è curva. La migliore approssimazione è ottenuta tramite MDS classico sulle distanze di Hellinger.

   • Giustificazione Teorica delle Codifiche Sinusoidali: Si dimostra che la codifica sinusoidale originale è un'approssimazione ottimale per corpora le cui statistiche posizionali variano in modo fluido (approssimativamente stazionari), giustificando teoricamente una scelta che in precedenza era puramente euristica.
   • Parametrizzazione Minima: L'encoding ottimale ha un rango effettivo $r = \text{rank}(B) \le n-1$, dove $B$ è la matrice di Gram doppiamente centrata delle distanze. Ciò permette di rappresentare l'encoding con $r(n+d)$ parametri invece di $nd$, offrendo risparmi significativi.

4. Congettura di Monotonicità (e sua dimostrazione nel regime NTK):
   Viene proposta la congettura che la geometria dell'encoding appreso rifletta le distanze statistiche: se due posizioni sono statisticamente vicine, i loro vettori dovrebbero essere geometricamente vicini. Nel regime del Neural Tangent Kernel (NTK), viene dimostrata rigorosamente questa proprietà per funzioni di perdita come MLM (Masked Language Modeling) e classificazione [CLS].

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un corpus sintetico controllato e su due dataset reali (SST-2 e IMDB) utilizzando modelli BERTbase.

• Validazione dello Stress:

  • La codifica MDS (costruita tramite l'Algoritmo 1) raggiunge uno stress quasi nullo (0.009 sul corpus sintetico, $\approx 0$ su SST-2/IMDB), confermando che è l'encoding geometricamente fedele.
  • Le codifiche Sinusoidali e RoPE mostrano stress elevati (es. 272 su SST-2) perché la loro struttura di frequenze fisse non si allinea con le distanze statistiche reali del corpus.
  • ALiBi ottiene uno stress sorprendentemente basso (0.563 su SST-2), suggerendo che su corpora con struttura quasi shift-equivariante (come frasi brevi), una parametrizzazione di rango 1 (lineare) è quasi ottimale.

• Separazione e Monotonicità:

  • I modelli addestrati da zero e pre-addestrati confermano il Teorema 4: la distanza minima tra vettori di posizioni diverse rimane strettamente positiva durante tutto l'addestramento.
  • La congettura di monotonicità è supportata empiricamente: l'encoding MDS ha un tasso di violazione della monotonicità del 22% (molto inferiore al 50% casuale), mentre i modelli pre-addestrati mostrano una struttura monotona parziale (25.4%).

• Analisi per Livello (Layer-wise):
  L'analisi dello stress proiettato attraverso le matrici di attenzione rivela che il livello 3 di BERT pre-addestrato riorganizza il segnale posizionale in modo più aggressivo (picco di stress), coerentemente con la letteratura che associa i primi livelli di BERT all'elaborazione sintattica.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso la derivazione dei Transformer dai primi principi, spostando la progettazione delle positional encodings dall'ingegneria empirica alla teoria matematica.

• Diagnostica Principale: Il criterio di stress offre un nuovo strumento per valutare la qualità di qualsiasi encoding (sinusoidale, appreso, relativo) in base alla sua fedeltà geometrica al corpus, indipendentemente dalle prestazioni downstream.
• Efficienza dei Parametri: La scoperta che l'encoding ottimale ha un rango basso ($r \ll d$) suggerisce che le matrici posizionali complete sono spesso sovraparametrizzate. È possibile ridurre drasticamente il numero di parametri (fino all'88% in meno in alcuni casi) mantenendo o migliorando la qualità geometrica.
• Giustificazione delle Architetture Esistenti: Fornisce una base teorica per le codifiche sinusoidali (ottimali per statistiche lisce) e offre una nuova interpretazione geometrica per ALiBi (approssimazione di rango 1 per corpora shift-equivarianti).
• Apertura di Nuove Direzioni: Identifica il legame tra la geometria dell'informazione e l'addestramento, aprendo la strada a future ricerche su come la fedeltà geometrica (basso stress) si traduca in prestazioni superiori su compiti specifici.

In sintesi, il paper stabilisce che le positional encodings non sono un semplice "trucco" architetturale, ma una necessità geometrica per mappare la struttura statistica curva delle posizioni linguistiche in uno spazio vettoriale piatto, e fornisce gli strumenti matematici per costruire tale mappa in modo ottimale.