Sintesi Tecnica: Oltre le Sinusoidi: Un Framework di Wavelet di Morlet per il Positional Encoding dei Transformer

1. Definizione del Problema

I codificatori posizionali standard per i Transformer, specificamente quelli sinusoidali (sin/cos) e il Rotary Position Embedding (ROPE), trattano ogni posizione come ugualmente locale. Sebbene codifichino dove si trova un token, essi non riescono a codificare quanto lontano dovrebbe estendersi l'influenza posizionale di un token.

• Sinusoidal PE: Utilizza frequenze fisse con ampiezza uniforme in tutte le posizioni.
• ROPE: Codifica la posizione relativa come una rotazione nello spazio complesso, ma mantiene un inviluppo di ampiezza costante (tutte le posizioni sono ugualmente presenti).
• Gap Teorico: Questi metodi mancano di un framework matematico unificante. Inoltre, assumono la stazionarietà del segnale (incertezza posizionale infinita), il che è subottimale per il linguaggio, un segnale non stazionario dove la distribuzione di caratteri e strutture sintattiche varia con la posizione.

2. Metodologia: Morlet Positional Encoding (MOPE)

Gli autori propongono il Morlet Positional Encoding (MOPE), che utilizza la wavelet complessa di Morlet come base naturale per il codifica posizionale. La wavelet di Morlet minimizza simultaneamente l'incertezza sia nella posizione che nella frequenza, aderendo al principio di indeterminazione di Heisenberg.

2.1 Definizione

Per un token alla posizione $b$ e dimensione di embedding $i$, MOPE è definito come:
$$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$$
Questa formulazione introduce due parametri apprendibili per dimensione:

1. Frequenza Centrale ($\omega_i$): Determina il tasso di oscillazione (fase).
2. Larghezza di Banda ($\sigma_i$): Determina l'inviluppo di località gaussiana (decadimento dell'ampiezza).

2.2 Interpretazione Geometrica

• Fase: La componente di fase $\omega_i b$ è identica all'angolo di rotazione in ROPE. Essa codifica la posizione relativa all'interno del ciclo di oscillazione.
• Ampiezza: Il termine $e^{-b^2/2\sigma_i^2}$ funge da inviluppo gaussiano centrato sull'origine della sequenza ($b=0$). A differenza delle codifiche standard dove l'ampiezza è fissata a 1 (implicando $\sigma_i \to \infty$), MOPE apprende una $\sigma_i$ finita, causando il decadimento del segnale posizionale con la distanza dall'inizio della sequenza.
• Compromesso di Incertezza: MOPE apprende il compromesso ottimale tra incertezza di posizione ($\Delta b_i = \sigma_i$) e incertezza di frequenza ($\Delta \omega_i = 1/\sigma_i$), soddisfacendo il limite $\Delta b_i \cdot \Delta \omega_i \geq 1/2$.

2.3 Unificazione dei Metodi Esistenti

Il documento dimostra che le codifiche standard sono casi limite di MOPE:

• Sinusoidal PE: Emerge quando $\sigma_i \to \infty$ (località infinita, nessun decadimento).
• ROPE: Emerge quando $\sigma_i \to \infty$. Il kernel di cross-correlazione di MOPE recupera esattamente lo score di attenzione di ROPE in questo limite, modulato da un kernel di località gaussiano appreso nel caso generale.
• ALiBi: Concettualmente analogo come limite di località a frequenza zero (decadimento esponenziale senza oscillazione).

3. Contributi Chiave

1. Unificazione Teorica: Dimostrato che sin/cos PE e ROPE sono casi degeneri di MOPE (dove la località è disattivata).
2. Equivalenza di Fase: Stabilito che la differenza di fase di MOPE è matematicamente identica all'angolo di rotazione di ROPE. La differenza primaria è l'aggiunta di un kernel di località gaussiano appreso in MOPE.
3. Combinazione Empirica: Combinato MOPE con Energy-Gated Attention (EGA). Il modello risultante (EGA-MORLET) ha ottenuto un miglioramento di +0.119 nella perplexity di validazione rispetto all'attenzione standard sul dataset TinyShakespeare, superando entrambi i componenti usati isolatamente.
4. Analisi dei Parametri: Analizzati i parametri appresi e scoperto che tutte le 128 coppie frequenza-larghezza di banda sono confluite esattamente al limite di ammissibilità della wavelet ($\omega_i \sigma_i = 5$).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset character-level TinyShakespeare con una lunghezza di contesto $T=256$ utilizzando un'architettura Transformer a 6 strati e 8 teste.

• Performance:

  • EGA-MORLET: 1.3550 Val Perplexity (+0.119 rispetto al baseline).
  • EGA-1 (Baseline): 1.3821 (+0.092).
  • ROPE: 1.4637 (+0.011).
  • Sin/Cos: 1.5863 (-0.112).
  • MOPE da solo: 1.5060 (-0.032).
  • Nota: MOPE da solo è stato meno performante del baseline di embedding appreso, probabilmente a causa della capacità limitata del piccolo modello (512 parametri per PE contro 65.536 per una tabella di lookup) e del bias strutturale del Gaussian centrato sull'origine. Tuttavia, quando combinato con EGA, la sinergia è stata significativa.

• Parametri Appresi:

  • Limite di Ammissibilità: Tutte le 128 dimensioni sono confluite a $\omega_i \sigma_i = 5.000$. L'ottimizzatore ha costantemente spinto i parametri verso questo limite, suggerendo una preferenza per una maggiore località e frequenze più basse di quanto il vincolo consenta.
  • Concentrazione di Scala: Le larghezze di banda apprese ($\sigma_i$) variavano da 1.49 a 4.50 token. Ciò indica che il modello ha concentrato tutta la capacità posizionale sulla scala carattere-parola, piuttosto che coprire scale più ampie (clausole, frasi), che ci si aspetterebbe in contesti più lunghi.
  • Compressione di Frequenza: Le frequenze apprese sono state compresse in una banda stretta ($\omega_i \in [1.11, 3.35]$), ben al di sopra dell'intervallo diacritico iniziale.

5. Significato e Rivendicazioni

Il documento sostiene di fornire il primo framework matematico unificante per le codifiche posizionali oscillanti, rivelandole come casi speciali di una base wavelet localizzata nel tempo-frequenza.

• Insight Teorico: Il lavoro postula che il linguaggio sia non stazionario e, pertanto, le codifiche posizionali non dovrebbero assumere una località infinita ($\sigma = \infty$). MOPE permette al modello di apprendere l'appropriato "range temporale di influenza" per ogni dimensione.
• Complementarità: I risultati suggeriscono che la salienza spettrale (gestita da EGA, che determina cosa attendere) e la località tempo-frequenza (gestita da MOPE, che determina dove l'influenza si estende) siano meccanismi complementari. La loro combinazione produce benefici super-additivi.
• Riproducibilità: La convergenza al limite di ammissibilità ($\omega \sigma = 5$) è stata osservata sia negli esperimenti di codifica posizionale che in un separato esperimento di Energy Gate (Paper 1), suggerendo una proprietà empirica riproducibile dei segnali linguistici a livello di carattere.

6. Limitazioni e Lavori Futuri

Gli autori mantengono un tono modesto riguardo alle attuali scoperte:

• Scala: Gli esperimenti sono limitati a livello di carattere, contesto breve ($T=256$) e un singolo seed.
• Bias dell'Origine: La formulazione attuale utilizza una Gaussiana centrata in $b=0$, creando un "prior di origine assoluta" dove i token vicino all'inizio hanno un'ampiezza posizionale più forte rispetto a quelli alla fine. Questo rompe l'invarianza per traslazione. Gli autori propongono una futura generalizzazione con un centro apprendibile $b_{0,i}$.
• Vincolo di Ammissibilità: La convergenza al limite di ammissibilità ($\omega \sigma = 5$) potrebbe essere un artefatto dell'implementazione basata su proiezione (clamping) piuttosto che un vero ottimo non vincolato. Relaxare questo vincolo è una priorità per le indagini future.
• Prossimi Passi: Il lavoro futuro dovrà validare MOPE a livello di parola (word-level tokenization), con contesti più lunghi ed esplorare il Morlet-ROPE (applicare l'inviluppo Gaussiano al meccanismo di rotazione ROPE).