Sintesi Tecnica: FourierQK

Problema

I meccanismi di attenzione standard dei Transformer calcolano punteggi di similarità a coppie tramite prodotti scalari di proiezioni apprese di Query ($Q$) e Key ($K$) ($e_{ij} = q_i \cdot k_j$). Questo opera interamente all'interno dello spazio di embedding appreso, confrontando rappresentazioni di singoli token. Il paper indaga se trasformare $Q$ e $K$ in uno spazio di rappresentazione differente — nello specifico, applicando un pre-processing spettrale nel dominio delle frequenze — prima di calcolare questi punteggi di similarità possa migliorare le prestazioni del modellazione del linguaggio.

Una sfida critica in questo dominio è distinguere l'apprendimento sequenziale genuino dal "leakage posizionale" (perdita di informazioni sulla posizione). Molti metodi spettrali (particolarmente quelli che utilizzano la FFT inversa) rischiano artefatti di confine circolari dove le informazioni sui token futuri filtrano nelle posizioni passate a causa della natura periodica della Trasformata Discreta di Fourier (DFT). Il paper mira a determinare se il pre-processing spettrale offra un beneficio genuino rispetto alla standard attention e a verificare rigorosamente che i miglioramenti non siano artefatti di leakage informativo.

Metodologia

Architettura Spectral Attention

L'approccio proposto FourierQK applica un filtro nel dominio delle frequenze $\phi(\omega)$ alle proiezioni $Q$ e $K$ prima del calcolo del punteggio di attenzione.

1. Trasformazione: Le proiezioni apprese $q, k \in \mathbb{R}^{T \times d}$ vengono trasformate tramite DFT: $\hat{q}(\omega) = \mathcal{F}[q](\omega)$.
2. Filtering: Un filtro viene applicato nel dominio delle frequenze: $\hat{\tilde{q}}(\omega) = \hat{q}(\omega) \cdot \phi(\omega)$.
3. Ricostruzione: Le rappresentazioni filtrate vengono trasformate nuovamente nel dominio del tempo tramite IDFT: $\tilde{q} = \mathcal{F}^{-1}[\hat{\tilde{q}}]$.
4. Scoring: I punteggi di attenzione sono calcolati utilizzando le rappresentazioni filtrate: $e_{ij} = \tilde{q}_i \cdot \tilde{k}_j / \sqrt{d}$.

Il paper testa diverse varianti di filtri:

• Random-QK: Filtri spettrali casuali fissi e non appresi (tipo Morlet) per testare se qualsiasi mixing spettrale aiuti.
• Fourier-QK: Un selettore Gaussiano "soft" con una singola frequenza dominante $f^*$ apprendibile per head.
• MultiFourier-QK: Molteplici frequenze apprendibili per head per catturare strutture multi-scala.
• Causal Filters: Convoluzioni causali nel dominio del tempo (Gaussiana, Mexican Hat, Causal Morlet) per testare se il filtering locale e non-leaking fornisca benefici simili.

Diagnostica di Verifica

Per garantire che i risultati non siano dovuti al leakage posizionale (dove il modello "bara" vedendo i token futuri), gli autori utilizzano una diagnostica di validazione con shuffling. I modelli sono valutati su un set di validazione dove l'ordine dei token è rimescolato.

• Apprendimento Genuino: Un grande divario tra la loss di validazione ordinata e quella di validazione con lo shuffle indica che il modello si affida all'ordine temporale.
• Leakage: Un piccolo divario (loss simile su dati ordinati e rimescolati) indica che il modello sta sfruttando il leakage di informazioni future.

Inoltre, il paper distingue il proprio approccio da FNet (Lee-Thorp et al., 2021). Mentre FNet sostituisce l'intero meccanismo di attenzione con un mixing di Fourier globale delle embedding dei token (rimuovendo le proiezioni $Q/K$ e la matrice di score), FourierQK preserva la struttura standard dell'attention (proiezioni $Q/K$ apprese, matrice di score, masking causale) e applica il filtering spettrale solo alle proiezioni.

Risultati Chiave

1. Il Pre-processing Spettrale Migliora le Prestazioni

Sul dataset a livello di carattere TinyShakespeare ($T=256$), il pre-processing spettrale produce guadagni sostanziali rispetto alla standard dot-product attention (BASE-DOT, val $\approx$ 1.474):

• Random Spectral Filter: Un filtro casuale fisso e non appreso ottiene val = 1.031 ($\Delta = +0.443$).
• Single Learned Frequency: Un modello con una singola frequenza apprendibile inizializzata su scala paragrafo ottiene val = 0.608 ($\Delta = +0.867$).
• Multi-Frequency Attention: Quattro frequenze apprese che spaziano dalla scala del paragrafo a quella della parola ottengono val = 0.309 ($\Delta = +1.166$), una riduzione del 79% della loss di validazione.

Questi risultati sono confermati attraverso molteplici seed casuali (media val = 0.236 per single-frequency, std = 0.019), stabilendo la riproducibilità.

2. Il Meccanismo: Coerenza di Fase e Mixing Globale

• La Fase è Essenziale: Gli studi di ablazione mostrano che preservare lo spettro di ampiezza randomizzando la fase risulta in prestazioni peggiori rispetto alla standard attention. Il guadagno è guidato dalla struttura temporale coerente di fase, non solo dalla distribuzione dell'energia.
• Globale vs Locale: I guadagni sono specifici per la bilateral FFT (mixing globale della sequenza). I filtri causali nel dominio del tempo (Gaussian, Mexican Hat, Causal Morlet) non riescono a migliorare rispetto alla standard attention alla scala dei caratteri.
  • Ragione: I filtri causali con campi ricettivi limitati ($K \le T/2$) non possono catturare la coerenza di fase globale necessaria per i pattern su scala paragrafo. La bilateral FFT è strutturalmente non causale ma fornisce il contesto globale necessario.
• Non è Distorsione Metrica: Rotazioni ortogonali casuali e proiezioni non-ortogonali di $Q/K$ (senza filtering spettrale) non producono guadagni, confermando che il beneficio deriva dal mixing nel dominio delle frequenze, non da un semplice rimappaggio della rappresentazione.

3. Multi-Scale Ordering

Le frequenze apprese nel modello MultiFourier convergono verso una gerarchia quasi geometrica:

• Frequenze: ~49, 27, 10 e 6 token per ciclo.
• Interpretazione: Queste corrispondono alle scale di paragrafo, sotto-paragrafo, frase e parola nei testi drammatici.
• Validazione: L'Empirical Mode Decomposition (EMD) applicata post-training recupera indipendentemente queste stesse scale, confermando che il modello scopre una genuina struttura multi-risoluzione nello spazio $Q/K$.

4. Leakage e Vincoli di Implementazione

• Leakage da Irfft: Il paper riporta un "risultato negativo" riguardo alla cross-correlazione della wavelet di Morlet usando irfft. La natura bilaterale del kernel ($\kappa(-\tau) = \kappa(\tau)$) accoppia intrinsecamente ogni posizione ai token futuri, causando un leakage catastrofico (val $\approx$ 0.018) che scompare solo quando viene applicata la diagnostica dello shuffle.
• Soluzione FourierQK: La riuscita implementazione di FourierQK evita la ricostruzione tramite irfft di una sequenza indicizzata per posizione. Invece, collassa la dimensione della frequenza in uno scalare pesato per posizione, prevenendo il leakage inerente alla piena ricostruzione del segnale.

Significato e Claim

Il paper sostiene che il pre-processing spettrale delle proiezioni di Query e Key sia una modifica architettonica distinta ed efficace che migliora l'attenzione dei Transformer permettendo al modello di rilevare strutture temporali coerenti di fase a molteplici scale linguistiche.

I claim principali includono:

1. Specificità Spettrale: Il miglioramento è strettamente dovuto al mixing globale nel dominio delle frequenze, non a trasformazioni lineari casuali o distorsioni metriche.
2. Confine Architetturale: Esiste un chiaro confine tra l'attention spettrale con mixing globale (che funziona ma è non-causale a causa della bilateral FFT) e l'attention spettrale genuinamente causale (che fallisce alla scala dei caratteri a causa di aliasing e campi ricettivi limitati, ma potrebbe funzionare alla scala delle parole).
3. Distinzione da FNet: A differenza di FNet, che sostituisce l'attenzione, questo metodo potenzia l'esistente meccanismo di attenzione, permettendo alla gerarchia di frequenze di emergere dagli stessi score di attenzione.
4. Dominanza della Fase: Il meccanismo si basa sulla coerenza di fase (allineamento temporale delle componenti di frequenza) piuttosto che sulla sola ampiezza (energia).

Il lavoro identifica un limite preciso: sebbene il pre-processing tramite bilateral FFT sia altamente efficace, la sua natura non causale impedisce l'applicazione diretta nei modelli di linguaggio causali senza leakage. Gli autori suggeriscono che il lavoro futuro sull'attention spettrale causale debba affrontare i limiti di aliasing e di campo ricettivo osservati nei filtri causali nel dominio del tempo, potenzialmente spostandosi verso una tokenizzazione su scala parola dove i vincoli di Nyquist sono meno severi.