Riepilogo Tecnico: Attenzione a Cancellazione Energetica e Codifica Posizionale a Ondelette

1. Enunciato del Problema

I meccanismi di attenzione standard dei Transformer calcolano la similarità tra coppie di token tramite attenzione a prodotto scalare, ma soffrono di due limitazioni strutturali riguardanti i pregiudizi induttivi:

1. Mancanza di Salienza Spettrale: L'attenzione standard tratta tutti i token come ugualmente salienti, pesandoli esclusivamente in base alla similarità del contenuto con la query. Manca di un meccanismo per distinguere i token ad alta densità informativa intrinseca (ad esempio, confini morfologici, teste sintattiche) dai token di sfondo (ad esempio, parole funzionali, pattern ripetuti).
2. Mancanza di Località Adattiva: Le codifiche posizionali standard (ad esempio, PE sinusoidali fisse) assegnano frequenze fisse alle dimensioni dell'embedding senza involucri spaziali. Di conseguenza, ogni posizione contribuisce equamente a ogni scala, fallendo nell'adattare l'estensione dell'influenza posizionale alla scala naturale dei fenomeni linguistici o alla lunghezza del contesto. Sebbene le Embedding Posizionali Rotazionali (ROPE) codifichino la posizione relativa, utilizzano comunque frequenze fisse senza località gaussiana.

Il paper ipotizza che queste due lacune—cosa attendere (salienza) e dove opera l'attenzione a ogni scala (località)—siano complementari e ortogonali.

2. Metodologia

Gli autori propongono due componenti semplici e apprendibili per colmare queste lacune: Attenzione a Cancellazione Energetica (EGA) e Codifica Posizionale Morlet (MOPE).

2.1 Attenzione a Cancellazione Energetica (EGA)

EGA introduce un meccanismo di salienza gestendo l'aggregazione dei valori basandosi su una stima appresa dell'energia degli embedding dei token chiave.

• Meccanismo: Una singola proiezione lineare ($w_{proj}^T x_j$) stima l'"energia" di un token. Questo scalare viene normalizzato z e passato attraverso una porta sigmoide ($g_j$).
• Funzione: La porta sopprime i token a bassa energia (sfondo/riempitivo) e amplifica i token ad alta energia (densi di informazioni).
• Efficienza: Aggiunge parametri minimi ($d+2$ per testa, <0.3% di sovraccarico) e nessun costo computazionale.
• Base Teorica: La proiezione è interpretata come una stima dell'energia pesata spettralmente tramite l'identità di Parseval, sebbene gli autori notino che il segnale appreso possa rappresentare una salienza informativa generale (ad esempio, rarità, confini) piuttosto che un'energia spettrale rigorosa.

2.2 Codifica Posizionale Morlet (MOPE)

MOPE sostituisce le codifiche posizionali sinusoidali fisse con ondelette a finestra gaussiana apprese per fornire una localizzazione tempo-frequenza adattiva.

• Formulazione: Per la dimensione di embedding $i$ e la posizione $b$:
  $$MOPE(b, 2i) = \cos(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  $$MOPE(b, 2i + 1) = \sin(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  dove $\omega_i$ (frequenza centrale) e $\sigma_i$ (banda di località) sono parametri appresi.
• Generalizzazione: MOPE generalizza rigorosamente la PE sinusoidale standard (recuperata quando $\sigma_i \to \infty$) e si collega a ROPE (struttura di fase nel limite) e ALiBi (località a frequenza zero).
• Struttura di Correlazione Incrociata: Sostituendo MOPE nella correlazione incrociata dell'attenzione si ottiene un nucleo Morlet nello spazio degli sfasamenti, $C_i(\tau) \propto e^{-\tau^2/4\sigma_i^2} \cdot \cos(\omega_i \tau)$. Ciò permette alle dimensioni di catturare diverse scale della struttura linguistica (ad esempio, livello di carattere vs livello di frase) in base al loro $\sigma_i$ appreso.

2.3 Modello Combinato

Il modello EGA-MORLET applica la gestione EGA ai pesi di attenzione calcolati utilizzando MOPE. Gli autori ipotizzano una superadditività: poiché EGA controlla quali token vengono attenzionati e MOPE controlla dove si estende l'influenza a ogni scala, la loro combinazione dovrebbe produrre prestazioni superiori alla somma delle singole parti.

3. Contributi Chiave

1. Interpretazione della Correlazione Incrociata: Il paper riformula l'attenzione a prodotto scalare come il valore a sfasamento zero ($C_{ij}(0)$) di una funzione di correlazione incrociata più ricca, identificando che l'attenzione standard scarta la selettività di scala, la struttura degli sfasamenti e la salienza spettrale.
2. Architettura MOPE: Una codifica posizionale a ondelette localizzata che generalizza rigorosamente la PE sin/cos e fornisce un ponte teorico verso ROPE e ALiBi, offrendo frequenza e località adattive.
3. Complementarità Empirica: Dimostrazione che EGA e MOPE sono pregiudizi induttivi complementari. La loro combinazione ottiene risultati superadditivi, mentre i singoli componenti mostrano prestazioni miste o neutre in isolamento.
4. Priors Strutturati vs Appresi: Un'ablazione strutturata che mostra come le proiezioni apprese non vincolate superino costantemente i prior spettrali strutturati (ad esempio, filtri Daubechies, inizializzazione a scala fissa) nei modelli linguistici, eccetto quando un componente strutturato (MOPE) fornisce informazioni genuinamente complementari (località adattiva) non discoverabili dalla discesa del gradiente standard sui prodotti scalari.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su TinyShakespeare (livello di carattere, $L=6, H=8, d=256$, $\le 6M$ parametri) per 5.000 step.

• Risultato Principale (Superadditività):

  • Baseline (Attenzione Standard): Loss di Validazione = 1.4742.
  • EGA da solo: +0.092 di miglioramento (Loss = 1.3821). La salienza è un forte pregiudizio induttivo.
  • MOPE da solo: -0.032 di degradazione (Loss = 1.5060). La località adattiva senza salienza è insufficiente e leggermente dannosa.
  • EGA + MOPE: +0.119 di miglioramento (Loss = 1.3550).
  • Analisi: Il guadagno combinato (+0.119) supera la somma dei guadagni individuali (+0.092 - 0.032 = +0.060) di +0.059. Ciò supporta l'ipotesi di complementarità.

• Studi di Ablazione:

  • Attenzione a Convoluzione: Estendere l'attenzione a sfasamenti non nulli (+0.007) conferma che la struttura degli sfasamenti porta informazioni.
  • Inizializzazione a Scala: Inizializzare le teste a frequenze specifiche non ha fornito alcun beneficio (-0.007), suggerendo che la discesa del gradiente scopre scale ottimali da un'inizializzazione casuale.
  • Flusso Spettrale: Utilizzare i tassi di cambiamento energetico come segnale di gestione ha fornito un piccolo guadagno positivo (+0.012), suggerendo che il rilevamento dei confini è utile.
  • Coerenza di Fase: Utilizzare informazioni di fase ha avuto un leggero impatto negativo (-0.007).

• Parametri Appresi: I parametri MOPE si sono raggruppati in quattro regioni distinte corrispondenti alle scale di carattere, parola, clausola e frase, suggerendo che il modello apprende scale temporali linguisticamente naturali dai dati.

5. Significato e Affermazioni

Il paper afferma che la salienza spettrale e la località selettiva alla scala sono pregiudizi induttivi complementari che mancano all'attenzione standard.

• Complementarità: Nessuno dei due pregiudizi è sufficiente da solo a questa scala; la loro interazione è superadditiva.
• Apprendimento vs Priors: Il fallimento costante dei prior strutturati (come porte a ondelette fisse) suggerisce che la base ottimale per gli embedding a livello di carattere è non sinusoidale e specifica del corpus. L'apprendimento non vincolato è preferito a meno che un componente strutturato (come la località adattiva di MOPE) non offra informazioni ortogonali a ciò che la discesa del gradiente scopre naturalmente.
• Modestia: Gli autori dichiarano esplicitamente che tutti gli esperimenti sono su piccola scala (singolo seed, livello di carattere). Il risultato principale è considerato credibile a questa scala, ma gli effetti secondari richiedono una validazione multi-seed. Il paper non afferma che questi metodi risolvono ancora i problemi di contesto lungo, ma li identifica come una direzione ad alta priorità per il lavoro futuro (specificamente per $T \ge 4096$).

Il lavoro è presentato come parte di una serie sui metodi spettrali nell'attenzione dei transformer, con codice reso disponibile per la riproducibilità.