Riassunto Tecnico: Semidirect Fourier Delta Attention (SFDA)

Definizione del Problema

I meccanismi di attenzione lineare mirano a sostituire la complessità quadratica e la crescita della KV cache dell'attenzione softmax con uno stato ricorrente a dimensione fissa. Tuttavia, la memoria a stato fisso spesso fatica nella copia esatta, nel tracciamento preciso dello stato algoritmico e nel recupero di contesti lunghi. Kimi Delta Attention (KDA) rappresenta un recente e solido approccio in questa direzione, utilizzando uno stato di memoria con valori matriciali aggiornato tramite un decadimento diagonale e una correzione delta di rango uno. Sebbene KDA raggiunga un'efficienza pratica attraverso una rappresentazione di tipo WY basata su chunk, il suo decadimento diagonale puramente reale limita la sua capacità di eseguire memoria ciclica limitata o di tracciare stati oscillatori. La domanda centrale affrontata da questo lavoro è se le dinamiche di fase/controllo algebrico possano essere aggiunte alla memoria ricorrente in stile KDA senza distruggere il kernel strutturato a chunk necessario per l'efficienza.

Metodologia

Il documento introduce la Semidirect Fourier Delta Attention (SFDA), un livello di delta-rule controllato dalla fase che contiene strettamente KDA come un caso speciale.

Architettura Core

SFDA sostituisce il decadimento diagonale reale di KDA con un operatore di controllo Fourier a rotazione a blocchi. In coordinate complesse, l'aggiornamento ricorrente è definito come:
$$S_t = (I - \beta_t k_t k_t^*) \Lambda_t S_{t-1} + \beta_t k_t v_t^*$$
dove $\Lambda_t = \text{diag}(\alpha_t \odot e^{i\theta_t})$.

• Controllo della Fase: $\Lambda_t$ introduce una fase Fourier $\theta_t$ apprendibile insieme al decadimento $\alpha_t$.
• Correzione Delta: Il termine di aggiornamento di rango uno $\beta_t k_t v_t^*$ rimane, preservando la struttura del delta-rule.
• Implementazione Reale: In coordinate reali, la diagonale complessa $\Lambda_t$ è implementata come una somma diretta di blocchi di rotazione-decadimento $2 \times 2$, evitando la necessità di FFT e mantenendo la compatibilità hardware.

Il Teorema Costruttivo Chunk-WY

Il contributo tecnico centrale è un teorema chunk-WY costruttivo da sinistra a destra. Per una sequenza di transizioni $A_t = \Lambda_t - u_t r_t^*$ (dove $u_t = \beta_t k_t$ e $r_t = \Lambda_t^* k_t$), il prodotto $P_t = A_t A_{t-1} \cdots A_1$ può essere aggiornato esplicitamente come:
$$P_t = \Gamma_t - Y_t M_t W_t^*$$
dove:

• $\Gamma_t$ è il prodotto delle matrici di fase-decadimento.
• $Y_t, W_t$ sono matrici di dimensione $d \times t$ (limitate dalla dimensione del chunk $C$).
• $M_t$ è una matrice triangolare di dimensione $t \times t$.

Fondamentalmente, il rango del termine di correzione cresce solo all'interno di un chunk fisso di dimensione $C$. Ciò trasforma la chiusura sotto composizione in una ricorrenza implementabile localmente nel chunk, fornendo un riepilogo affine esatto e limiti di costo formali.

Espressività a Stato Finito

Il documento distingue tra il modello affine tied-write generalizzato (utilizzato per le prove di espressività teorica) e la famiglia SFDA compatibile con i kernel (utilizzata per l'implementazione).

• Modello Generalizzato: Gli autori dimostrano che ogni automa a stati finiti deterministici (DFA) può essere esattamente realizzato da un sistema affine tied-write tramite lifting one-hot, anche con il vincolo di accoppiamento erase-write (impostando a zero il coefficiente di scrittura).
• Realizzazione Compatta: Per l'effettiva famiglia SFDA compatibile con i kernel ($\Lambda_t - u_t r_t^*$), il documento caratterizza l'espressività compatta per specifiche famiglie strutturate:
  • SFDA solo fase: Realizza esattamente contatori ciclici di prodotto e filtri oscillatori.
  • Con Riflessioni: Realizza memoria di orientamento di fase diedrale.
  • Con Correzione Delta: Realizza memorie di tipo registro/reset.
  • Con Permutazioni Parziali: Realizza stack limitati.

Contributi Chiave

1. Definizione di Tied SFDA: Un'architettura formale che generalizza KDA inserendo una matrice di controllo a rotazione a blocchi, recuperando KDA quando le fasi sono zero.
2. Teorema Costruttivo Chunk-WY: Una prova che la fase-decadimento più le correzioni di rango uno ammettono una ricorrenza esplicita da sinistra a destra per i prodotti dei chunk, mantenendo un rango limitato dalla dimensione del chunk $C$.
3. Trasferimento Affine di Chunk Esatto: Un teorema che mostra come calcolare il riepilogo di scrittura del chunk $B_{\text{chunk}}$ tramite una ricorrenza con stato iniziale zero, consentendo aggiornamenti esatti dello stato di confine.
4. Caratterizzazione dell'Espressività Compatta: Prove che SFDA realizza compattamente contatori ciclici, memoria diedrale, registri e stack limitati sotto controlli strutturati specifici, notando che gli automi finiti arbitrari richiedono il lifting one-hot nel modello generalizzato.
5. Realizzabilità a Stati Finiti: Una prova che il vincolo di tied-write non è un ostacolo all'espressività per i DFA quando si utilizza il modello generalizzato.
6. Routing a Orbita Restretta: Un teorema che caratterizza quando una direzione di scrittura legata (tied write) può essere instradata a una direzione disaccoppiata usando solo la famiglia di controllo strutturato del modello (es. rotazioni a blocchi).

Risultati

Il documento valida le sue affermazioni algebriche e il suo meccanismo attraverso verifiche numeriche ed esperimenti su scala ridotta (toy experiments), evitando esplicitamente affermazioni di superiorità su modelli linguistici di grandi dimensioni in questa fase.

• Verifica Numerica: La ricorrenza costruttiva chunk-WY, il trasferimento affine del chunk e la riduzione a KDA sono stati verificati rispetto a una verità di base (ground truth) brute-force, mostrando residui alla precisione numerica (es. $10^{-10}$ a $10^{-15}$).
• Esperimenti sulla Memoria Ciclica:
  • Contatore Costruito: In un compito di contatore mod-5 senza addestramento, SFDA ha tracciato lo stato esattamente dalla lunghezza 27 alla 213, mentre un baseline di decadimento diagonale reale è crollato al livello del caso.
  • Contatore Appreso: Un modello SFDA minimo addestrato a lunghezza 48 è riuscito a estrapolare con successo fino a lunghezze di 768 (circa 4 volte la lunghezza di addestramento) su un compito di contatore mod-5, mentre il baseline KDA senza fase è rimasto vicino al livello del caso.
  • Contatore di Reset: SFDA ha estrapolato quasi perfettamente fino a 8 volte la lunghezza di addestramento in un compito di contatore di reset, mentre KDA si è stabilizzato intorno a una precisione di 0.68.

Significato e Affermazioni

Il documento posiziona SFDA come un framework teorico e orientato ai sistemi per la memoria delta controllata dalla fase.

• Significato Teorico: Risolve la tensione tra il calcolo parallelo semplificato e il tracciamento dello stato ricorrente, dimostrando che le dinamiche di fase possono essere integrate nel framework del delta-rule senza sacrificare l'invariante del kernel strutturato. Stabilisce che il vincolo "tied-write" non impedisce la realizzazione esatta di stati finiti, sebbene la realizzazione compatta a bassa dimensione dipenda dalla specifica famiglia di controllo.
• Obiettivo Sistemistico: Gli autori dichiarano che l'obiettivo empirico immediato non è battere KDA su compiti ridotti, ma testare se il più forte livello SFDA possa supportare un rapporto attenzione-lineare-globale più elevato (es. 7:1 o 15:1) rispetto all'ibrido tipico 3:1 di KDA, eguagliando o superando le prestazioni a parità di calcolo.
• Modestia delle Affermazioni: Il documento evita esplicitamente di affermare:
  • Una rappresentazione esatta a rango fisso globale per l'intera sequenza (il rango cresce all'interno dei chunk).
  • Che SFDA batta KDA nella modellazione del linguaggio su larga scala o nella velocità dei kernel fusi (questi sono argomenti riservati a futuri lavori di sistema).
  • Che ogni automa finito ammetta una rappresentazione piccola e compatta nella stretta famiglia fase-più-rango-uno (solo alcune famiglie strutturate specifiche sono provate come compattamente rappresentabili).

Il lavoro funge da fondamento formale per una nuova classe di strati di attenzione lineare che combinano l'efficienza degli aggiornamenti delta-rule con le capacità di tracciamento dello stato delle dinamiche di fase di Fourier.