Riassunto Tecnico: FRAME (Fractional-Fourier Mixture of Experts)

1. Definizione del Problema

I metodi di Parameter-Efficient Fine-Tuning (PEFT), in particolare il Low-Rank Adaptation (LoRA), tipicamente riparametrizzano gli aggiornamenti dei pesi all'interno di una base fissa. L'approccio dominante opera nel dominio spaziale (coordinate canoniche), mentre una crescente linea di metodi spettrali opera in un dominio di Fourier fisso. Il paper sostiene che questa dicotomia rappresenti una scelta di progettazione non esaminata: nessuna singola base è ottimale per tutti i task, i layer o i token.

I metodi esistenti si impegnano o nel dominio spaziale ($a=0$) o nel dominio di Fourier ($a=1$), rischiando potenzialmente di sprecare capacità se l'aggiornamento ottimale risiede in un dominio intermedio. Inoltre, gli adapter a dominio fisso spesso soffrono di interferenza durante la fusione o l'apprendimento multi-task perché gli aggiornamenti possono occupare sottospazi sovrapposti. Il problema centrale è che il dominio di adattamento stesso dovrebbe essere un grado di libertà apprendibile piuttosto che una convenzione fissa.

2. Metodologia: FRAME

Gli autori propongono FRAME (Fractional-Fourier Mixture of Experts), un adapter PEFT che tratta il dominio di adattamento come una quantità apprendibile per ogni esperto.

Meccanismo Core

FRAME utilizza la Trasformata di Fourier Frazionaria (FrFT), una famiglia di trasformate unitarie a un parametro che interpola continuamente tra il dominio spaziale e il dominio di Fourier.

• Il Parametro: La trasformata è definita da un ordine $a \in [0, 1]$.
  • $a=0$: Trasformata identità (Dominio spaziale, equivalente al LoRA standard).
  • $a=1$: Trasformata di Fourier standard (Dominio spettrale).
  • $0 < a < 1$: Domini intermedi che rappresentano una rotazione nel piano tempo-frequenza.
• Architettura: FRAME è un adapter Mixture-of-Experts (MoE). Ogni esperto $i$ possiede:
  1. Fattori a basso rango standard $A_i \in \mathbb{R}^{r \times d}$ e $B_i \in \mathbb{R}^{d_{out} \times r}$.
  2. Un ordine scalare apprendibile $a_i \in [0, 1]$.
• Forward Pass: Per un token $x$, l'aggiornamento è calcolato come:
  $$\Delta W_i x = B_i A_i \text{Re}\{\Phi_{a_i} x\}$$
  dove $\Phi_{a_i}$ è la FrFT discreta di ordine $a_i$. Il token viene prima ruotato nel dominio frazionario specifico dell'esperto, viene presa la parte reale e viene applicata la proiezione a basso rango.
• Routing: Un router seleziona i top-$k$ esperti per ogni token, permettendo a diversi token di essere adattati in domini differenti simultaneamente.

Efficienza e Ottimizzazione

• Costo Computazionale: Materializzare esplicitamente la matrice FrFT costerebbe $O(d^2)$. FRAME impiega un surrogato chirp–FFT (Ozaktas et al., 1996) che calcola la trasformata in tempo $O(d \log d)$ tramite pre-moltiplicazione di chirp, una FFT e post-moltiplicazione di chirp. Ciò aggiunge un overhead trascurabile rispetto allo standard MoE-LoRA.
• Strategia di Ottimizzazione:
  • Ottimizzatori Separati: Gli scalari d'ordine $\{a_i\}$ e i fattori matriciali $\{A_i, B_i\}$ sono addestrati con ottimizzatori separati. Il tasso di apprendimento per gli ordini ($\eta_a$) è significativamente più piccolo di quello per le matrici ($\eta$) perché piccoli cambiamenti in $a$ ruotano l'intero dominio, mentre gli aggiornamenti matriciali sono densi.
  • Bilanciamento del Carico Raggruppato: Per evitare che gli esperti collassino in un singolo dominio, gli autori partizionano gli esperti in $G$ "bande di ordine" (inizializzate su una griglia uniforme). Una perdita di bilanciamento è applicata all'interno di ogni banda per garantire una diversità di utilizzo del dominio senza forzare l'uniformità globale.

3. Contributi Chiave

1. Riformulazione del Dominio: Il paper riformula la dicotomia spaziale-spettrale come un singolo asse continuo (l'ordine frazionario) e dimostra che il dominio di adattamento ottimale varia per task, layer e token.
2. Architettura FRAME: Introduzione di un adapter MoE con ordini apprendibili per esperto, un surrogato di trasformata $O(d \log d)$ e un regime di ottimizzazione specifico per i parametri di dominio.
3. Garanzie Teoriche:
   • Generalizzazione Stretta: FRAME generalizza strettamente sia il LoRA spaziale che gli adapter nel dominio di Fourier.
   • Decorrelazione: Dimostrazione teorica che gli esperti con ordini ben separati sono mutuamente incoerenti (decorrelati), riducendo l'interferenza tra task ed esperti.
   • Stabilità: Dimostrazioni che i gradienti dell'ordine sono limitati, garantendo un addestramento stabile.
4. Prestazioni Empiriche: FRAME supera i forti baseline spaziali e spettrali (inclusi FlyLoRA, Fourier-MoE e HMoRA) nei benchmark di ragionamento comune, matematici, di codice e di conoscenza su LLaMA-3.1-8B e QWEN2.5-7B, mantenendo un basso budget di parametri attivi.

4. Risultati Sperimentali

• Prestazioni: Su LLaMA-3.1-8B, FRAME ha raggiunto un'accuratezza media sul ragionamento comune del 87,1%, superando il più forte baseline (MoA, 86,3%) di +0,8% e il vanilla LoRA di +2,6%. Guadagni simili sono stati osservati su QWEN2.5-7B.
• Efficienza: FRAME attiva solo lo 0,31% dei parametri (comparabile o inferiore a molti baseline MoE) pur ottenendo l'accuratezza migliore.
• Studi di Ablazione:
  • Fissare l'ordine a $a=0$ (spaziale) o $a=1$ (spettrale) ha causato cali significativi nelle prestazioni (−1,4% e −1,1% rispettivamente), confermando che un singolo dominio fisso non è sufficiente.
  • L'uso di una griglia di ordini diversificata ma fissa (non appresa) ha recuperato solo parte del divario di prestazioni, evidenziando la necessità di apprendere l'ordine specifico per esperto.
  • Il surrogato chirp–FFT ha comportato un overhead del tempo di addestramento inferiore al 7% rispetto allo spaziale MoE-LoRA, mentre un'implementazione della trasformata densa era 3× più lenta.
• Analisi del Meccanismo:
  • Specializzazione: Gli ordini appresi si sono specializzati per task e profondità del layer (passando da quasi-spaziali nei primi layer a più spettrali nei layer successivi).
  • Decorrelazione: La coerenza inter-esperto è diminuita monotonicamente all'aumentare della differenza tra i loro ordini, validando la proprietà di decorrelazione teorica.
  • Routing dei Token: Diversi tipi di token (ad esempio, numerali rispetto alle parole funzionali) sono stati instradati verso ordini sistematicamente differenti.

5. Significato e Rivendicazioni

Il paper sostiene che il dominio di adattamento è una scelta di progettazione apprendibile, non una convenzione fissa. Introducendo un dominio continuo tramite l'ordine di Fourier frazionaria, FRAME permette al modello di collocare gli aggiornamenti a basso rango nel dominio in cui sono più compatti e meno interferenti.

Gli autori enfatizzano tre vantaggi specifici:

1. Espressività: Un mixture che abbraccia molteplici ordini rappresenta aggiornamenti che nessun adapter a dominio singolo dello stesso rango può catturare.
2. Decorrelazione: Diversi ordini inducono sottospazi mutuamente incoerenti, riducendo naturalmente l'interferenza tra esperti e task senza richiedere vincoli di ortogonalità rigidi.
3. Efficienza: L'aggiunta del dominio apprendibile comporta un costo computazionale trascurabile grazie all'efficiente surrogato chirp–FFT.

Il paper conclude che FRAME fornisce un "asse ampiamente utile" per l'adattamento, suggerendo che la lente frazionaria potrebbe essere applicata al fine-tuning completo, ai meccanismi di attenzione o all'apprendimento continuo, sebbene ciò rimanga un lavoro futuro. Gli autori notano i limiti riguardanti l'overhead non nullo della trasformata e la sensibilità al collasso del routing, che mitigano ma non eliminano completamente.