S0 Tuning: Zero-Overhead Adaptation of Hybrid Recurrent-Attention Models

1. Il Problema

I moderni modelli linguistici di produzione stanno sempre più adottando architetture ibride, che combinano layer di attenzione standard con layer ricorrenti (come GatedDeltaNet in Qwen3.5 o Mamba-2 in FalconH1). Queste architetture offrono costi sequenziali sub-quadratici mantenendo le capacità di in-context learning.

Tuttavia, le tecniche di Parameter-Efficient Fine-Tuning (PEFT) esistenti, come LoRA, sono state progettate per i Transformer puri e agiscono modificando le matrici dei pesi. Nei modelli ibridi, queste tecniche ignorano un componente cruciale: lo stato ricorrente nascosto ($S_t$). Di default, questo stato viene inizializzato a zero e accumulato durante l'elaborazione del contesto. Il paper identifica che lasciare questo stato a zero rappresenta un'opportunità persa per l'adattamento del modello, specialmente quando i dati di addestramento sono scarsi.

2. Metodologia: S0 Tuning

Il metodo proposto, chiamato S0 Tuning, sfrutta la superficie di adattamento offerta dallo stato iniziale ricorrente.

• Concetto Chiave: Invece di modificare i pesi del modello (che vengono mantenuti congelati), S0 Tuning ottimizza una singola matrice di stato iniziale ($S_0$) per ogni layer ricorrente.
• Meccanismo:
  • Per ogni layer ricorrente $\ell$, viene introdotta una tensor apprendibile $S^{(\ell)}_0$ con la stessa forma dello stato nativo.
  • Durante l'inferenza e l'addestramento, lo stato iniziale viene impostato su $\alpha \cdot S^{(\ell)}_0$ (dove $\alpha$ è un iperparametro di scalatura specifico per l'architettura) invece che su zero.
  • L'ottimizzazione avviene tramite discesa del gradiente su una funzione di perdita di completamento, utilizzando solo le soluzioni corrette verificate.
• Zero Overhead: Poiché $S_0$ viene iniettato solo al tempo $t=0$ e assorbito nello stato ricorrente in esecuzione al tempo $t=1$, non richiede fusione dei pesi né ricalcolo aggiuntivo durante l'inferenza. È una proprietà strutturale del grafo di calcolo.
• Dati: Il metodo richiede un set di addestramento molto piccolo (circa 48 soluzioni verificate per HumanEval) per convergere.

3. Contributi Chiave

1. Metodo PEFT a Zero Overhead: S0 Tuning supera LoRA su modelli ibridi senza costi inferenziali aggiuntivi.
2. Superiorità in Regimi a Dati Scarsi: Dimostra che l'inizializzazione dello stato ricorrente è una superficie di adattamento ad alto leverage quando i dati di supervisione sono limitati.
3. Analisi Meccanicistica:
   • Effetto "Launch Vector": Una perturbazione iniziale minima viene amplificata dalla ricorrenza, deviando la traiettoria di generazione fin dal primo carattere.
   • Divergenza Precoce: L'85% delle soluzioni corrette (che fallivano nella baseline) diverge dalla baseline già al primo carattere generato.
   • Controllo Negativo: Su un Transformer puro (Qwen2.5-3B), il prefix tuning (simile concettualmente) degrada le prestazioni, confermando che il successo di S0 è legato alla natura ricorrente e non alla semplice aggiunta di parametri.
4. Validazione Cross-Architettura: Il metodo funziona sia su architetture GatedDeltaNet (Qwen3.5) che su Mamba-2 (FalconH1), sebbene richieda diverse scale di iperparametri ($\alpha$).

4. Risultati Sperimentali

I risultati sono stati ottenuti su benchmark di codifica e matematica, confrontando S0 Tuning con LoRA e altre baseline.

• HumanEval (Qwen3.5-4B):
  • Baseline: 48.8%
  • LoRA (Rank 24): 61.5%
  • S0 Tuning: 72.2% (+23.6 pp rispetto alla baseline, +10.8 pp rispetto a LoRA).
  • La differenza è statisticamente significativa ($p < 0.001$) su 10 semi (seeds).
• HumanEval (FalconH1-7B):
  • S0 Tuning: 71.8%
  • LoRA: 71.4%
  • I risultati sono statisticamente indistinguibili con 3 semi, ma S0 mantiene una varianza inferiore e non richiede fusione dei pesi.
• Confronto Parametri: Quando LoRA è forzato ad avere lo stesso numero di parametri di S0 (Rank 64, ~12.6M), le prestazioni crollano a -15.5 pp, suggerendo che non è il numero di parametri a garantire il successo, ma la natura della superficie di adattamento (stato vs pesi).
• Trasferimento Cross-Dominio:
  • MATH-500: +4.8 pp (significativo).
  • GSM8K: +2.8 pp (significativo).
  • Spider (Text-to-SQL): Nessun miglioramento (+0.0 pp), indicando che il meccanismo di "steering" della traiettoria funziona meglio su compiti con alta diversità nei primi token (come il codice) rispetto a query strutturate.
• Variante "State-Offset": Una variante che aggiunge un offset a ogni passo (con overhead inferenziale) raggiunge il +27.1 pp, ma S0 standard mantiene il 87% di questo guadagno a costo zero.

5. Significato e Implicazioni

Il paper stabilisce che per i modelli linguistici ibridi di nuova generazione, l'inizializzazione dello stato ricorrente è una superficie di adattamento superiore rispetto alla modifica dei pesi in scenari con pochi dati.

• Efficienza: S0 Tuning offre un file di adattamento di circa 48 MB (molto più piccolo dei pesi completi) che permette lo switching di task senza ricaricare il modello o fondere i pesi.
• Teoria: I risultati supportano l'ipotesi di una "soglia di espressività dello stato": gli stati ricorrenti a matrice completa (come in GatedDeltaNet e Mamba-2) possono codificare strutture complesse del task che gli stati diagonali (Mamba-1) o i pesi congelati non riescono a catturare efficientemente con pochi dati.
• Pratica: Questo metodo apre la strada a tecniche di PEFT specifiche per le nuove architetture ibride, superando i limiti delle tecniche ereditate dai Transformer puri.

In sintesi, S0 Tuning dimostra che "imparare dove iniziare" (inizializzazione dello stato) è più efficace che "imparare come trasformare" (modifica dei pesi) per i modelli ibridi ricorrenti, specialmente quando i dati di addestramento sono limitati e l'efficienza inferenziale è critica.