Sintesi Tecnica: Sparsity Evolution Fine-Tuning (SEFT) per LLM Sparsi

1. Definizione del Problema

I Large Language Models (LLM) sparsi offrono una via promettente per un deployment efficiente riducendo il numero di parametri attraverso il pruning post-training (ad esempio, usando SparseGPT o Wanda). Tuttavia, l'adattamento di questi modelli prunati a task a valle rimane una sfida significativa. La difficoltà principale risiede nel bilanciare l'adattamento al task con l'efficienza della sparsità.

I metodi di adattamento esistenti affrontano due limitazioni primarie in questo contesto:

1. Metodi di Parameter-Efficient Fine-Tuning (PEFT) come LoRA: Sebbene efficaci per i modelli densi, introducono parametri aggiuntivi densi (adapter) o risultano in modelli densi dopo la fusione (merging). Ciò mina i benefici di memoria e latenza della struttura sparsa originale.
2. Static Sparse Fine-Tuning: I metodi che mantengono la sparsità spesso limitano gli aggiornamenti a un insieme di parametri fisso e predefinito (la maschera di pruning iniziale). Questo assume che la topologia inizialmente prunata sia ottimale per tutti i task a valle. Tuttavia, una topologia efficace per i dati di calibrazione potrebbe aver rimosso connessioni critiche per specifici task a valle, portando a prestazioni subottimali, specialmente in regimi di alta sparsità (ad esempio, $\ge$60%).

La domanda centrale affrontata è: È possibile effettuare il fine-tuning efficiente di LLM sparsi permettendo alla loro sparsità di evolversi per allinearsi meglio ai task a valle, senza sacrificare i vantaggi di efficienza della sparsità?

2. Metodologia: Sparsity Evolution Fine-Tuning (SEFT)

SEFT è un framework di fine-tuning progettato specificamente per LLM sparsi post-pruning. A differenza del convenzionale sparse fine-tuning che fissa le posizioni di aggiornamento, SEFT permette alla struttura sparsa di evolversi durante l'addestramento. Esso opera aggiornando direttamente i pesi del modello base mantenendo un livello di sparsità target $\rho$.

Il framework consiste in due componenti accoppiate:

A. Delta Support Update (Allocazione Dinamica)

Ispirato al Dynamic Sparse Training (DST), questa componente aggiorna periodicamente le posizioni (indici di supporto) dove vengono applicati gli aggiornamenti sparsi.

• Meccanismo: Ogni $k$ step di addestramento, SEFT identifica gli $\tau(t)$ indici di supporto con le magnitudo di aggiornamento più piccole (meno utili per l'attuale task) e li sostituisce con $\tau(t)$ locazioni inattive che presentano le magnitudo di gradiente più grandi (più promettenti per l'adattamento).
• Caratteristica Chiave: Questo meccanismo permette agli aggiornamenti di "muoversi" oltre la maschera di pruning iniziale $M_0$. Consente la riattivazione di pesi precedentemente prunati se si rivelano benefici per il task, esplorando efficacemente uno spazio di parametri più ampio rispetto ai metodi statici.
• Rappresentazione: L'aggiornamento sparso $\delta_t$ è rappresentato da indici di supporto apprendibili $\eta_t$ e valori di aggiornamento $\phi_t$.

B. Sparse Topology Adaptation (Preservazione della Sparsità)

Poiché il Delta Support Update può attivare temporaneamente pesi precedentemente prunati, la densità effettiva del modello può superare la sparsità target. Questa componente ripristina il livello di sparsità target $\rho$ a intervalli regolari.

• Meccanismo: SEFT calcola un punteggio di importanza $s_i$ per ogni parametro, tipicamente usando un criterio basato sulla sensibilità: $s_i = |\theta_i \nabla_{\theta_i} \mathcal{L}|$, dove $\mathcal{L}$ è la loss del task.
• Pruning: La maschera del modello $M_t$ viene aggiornata mantenendo solo la frazione di parametri superiore a $(1-\rho)$ basata su questi punteggi.
• Risultato: Ciò assicura che il modello finale di fine-tuning aderisca strettamente al livello di sparsità target $\rho$, avendo selezionato i pesi più rilevanti per il task.

Flusso dell'Algoritmo:

1. Inizializzazione con un modello sparso $\theta'_0 = \theta \odot M_0$.
2. Esecuzione degli aggiornamenti del gradiente standard sul delta sparso $\delta_t$.
3. Ogni $k$ step:
   • Refresh Support: Sostituzione delle locazioni di aggiornamento a bassa magnitudo con locazioni inattive ad alto gradiente.
   • Adapt Topology: Rivalutazione dell'importanza dei parametri e pruning del modello per tornare alla sparsità target $\rho$.
4. Output del modello sparso finale $\theta'_T + \delta_T$.

3. Contributi Principali

Il paper delinea quattro contributi principali:

1. Framework SEFT: Un nuovo approccio di fine-tuning su misura per LLM sparsi che evolve dinamicamente la topologia sparsa (sia le locazioni di aggiornamento che i pesi attivi) per consentire un efficace adattamento specifico per il task.
2. Adattamento Guidato dalla Sensibilità: Un meccanismo che preserva il livello di sparsità target senza degradazione delle prestazioni utilizzando criteri di pruning basati sulla sensibilità per determinare quali pesi rimangono attivi.
3. Guadagni di Efficienza: Dimostrazione che SEFT offre un uso della memoria e un'efficienza di addestramento superiori rispetto ai precedenti metodi di fine-tuning che preservano la sparsità.
4. Validazione Completa: Esperimenti estesi su molteplici architetture (LLaMA, DeepSeek, Mistral), scale di modello (7B–13B) e task (Ragionamento Comune, MMLU, GSM8K), validando la generalità del metodo sia in contesti di dominio generale che supervisionati.

4. Risultati Sperimentali

Gli autori hanno valutato SEFT su LLM sparsi prunati a una sparsità del 60%–80% usando Wanda e SparseGPT.

• General-Domain Fine-Tuning: Sui modelli LLaMA (7B, 8B), SEFT ha costantemente ottenuto una perplexity (PPL) inferiore e punteggi LM-eval più alti rispetto ai baseline come LoRA*, SPP e SQFT. Ad esempio, su LLaMA2-7B con 70% di sparsità, SEFT ha ottenuto un punteggio LM-eval di 47.95, superando SPP (47.27) e SQFT (47.09).
• Supervised Fine-Tuning: Sui task di Ragionamento Comune (BoolQ, RTE, ecc.), SEFT ha superato tutti i baseline su modelli da 7B, 8B e 13B. In particolare, ha mostrato forti guadagni in OBQA e ARC-c.
• Performance Cross-Architettura: SEFT ha dimostrato robustezza su DeepSeek-7B-Chat e Mistral-7B-v0.1, raggiungendo i punteggi più alti sui benchmark MMLU e GSM8K.
• Regimi di Alta Sparsità: Il vantaggio di performance di SEFT è aumentato all'aumentare dei livelli di sparsità (ad esempio, a $\rho=0.8$, SEFT ha superato il miglior baseline di 1.36 punti su LM-eval).
• Efficienza:
  • Memoria: SEFT ha richiesto meno memoria GPU rispetto a SQFT (fino al 50% di riduzione in alcuni casi) perché evita i tensori di attivazione ausiliari introdotti dagli adapter in stile LoRA.
  • Velocità di Addestramento: SEFT ha richiesto meno tempo di addestramento per step rispetto ad altri metodi che preservano la sparsità.
  • Inference: Quando distribuito con il motore DeepSparse, gli LLM sparsi sottoposti a fine-tuning con SEFT hanno ottenuto fino a 2.5$\times$ di velocità in più rispetto ai controparti densi al 70% di sparsità.

Studi di Ablazione:

• Rimuovere la capacità di esplorare i pesi prunati (SEFT w/o OOM) ha portato a cali di performance, confermando che la riattivazione dei pesi precedentemente prunati è cruciale.
• Rimuovere il refresh dinamico del supporto (SEFT w/o DSU) ha portato a una degradazione significativa, evidenziando la necessità di far evolvere le locazioni di aggiornamento.
• Rimuovere l'Adattamento della Topologia Sparsa ha fatto sì che i modelli diventassero leggermente più densi del target, confermando la necessità del passaggio di restauro della topologia per mantenere l'efficienza.

5. Significato e Rivendicazioni

Il paper sostiene che SEFT affronti una lacuna fondamentale nell'adattamento degli LLM sparsi. Permettendo alla struttura sparsa di evolversi invece di rimanere statica, SEFT allinea la capacità del modello con le esigenze specifiche dei task a valle.

Gli autori posizionano SEFT come un framework pratico ed efficace che risolve il compromesso tra qualità dell'adattamento ed efficienza. A differenza dei metodi precedenti che o compromettono la sparsità (LoRA) o congelano la topologia (SFT statica), SEFT mantiene i vantaggi di efficienza della sparsità (bassa memoria, alta velocità di inferenza) fornendo al contempo una performance superiore nei task. I risultati suggeriscono che, per i regimi di alta sparsità, l'evoluzione dinamica della topologia sparsa non è solo benefica ma necessaria per un adattamento ottimale. Il metodo è presentato come model-agnostic e task-agnostic, adatto a una vasta gamma di moderne architetture LLM.