SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

Riepilogo Tecnico: SigmaScale

Definizione del Problema

I Large Language Models (LLM) hanno raggiunto prestazioni straordinarie grazie alla scalabilità dei parametri a decine o centinaia di miliardi, ma questa crescita crea barriere significative riguardanti l'accessibilità tecnologica e l'impatto ambientale a causa dell'elevato consumo di potenza durante l'inferenza. Sebbene esistano tecniche di compressione dei modelli come la quantizzazione, il pruning e la distillazione della conoscenza, molte richiedono hardware specializzato o complessi pipeline di riaddestramento. La decomposizione a basso rango, specificamente la Truncated Singular Value Decomposition (SVD), offre un'alternativa indipendente dall'hardware approssimando le matrici di peso $W$ come il prodotto di matrici a rango inferiore.

Tuttavia, la SVD standard affronta due limitazioni primarie nel contesto degli LLM:

1. Subottimalità Analitica: Il teorema di Eckart–Young–Mirsky fornisce la soluzione analitica ottimale per minimizzare la norma di Frobenius $||W - W'||_F$. Tuttavia, questa minimizzazione strutturale spesso performa scarsamente sui pesi delle reti neurali perché ignora gli outlier delle attivazioni e il comportamento funzionale della rete.
2. Sfide di Ottimizzazione: La SVD ingenua è computazionalmente costosa ($O(n^3)$) e possiede derivate instabili, rendendo difficile l'integrazione in routine di ottimizzazione basate sul gradiente. Inoltre, i metodi precedenti che tentano di migliorare la SVD tramite matrici di scaling (ad esempio, per assorbire gli outlier delle attivazioni) si affidano a derivazioni analitiche (come la decomposizione di Cholesky della covarianza delle attivazioni) piuttosto che apprendere direttamente queste trasformazioni.

Metodologia: SigmaScale

Gli autori propongono SigmaScale, un metodo che apprende matrici di scaling ausiliarie $S$ per assistere la compressione basata su SVD troncata. Invece di derivare analiticamente le matrici di scaling, SigmaScale le ottimizza tramite discesa del gradiente sotto una perdita consapevole delle attivazioni (activation-aware loss).

La pipeline consiste in tre fasi principali:

1. Probing della Sensibilità: Prima della compressione, il metodo determina i ranghi di troncamento ottimali per ogni layer e modulo (MLP e attention) per raggiungere un rapporto di compressione target globale minimizzando l'incremento della perplexity. Questo utilizza un algoritmo di ricerca binaria simile ad ASVD.
2. Matrici di Scaling Apprese:
   • Per una matrice di peso $W \in \mathbb{R}^{m \times n}$, due vettori $d_r \in \mathbb{R}^m$ e $d_c \in \mathbb{R}^n$ vengono inizializzati da una distribuzione Gaussiana scalata.
   • Questi vettori definiscono matrici di scaling diagonali positive tramite esponenziazione: $S_r = \text{diag}(\exp(d_r))$ e $S_c = \text{diag}(\exp(d_c))$.
   • La matrice di peso viene scalata ($S_r W S_c$), viene eseguita la SVD troncata per ottenere i fattori di rango-$k$, e viene applicata l'inversa dello scaling per ricostruire la matrice compressa $W'$.
   • I parametri $d_r$ e $d_c$ sono ottimizzati per minimizzare una funzione di perdita consapevole delle attivazioni:
     $$L_F = \frac{1}{mn} ||WX - W'X||_F^2$$
     dove $X$ rappresenta le attivazioni da un set di calibrazione. Ciò assicura che la compressione preservi la funzionalità del modello piuttosto che solo la sua struttura.
   • Nota: Per gestire la derivata instabile della SVD, il ciclo di addestramento salta i passi di aggiornamento in cui le differenze dei valori singolari si avvicinano a zero per prevenire valori NaN.
3. Fine-Tuning Post-Compressione: Dopo la compressione, il modello subisce un fine-tuning per riallineare i pesi. Gli autori confrontano il Supervised Fine-Tuning (SFT) con la Knowledge Distillation (KD) utilizzando un modello teacher non compresso per recuperare le prestazioni.

Contributi Chiave

1. Apprendimento dei Parametri di Scaling: Per quanto ne sappiano gli autori, questo è il primo lavoro a esplorare l'apprendimento dei parametri di matrici di scaling riga-per-riga e colonna-per-colonna $S$ specificamente per migliorare le prestazioni della compressione SVD, allontanandosi dalle derivazioni analitiche.
2. Analisi del Recupero delle Prestazioni: Il paper fornisce un'analisi comparativa tra KD e SFT per il recupero delle prestazioni nel contesto della compressione basata su SVD, utilizzando dataset post-compressione variati.
3. Dataset Custom: Gli autori introducono una variante personalizzata del dataset Alpaca, generata utilizzando gli output di istruzioni di Llama 3.1-8B, per introdurre varianza negli esperimenti di riallineamento dei pesi.

Risultati e Analisi

Gli esperimenti sono stati condotti sui modelli Llama 3.1 8B Instruct e Qwen3-8B attraverso vari rapporti di compressione (ritenzione di 0.90x, 0.75x, 0.50x).

• Competitività: SigmaScale è competitivo con i metodi basati su SVD allo stato dell'arte (SVD-LLM e ASVD+).
  • Al 0.90x di ritenzione, SigmaScale migliora sostanzialmente la perplexity rispetto a SVD-LLM per entrambi i modelli, recuperando la maggior parte delle prestazioni nei benchmark zero-shot.
  • Al 0.75x di ritenzione, SigmaScale generalmente migliora diversi benchmark zero-shot, sebbene i guadagni in termini di perplexity siano marginali.
  • Al 0.50x di ritenzione, le prestazioni degradano drasticamente, in particolare per Llama 3.1. Gli autori osservano che il metodo è più efficace quando il sottospazio trattenuto è sufficientemente grande affinché lo scaling appreso possa compensare le direzioni singolari scartate; non è una soluzione completa per una compressione a rango estremamente basso.
• KD vs. SFT: Contrariamente ad alcune letteratura precedente che suggerisce la superiorità di KD per il recupero, i risultati degli autori non mostrano miglioramenti significativi di KD rispetto a SFT per SigmaScale nel loro specifico setup.
• Riduzione del Rango Intrinseco: Gli autori analizzano l'"entropia del rango effettivo" dei valori singolari ($\Sigma$) durante l'ottimizzazione. Osservano una forte correlazione (circa 0.81–0.92) tra la riduzione della perdita di compressione e la riduzione dell'entropia del rango effettivo. Ciò suggerisce che lo scaling appreso riduce il rango intrinseco effettivo delle matrici di peso, allineandoli meglio con i vincoli di compressione.

Significato e Limitazioni

Il paper posiziona SigmaScale come una valida opzione per applicazioni che richiedono una riduzione dei costi di inferenza degli LLM, particolarmente in regimi di compressione lieve-moderata. Adattandosi alla struttura dei singoli pesi del modello attraverso trasformazioni apprese e consapevoli delle attivazioni, offre una via più flessibile alla compressione a basso rango rispetto ai metodi analitici.

Gli autori riconoscono esplicitamente diverse limitazioni:

• Costo Computazionale: Il metodo richiede comunque il calcolo della SVD ad ogni step di aggiornamento durante l'addestramento della matrice di scaling, mantenendo la complessità $O(n^3)$, e non esplora alternative di SVD approssimate più veloci.
• Compressione Estrema: Il metodo degrada significativamente sotto compressione aggressiva (ad esempio, 0.50x), indicando che è un meccanismo per migliorare la qualità del troncamento nel regime del rango trattenuto piuttosto che una soluzione per la compressione estrema.
• Ambito di Valutazione: La valutazione è limitata alla perplexity e a specifici benchmark zero-shot; non sono stati esplorati gli effetti sulla generazione di testi lunghi o su task di coding.
• Dati di Calibrazione: La robustezza rispetto a diverse distribuzioni di calibrazione non è formalmente verificata, e l'uso di Wikitext è indicato come una scelta subottimale fatta principalmente per coerenza con i baseline precedenti.