SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

Sintesi Tecnica: SVD-Surgeon

Problematica
I Large Language Models (LLM) affrontano barriere di distribuzione significative a causa dei loro massicci requisiti di memoria e computazionali. Sebbene la decomposizione a basso rango tramite Singular Value Decomposition (SVD) offra una strategia di compressione hardware-friendly approssimando le matrici di peso $\theta = U\Sigma V^\top$ con un rango troncato $r$, il troncamento ingenuo dei valori singolari più piccoli è raramente ottimale. I metodi SVD esistenti si concentrano principalmente su come fattorizzare i pesi (ad esempio, tramite whitening dei dati o riponderazione dell'importanza) e su quali componenti scartare. Tuttavia, essi spesso trascurano il potenziale di riparare i componenti rimanenti per compensare la perdita di informazione indotta dal troncamento.

Metodologia: SVD-Surgeon
Il documento introduce SVD-Surgeon, un metodo training-free che adatta il framework Optimal Brain Surgeon (OBS) alla base dei valori singolari. A differenza degli approcci precedenti che operano sui pesi grezzi o su specifici schemi di fattorizzazione, SVD-Surgeon tratta i valori singolari ($\sigma_i$) stessi come i parametri da ottimizzare.

1. Modellazione della Perdita del Secondo Ordine:
   Il metodo assume che il modello sia vicino a un minimo di perdita. Modella la variazione della perdita ($\delta L$) sotto una perturbazione dei valori singolari ($\delta \sigma$) utilizzando un'espansione di Taylor del secondo ordine:
   $$\delta L \approx \frac{1}{2} \delta \sigma^\top \bar{H} \delta \sigma$$
   Qui, $\bar{H}$ è una matrice Hessiana compatta $\ell \times \ell$ (dove $\ell = \min(m, n)$), derivata proiettando l'Hessiana dello spazio dei pesi completo sullo spazio dei valori singolari. Fondamentalmente, la derivazione non assume che i fattori $U$ e $V$ siano ortonormali, permettendo al metodo di applicarsi a una vasta classe di compressori SVD.

2. Approssimazione di Fisher:
   Per evitare il calcolo delle derivate seconde, l'Hessiana $\bar{H}$ viene approssimata utilizzando la matrice di informazione di Fisher empirica. Questa viene calcolata efficientemente dai gradienti di calibrazione ($G_n = \partial L_n / \partial \theta$) proiettati nella base dei valori singolari:
   $$\bar{H} = \frac{1}{N} \sum_{n=1}^N \bar{g}_n \bar{g}_n^\top, \quad \text{dove } \bar{g}_n = \text{diag}(U^\top G_n V)$$
   Ciò consente la costruzione dell'Hessiana interamente partendo da informazioni del primo ordine.

3. Compensazione in Forma Chiusa:
   Dato un insieme di valori singolari da potare ($\sigma_C$) e un insieme da mantenere ($\sigma_S$), SVD-Surgeon risolve l'aggiornamento ottimale $\delta \sigma_S$ che minimizza l'incremento della perdita. Impostando la perturbazione di potatura $\delta \sigma_C = -\sigma_C$ e minimizzando l'obiettivo non vincolato su $\delta \sigma_S$, il metodo deriva un aggiornamento in forma chiusa:
   $$\delta \sigma_S^\star = \bar{H}_{SS}^{-1} \bar{H}_{SC} \sigma_C$$
   Questo aggiornamento regola i valori singolari mantenuti per assorbire la perdita indotta dalla rimozione dei valori troncati, riparando "chirurgicamente" la decomposizione in un unico passaggio senza ottimizzazione basata su gradienti o fine-tuning post-training.

4. Potatura Basata sulla Saliency:
   Lo stesso analisi produce un punteggio di saliency per ogni valore singolare, che rappresenta la perdita subita se quel valore venisse rimosso mentre si correggono ottimalmente gli altri:
   $$\text{Saliency}_i = \frac{\sigma_i^2}{2 [\bar{H}^{-1}]_{ii}}$$
   Questo fornisce un'alternativa basata sulla perdita e principata rispetto alla potatura basata sulla magnitudo.

5. Varianti:

   • Update-only (U): Eredita l'insieme di potatura da un compressore ospite (ad esempio, mantenendo i top-$r$ valori singolari) e applica la compensazione.
   • Select-and-update (S): Utilizza i punteggi di saliency per determinare quali valori potare, per poi applicare la compensazione.

Contributi Chiave

• Estensione del Framework: Il documento porta il framework Optimal Brain Surgeon alla base dei valori singolari, derivando un aggiornamento training-free in forma chiusa per i valori singolari mantenuti che compensa il troncamento fino al secondo ordine della perdita.
• Generalità: Poiché la derivazione non pone assunzioni di ortonormalità su $U$ e $V$, SVD-Surgeon agisce come uno strato correttivo applicabile a una vasta gamma di esistenti compressori basati su SVD.
• Metrica di Saliency: Introduce una metrica di saliency consapevole della perdita per selezionare quali valori singolari potare, superiore alla semplice soglia di magnitudo.

Risultati Sperimentali
Gli autori hanno valutato SVD-Surgeon applicandolo sopra SVD-LLM, un metodo di compressione basato su SVD all'avanguardia.

• Modelli: Famiglia OPT (1.3B, 2.7B, 6.7B) e LLaMA-2-7B.
• Metriche: Perplexity su dataset WikiText-2 e C4.
• Performance: Il metodo ha migliorato il trade-off perplexity–compression in tutti i modelli e i rapporti di compressione. I guadagni sono stati più significativi sotto compressione aggressiva (alti rapporti di potatura), dove il troncamento ingenuo tipicamente causa un severo degrado delle prestazioni.
• Efficienza: Il metodo opera in un singolo passaggio utilizzando un set di calibrazione, richiedendo nessun'ottimizzazione basata su gradienti o fine-tuning.

Significato e Rivendicazioni
Il documento posiziona SVD-Surgeon come un potenziamento modulare che può essere "stratificato sopra" gli esistenti compressori SVD. Il suo significato primario risiede nello spostare il focus da come decomporre i pesi a come riparare la decomposizione dopo il troncamento. Trattando i valori singolari come parametri e applicando l'ottimizzazione del secondo ordine, recupera la capacità del modello che viene tipicamente persa durante la compressione aggressiva. Gli autori sottolineano che si tratta di una soluzione training-free che non richiede retraining o fine-tuning, rendendola uno strumento pratico per distribuire LLM compressi senza ulteriore overhead computazionale durante la fase di compressione. Sebbene il fine-tuning post-training rimanga ortogonale e compatibile, SVD-Surgeon mira a massimizzare le prestazioni immediatamente dopo la fase di compressione.