Riepilogo Tecnico: LASER (Loss-Aware Singular-value Decomposition and Rank Allocation)

Definizione del Problema

I modelli vision-language (VLM) hanno dimostrato forti capacità di ragionamento multimodale, ma affrontano sfide significative di deployment a causa dei loro elevati costi computazionali, dell'alto numero di parametri e dei sostanziali requisiti di larghezza di banda della memoria durante la decodifica autoregressiva. Sebbene la decomposizione a basso rango sia emersa come una tecnica di compressione promettente, i metodi esistenti soffrono di tre limitazioni primarie:

1. Ottimizzazione Locale: La maggior parte dei metodi ottimizza l'errore di ricostruzione della matrice locale o l'errore di output per livello, ignorando l'impatto end-to-end sulla perdita (loss) del modello.
2. Allocazione del Rango Inefficiente: Gli approcci attuali si affidano spesso a un'allocazione del rango uniforme o euristica, non tenendo conto della variazione di sensibilità di diversi strati e teste di attenzione alla compressione.
3. Ambito Limitato: Gli sforzi esistenti si concentrano principalmente sulle proiezioni dell'attenzione (Q, K, V), lasciando le reti feed-forward (FFN) — che costituiscono una grande frazione dei parametri e dello storage del modello — ampiamente inesplorate per la compressione a basso rango.

Metodologia

Il paper propone LASER (Loss-Aware Singular-value dEcomposition and Rank allocation), un framework progettato per allineare la compressione a basso rango alle prestazioni del VLM a valle piuttosto che alla mera fedeltà di ricostruzione. La metodologia consiste in quattro componenti principali:

1. Decomposizione in Valori Singolari (SVD) Consapevole della Perdita (Loss-Aware)

Invece di minimizzare la norma di Frobenius dell'errore di ricostruzione dei pesi, LASER deriva un obiettivo SVD pesato dalla curvatura da un'approssimazione del secondo ordine della perdita del modello.

• Surrogato K-FAC: Utilizzando la curvatura approssimata fattorizzata di Kronecker (K-FAC), il metodo approssima l'incremento della perdita causato dalla perturbazione del peso $\Delta W$ come $\Delta L \approx \frac{1}{2}\text{vec}(\Delta W)^\top (G \otimes X)\text{vec}(\Delta W)$, dove $X$ e $G$ sono le matrici di covarianza delle attivazioni e dei gradienti stimate su un set di calibrazione.
• Trasformazione: La matrice dei pesi $W$ viene trasformata in uno spazio pesato dalla curvatura $\tilde{W} = S_x W S_g$ (dove $S_x$ e $S_g$ sono i fattori di Cholesky di $X$ e $G$). La SVD viene eseguita su $\tilde{W}$, e i fattori a basso rango risultanti vengono mappati nuovamente nello spazio originale. Ciò assicura che i componenti troncati corrispondano al minimo incremento stimato della perdita del modello.
• Bianchimento Consapevole della Quantizzazione (QAW): Per accomodare l'inferenza a bassa precisione, il metodo stima i fattori K-FAC utilizzando attivazioni di calibrazione quantizzate, allineando l'obiettivo di bianchimento con lo strato a bassa precisione distribuito.

2. Allocazione del Rango Cross-Layer Consapevole della Perdita

Il paper identifica che i valori singolari derivati da K-FAC non sono direttamente confrontabili tra diversi strati o teste di attenzione a causa dei vari fattori di scala nella stima della curvatura.

• Punteggio di Importanza Empirical-Fisher: Per abilitare un'allocazione del rango globale, LASER introduce un punteggio di importanza basato sui gradienti di calibrazione. Per ogni componente singolare, il punteggio misura il suo contributo all'approssimazione quadratica della perdita di Fisher empirica, combinando l'entità del valore singolare con il suo allineamento ai gradienti di calibrazione nello spazio dei parametri originale.
• Ottimizzazione Globale: I ranghi vengono allocati selezionando greedymente i componenti singolari con i punteggi di importanza più elevati per costo di parametro fino al raggiungimento di un budget di parametri target, permettendo una distribuzione del rango non uniforme tra strati e teste.

3. Ibrido SVD-Quantizzazione per le FFN

Riconoscendo che una decomposizione a basso rango uniforme delle FFN può causare un grave degrado dell'accuratezza, LASER impiega uno schema ibrido:

• Selezione dei Canali: Una SVD temporanea viene applicata alle proiezioni di gate e up per identificare i canali nascosti "SVD-friendly" (quelli con basso errore di ricostruzione).
• Architettura Ibrida: I canali selezionati vengono compressi tramite SVD, mentre i canali rimanenti vengono mantenuti densi.
• Quantizzazione: Una rotazione ortogonale è inserita tra i fattori SVD per smussare gli outlier, seguita dalla quantizzazione Round-to-Nearest (RTN) sia per i rami a basso rango che per quelli densi.

4. Implementazione di Sistema

Per realizzare i benefici di latenza, gli autori implementano kernel Triton fusi per le FFN a basso rango ibrido e per gli strati di Self-Attention (SA) a bassa precisione. Questi kernel fondono le proiezioni di input, la generazione di attivazioni latenti, le operazioni SwiGLU e i passaggi di quantizzazione/dequantizzazione, riducendo significativamente il movimento della memoria e l'overhead di lancio dei kernel.

Contributi Chiave

1. Obiettivo Consapevole della Perdita: Derivazione di un obiettivo SVD pesato dalla curvatura che allinea la decomposizione alle prestazioni del VLM a valle utilizzando K-FAC, andando oltre l'errore di ricostruzione locale.
2. Allocazione del Rango Robusta: Identificazione dell'incomparabilità dei valori singolari K-FAC tra gli strati e introduzione di un punteggio di importanza basato sul gradiente di calibrazione per un'allocazione del rango globale affidabile.
3. Estensione FFN: Uno schema ibrido SVD-quantizzazione che estende la compressione a basso rango alle FFN applicando selettivamente la SVD ai canali tolleranti pur preservando il calcolo denso per quelli sensibili.
4. Ottimizzazione di Sistema: Sviluppo di kernel Triton fusi che integrano la ricostruzione a basso rango, la quantizzazione e le operazioni non lineari, ottenendo velocità di decoding significative.

Risultati Sperimentali

Il framework è stato valutato su cinque VLM (LLaVA-v1.5 7B, LLaVA-Next 7B/13B, Qwen2-VL 7B, SmolVLM 2B) su ScienceQA-IMG, SEED-Bench-IMG e MMBench.

• Preservazione dell'Accuratezza: Sotto inferenza FP16, LASER-noQ (solo SVD) ha costantemente superato i baseline (SVD-LLM, QSVD, WSVD) attraverso vari rapporti di parametri ($\rho_1$). Su LLaVA-Next 13B con $\rho_1=50\%$, LASER ha mantenuto un'accuratezza comparabile al modello FP16 completo, con un calo inferiore all'1%.
• Prestazioni a Bassa Precisione: In configurazioni quantizzate W8A8, LASER ha ottenuto un calo di accuratezza medio di solo ~0,5% rispetto ai baseline FP16, riducendo al contempo la dimensione della KV-cache al 25% del modello FP16. Ha superato altri metodi SVD consapevole della quantizzazione (QSVD, WSVD) e metodi di pura quantizzazione (DuQuant, QVLM).
• Latenza e Velocità: Le valutazioni di sistema su GPU RTX 4090 e 5090 hanno dimostrato che LASER ottiene un incremento della velocità di decoding di 4,7× rispetto a Flash Decoding e un incremento di 2,3× rispetto a WSVD, grazie ai kernel fusi e alla riduzione del traffico di memoria.

Significato e Rivendicazioni

Il paper afferma che LASER fornisce un approccio rigoroso alla compressione a basso rango per i VLM spostando il focus dell'ottimizzazione dalla ricostruzione locale alla sensibilità della perdita globale. Affrontando i limiti dell'allocazione uniforme del rango e l'osservazione trascurata degli strati FFN, LASER consente un'inferenza efficiente a bassa precisione su dispositivi con risorse limitate senza sacrificare le capacità di ragionamento multimodale. Il lavoro dimosta che combinare la decomposizione consapevole della perdita, l'allocazione del rango basata sul gradiente e le strategie di compressione ibrida può produrre guadagni sostanziali sia nella ritenzione dell'accuratezza che nella velocità di inferenza.