Riepilogo Tecnico: Preserva-Poi-Quantizza (SRR)

Enunciato del Problema

La Quantizzazione Post-Addestramento (PTQ) è un metodo primario per ridurre l'impronta di memoria e i costi di inferenza dei Modelli Linguistici di Grande Dimensione (LLM) convertendo i pesi in precisione intera in rappresentazioni a basso numero di bit. Tuttavia, una quantizzazione aggressiva a basso numero di bit (ad esempio, 2-bit o 3-bit) causa spesso un degrado sostanziale dell'accuratezza. Un rimedio ampiamente adottato è la Ricostruzione dell'Errore di Quantizzazione (QER), che approssima la matrice dei pesi in precisione intera $W$ come $W \approx Q + LR$, dove $Q$ è il peso quantizzato e $LR$ è un termine di correzione a basso rango progettato per recuperare le informazioni perse durante la quantizzazione.

I metodi QER esistenti dedicano tipicamente l'intero budget di rango $r$ alla ricostruzione del residuo di quantizzazione (cioè, approssimando $S(W-Q)$, dove $S$ è una matrice scalata dalle attivazioni). Gli autori sostengono che questo approccio sia subottimale per due motivi principali:

1. Allocazione Inefficiente delle Risorse: In regimi a basso numero di bit, l'errore di quantizzazione è spesso denso e ad alto rango. Dedicare tutta la capacità di rango alla correzione di questo errore può essere inefficiente.
2. Danno Strutturale: I pesi dei Transformer nello spazio scalato dalle attivazioni ($SW$) sono spesso altamente anisotropi, con la maggior parte dell'energia concentrata in un piccolo insieme di direzioni singolari dominanti. La QER standard quantizza per prima queste direzioni dominanti, iniettando errori scalati sproporzionatamente grandi. La successiva correzione a basso rango è quindi costretta a spendere la sua capacità limitata per riparare una "distorsione evitabile" nel sottospazio più informativo, piuttosto che correggere il rumore residuo.

La domanda centrale affrontata è: Sotto un budget di rango fisso, come dovremmo bilanciare la preservazione della struttura dominante rispetto alla ricostruzione dell'errore di quantizzazione?

Metodologia: Ricostruzione Strutturata del Residuo (SRR)

Il documento propone la Ricostruzione Strutturata del Residuo (SRR), un framework "preserva-poi-quantizza" che alloca esplicitamente il budget di rango tra due ruoli: preservare la struttura dominante e ricostruire l'errore di quantizzazione.

1. La Pipeline Preserva-Poi-Quantizza

Invece di quantizzare l'intera matrice dei pesi $W$ e poi correggere il residuo, SRR esegue i seguenti passaggi per una divisione scelta $k$ (dove $0 \le k \le r$):

1. Preserva: Estrai le prime $k$ direzioni singolari dominanti della matrice dei pesi scalata $SW$. Queste direzioni sono mappate indietro allo spazio originale ($L^{(1)}_k R^{(1)}_k$) e bypassano la quantizzazione.
2. Quantizza: Il componente residuo rimanente ($W - L^{(1)}_k R^{(1)}_k$) viene quantizzato per produrre $Q_k$.
3. Ricostruisci: L'errore di quantizzazione indotto sul residuo ($E_k = (W - L^{(1)}_k R^{(1)}_k) - Q_k$) viene ricostruito utilizzando il budget di rango rimanente $r-k$ tramite SVD troncata nello spazio scalato ($L^{(2)}_k R^{(2)}_k$).

L'approssimazione finale è $\hat{W}_{SRR} = L^{(1)}_k R^{(1)}_k + Q_k + L^{(2)}_k R^{(2)}_k$.

2. Selezione del Rango Guidata dalla Teoria ($k^*$)

La selezione del punto di divisione ottimale $k$ è critica. SRR deriva un criterio per minimizzare l'errore di ricostruzione scalato senza un'enumerazione costosa.

• Obiettivo: Minimizzare $\|S(W - \hat{W}_{SRR}(k))\|_F$.
• Derivazione: L'errore è fattorizzato nella scala dell'errore di quantizzazione e nel rapporto di energia irrecuperabile.
  • Assunzione 4.1: L'energia dell'errore di quantizzazione scalata è approssimativamente proporzionale all'energia dell'input scalato ($\|SE_k\|_F \approx \eta_Q \|S(W - L^{(1)}_k R^{(1)}_k)\|_F$).
  • Assunzione 4.2: Il profilo spettrale dell'errore di quantizzazione normalizzato è insensibile alla realizzazione specifica e può essere approssimato da una matrice casuale $E$ con voci i.i.d.
• Regola di Selezione: Il $k^*$ ottimale viene selezionato minimizzando il prodotto dell'energia irrecuperabile della parte preservata e dell'energia irrecuperabile della parte residua:
  $$k^* = \arg \min_{0 \le k \le r} \rho_k(SW) \cdot \rho_{r-k}(SE)$$
  dove $\rho_p(A)$ è il rapporto dell'energia rimanente dopo un troncamento di rango-$p$. Ciò consente una selezione leggera e "one-shot" di $k$ utilizzando una matrice di sonda casuale $E$.

3. Applicazione al Fine-Tuning Efficiente dei Parametri Quantizzati (QPEFT)

SRR si estende naturalmente al QPEFT, dove lo scheletro quantizzato è congelato e viene addestrato solo l'adattatore a basso rango.

• Inizializzazione: La decomposizione SRR fornisce un'inizializzazione ad alta fedeltà per l'adattatore ($LR = L^{(1)}R^{(1)} + L^{(2)}R^{(2)}$).
• Scalatura del Gradiente: I due componenti svolgono ruoli diversi: $L^{(1)}R^{(1)}$ preserva il sottospazio dominante, mentre $L^{(2)}R^{(2)}$ gestisce l'adattamento. Per impedire all'ottimizzatore di aggiornare eccessivamente le direzioni preservate (il che potrebbe destabilizzare la struttura), SRR applica una scalatura del gradiente al componente preservato:
  $$\nabla_{L^{(1)}R^{(1)}} L \leftarrow \gamma \nabla_{L^{(1)}R^{(1)}} L, \quad \gamma \in (0, 1)$$
  Ciò stabilizza il fine-tuning attenuando gli aggiornamenti lungo il sottospazio preservato, consentendo al contempo alle direzioni residue di adattarsi liberamente.

Contributi Chiave

1. Framework di Allocazione del Rango: SRR introduce un framework principiato che divide esplicitamente il budget di rango tra la preservazione della struttura a basso rango dominante e la ricostruzione dell'errore di quantizzazione, affrontando l'inefficienza della ricostruzione "solo residuo".
2. Selezione Guidata dalla Teoria: Il documento deriva un criterio semplice e guidato dalla teoria per selezionare il punto di divisione $k$ basato sul decadimento spettrale dei pesi scalati e su un proxy a matrice casuale per il rumore di quantizzazione, evitando un'enumerazione costosa.
3. Stabilizzazione del QPEFT: Il metodo fornisce un'inizializzazione strutturata per il QPEFT e introduce un meccanismo di scalatura del gradiente per stabilizzare l'addestramento disaccoppiando i ruoli delle direzioni preservate e ricostruite.
4. Implementazione Plug-and-Play: SRR è progettato come un modulo senza fine-tuning, plug-and-play, compatibile con i metodi QER esistenti consapevoli delle attivazioni (ad esempio, LQER, QERA).

Risultati Sperimentali

Gli autori hanno valutato SRR su modelli diversi (TinyLLaMA, Gemma-2, LLaMA-2, LLaMA-3.1) e impostazioni di quantizzazione (da 2-bit a 4-bit).

• Quantizzazione Post-Addestramento (PTQ):

  • SRR ha ridotto costantemente la perplessità su WikiText2 su tutti i modelli e budget di rango ($r=32, 64$) rispetto a baseline come LQER e QERA.
  • Miglioramenti notevoli includevano una riduzione relativa della perplessità del 27,1% su LLaMA-2 7B e del 12,2% su Gemma-2 2B a precisione 3-bit.
  • L'accuratezza zero-shot su compiti downstream (HellaSwag, Winogrande, ecc.) è migliorata in modo coerente.

• PEFT Quantizzato (QPEFT):

  • Sui benchmark GLUE utilizzando RoBERTa-base, SRR ha ottenuto un guadagno medio di 5,9 punti percentuali rispetto alla baseline QERA sotto quantizzazione 2-bit.
  • SRR ha superato metodi iterativi come LoftQ e LQ-LoRA di oltre 10 punti percentuali a precisione 2-bit senza richiedere raffinamento iterativo.
  • Le curve di perdita di addestramento hanno dimostrato che SRR accelera la convergenza rispetto alle baseline.
  • Su GSM8K e SlimPajama, SRR ha migliorato l'accuratezza e ridotto la perplessità in modo significativo rispetto a QERA e altre baseline a precisione 2-bit.

• Robustezza:

  • SRR ha mostrato miglioramenti coerenti tra diversi quantizzatori (MXINT, GPTQ, QuIP#).
  • La selezione del rango $k^*$ si è rivelata stabile tra diversi semi casuali (variando tipicamente di $\pm 1$).

Significato e Affermazioni

Il documento afferma che bilanciare preservazione e ricostruzione è critico per un'approssimazione accurata a basso numero di bit di $W \approx Q + LR$. Prevenendo che la quantizzazione corrompa le direzioni ad alta energia e riservando la capacità a basso rango per le correzioni più efficaci, SRR raggiunge un'approssimazione più accurata rispetto ai metodi precedenti sotto budget di rango identici.

Gli autori sottolineano che SRR offre un framework principiato per il raffinamento a basso rango nei modelli quantizzati. Dimostra che il budget a basso rango non dovrebbe servire a un unico scopo (correzione dell'errore) ma dovrebbe essere allocato dinamicamente in base alle proprietà strutturali intrinseche dei pesi. Il metodo è presentato come una soluzione robusta, computazionalmente efficiente (sovraccarico trascurabile tramite SVD randomizzata) e generalizzabile sia per PTQ che per QPEFT, abilitando un deployment a basso numero di bit più accurato degli LLM.