MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

Riepilogo Tecnico: MARR (Ricostruzione Residua Adattiva al Modulo)

Enunciato del Problema
La quantizzazione post-allenamento (PTQ) a basso numero di bit è fondamentale per il deployment di grandi modelli linguistici (LLM) e transformer visivi (ViT) in condizioni di vincoli rigorosi di memoria e larghezza di banda. Sebbene i metodi PTQ basati sulla ricostruzione (ad es. GPTQ) minimizzino efficacemente gli errori di quantizzazione locali, spesso non riescono a tenere conto degli errori accumulati dai livelli precedenti in impostazioni a basso numero di bit. Approcci recenti, come GPTAQ e ResComp, affrontano questo problema introducendo termini residui inter-livello per correggere le discrepanze di attivazione accumulate. Tuttavia, gli autori identificano una limitazione critica in questi metodi: la dipendenza da un'assunzione di Approssimazione dell'Hessiano (HA).

Sotto l'assunzione HA, l'obiettivo di ricostruzione semplifica l'Hessiano della perdita del compito in una matrice diagonale. Gli autori dimostrano che, sebbene i termini residui riducano efficacemente gli errori accumulati, introducono simultaneamente un ulteriore bias di Approssimazione dell'Hessiano (HA). Questo bias nasce perché il termine residuo interagisce con il divario di approssimazione tra l'Hessiano reale della perdita del compito e la metrica locale semplificata dell'Errore Quadratico Medio (MSE). Di conseguenza, una forza residua eccessiva può amplificare questo bias, portando a prestazioni di quantizzazione subottimali. Inoltre, il bilanciamento ottimale tra correzione degli errori e bias HA è dipendente dal modulo; un singolo coefficiente di scaling residuo globale è insufficiente per gestire l'eterogeneità tra i diversi moduli di una rete.

Metodologia
Per affrontare il compromesso tra la correzione degli errori accumulati e il bias HA legato ai residui, il paper propone la Ricostruzione Residua Adattiva al Modulo (MARR). La metodologia centrale consta di tre componenti:

1. Ricostruzione Residua Scalata:
   Gli autori introducono un coefficiente di scaling, $\alpha$, per modulare il termine residuo $r$ nell'obiettivo di ricostruzione. La funzione obiettivo è formulata come la minimizzazione di $\|\Delta w \hat{X} - \alpha r\|_F^2$. Ciò permette al metodo di controllare esplicitamente la forza delle informazioni inter-livello iniettate in ciascun modulo. L'analisi teorica (Eq. 6) mostra che il bias HA contiene termini dipendenti dal residuo $r$; pertanto, scalare $\alpha$ regola direttamente l'entità di questo bias rispetto al beneficio della correzione degli errori.

2. Scaling Specifico per Modulo:
   Riconoscendo che il $\alpha$ ottimale varia tra i moduli a causa delle differenze nelle statistiche di attivazione e nelle magnitudini dei residui propagati, MARR assegna un coefficiente di scaling unico $\alpha_m$ a ciascun modulo $m$. Questo sostituisce il coefficiente globale utilizzato nei lavori precedenti (ad es. GPTAQ dove $\alpha=1$).

3. Stima Adattiva Basata su PID:
   Per determinare il $\alpha_m$ ottimale senza costose ricerche esaustive su griglia, gli autori progettano una strategia di aggiornamento adattivo basata su Proporzionale-Integrale-Derivativo (PID).

   • Segnale di Feedback: L'errore di ricostruzione a livello di modulo (MSE) funge da segnale di feedback. Poiché il processo di quantizzazione è non liscio e discreto, l'ottimizzazione basata sui gradienti è non fattibile. Invece, il metodo utilizza un approccio di feedback di ordine zero.
   • Meccanismo di Aggiornamento: L'algoritmo tratta $\alpha_m$ come una variabile regolabile. Calcola un segnale di deviazione basato sulla tendenza delle differenze finite dell'errore di ricostruzione. Questo segnale viene elaborato attraverso un controllore PID (con componenti proporzionale, integrale e derivativa) per generare un aggiornamento incrementale per $\alpha_m$.
   • Stabilità: L'aggiornamento include un segnale di deviazione vincolato da $\tanh$ per prevenire l'overshoot e un criterio di arresto anticipato basato sulla variazione relativa della funzione obiettivo. In pratica, il coefficiente converge in poche iterazioni (tipicamente $T=3$).

Contributi Chiave

• Insight Teorico: Il paper identifica e analizza l'"effetto a due facce" della ricostruzione residua: mentre riduce gli errori accumulati, introduce un bias correlato all'HA. Ciò spiega perché residui fissi e forti possono degradare le prestazioni.
• Framework MARR: La proposta di un framework adattivo al modulo che assegna coefficienti di scaling specifici ai residui, permettendo a ciascun modulo di bilanciare indipendentemente la correzione degli errori e il bias di approssimazione.
• Ottimizzazione Efficiente: La progettazione di una strategia di aggiornamento adattivo basata su PID che stima efficientemente i coefficienti specifici per modulo utilizzando il feedback dell'errore di ricostruzione, evitando il costo computazionale della ricerca esaustiva.
• Validazione Empirica: Numerosi esperimenti dimostrano che MARR supera costantemente i baseline di ricostruzione residua all'avanguardia (GPTAQ, ResComp) in condizioni di quantizzazione a basso numero di bit (W2A4, W3A3, ecc.) su vari LLM (Llama2, Llama3) e ViT (DeiT).

Risultati Sperimentali
Gli autori hanno valutato MARR su diversi modelli in impostazioni di quantizzazione peso-attivazione (W/A) e solo-peso (W):

• LLM (W2A4): MARR ha ottenuto riduzioni significative della perplessità sui dataset WikiText2 e C4. Ad esempio, su Llama2-7b, MARR ha ridotto la perplessità del 14,94% rispetto a GPTAQ. Su Llama3-8b, la riduzione è stata del 9,82%. In termini di accuratezza sui task downstream, MARR ha mostrato miglioramenti coerenti, con guadagni fino al 2,54% in media sull'accuratezza zero-shot per Llama2-7b.
• ViT: Su ImageNet, MARR ha migliorato l'accuratezza top-1 su tutti i modelli DeiT-T, DeiT-S e DeiT-B. In particolare, su DeiT-S sotto quantizzazione W3A3, MARR ha raggiunto un guadagno relativo del 4,61% rispetto al baseline GPTAQ.
• Quantizzazione Solo-Peso: Anche quando le attivazioni rimangono in alta precisione (ad es. W2A16), MARR ha dimostrato miglioramenti, sebbene i guadagni fossero talvolta più dipendenti dal task, confermando che il meccanismo di controllo del residuo rimane benefico anche quando la discrepanza di attivazione è ridotta.
• Efficienza: L'aggiornamento basato su PID introduce un sovraccarico PTQ una tantum di circa 2,1–2,7× rispetto al metodo baseline GPTAQ. Gli autori notano che ciò è accettabile dato i guadagni di prestazioni e il fatto che rimane significativamente più veloce dei metodi di ricostruzione basati sulla back-propagation.

Significato e Affermazioni
Il paper afferma che MARR fornisce una soluzione fondata alle prestazioni subottimali dei metodi esistenti di ricostruzione residua nella PTQ a basso numero di bit. Modellando esplicitamente il compromesso tra correzione degli errori accumulati e bias HA, e adattando questo equilibrio a livello di modulo, MARR raggiunge un'accuratezza di quantizzazione superiore senza richiedere ri-allenamento. Gli autori sottolineano la generalità del loro approccio, notando la sua efficacia sia su LLM che su ViT, suggerendo che il controllo del contributo residuo è un requisito fondamentale per spingere i limiti della quantizzazione al di sotto dei 4 bit. Il lavoro conclude che, sebbene la strategia PID aggiunga un sovraccarico computazionale, è un meccanismo necessario ed efficiente per evitare le prestazioni subottimali causate da una forza residua "taglia unica".