Riepilogo Tecnico: E-PMQ: Quantizzazione Post-Fusione Guidata da Esperti con Ancoraggio dei Pesi Fusi

1. Formulazione del Problema: Quantizzazione Post-Fusione (PMQ)

Il documento affronta uno specifico scenario di deployment a risorse limitate in cui più modelli "esperti" specializzati per compiti vengono prima fusi in un unico modello, e questo modello risultante fuso viene successivamente quantizzato per un'inferenza efficiente. Gli autori definiscono questo contesto come Quantizzazione Post-Fusione (PMQ).

La sfida principale identificata è che i metodi standard di Quantizzazione Post-Addestramento (PTQ), come GPTQ, sono inaffidabili se applicati direttamente a modelli fusi. Nella PTQ standard, il modello in precisione completa è trattato come un obiettivo di ricostruzione affidabile. Tuttavia, nella PMQ, il modello fuso in precisione completa ($W_m$) non è un modello multi-compito ottimizzato indipendentemente; è una composizione di parametri che potrebbero già discostarsi dai comportamenti degli esperti sorgente ($W_i$).

Gli autori sostengono che una PMQ ingenua (quantizzare direttamente $W_m$) accoppia due deviazioni distinte:

1. Deviazione di Quantizzazione: L'errore introdotto dalla ricostruzione dei pesi in uno spazio a basso numero di bit.
2. Deviazione di Fusione Relativa agli Esperti: L'errore intrinseco nel modello fuso stesso, che rappresenta quanto $W_m$ si è discostato dai comportamenti specifici degli esperti sorgente ($W_i$).

Quando un algoritmo PTQ ingenuo minimizza l'errore di ricostruzione di $W_m$ da solo, tratta questo modello potenzialmente discostato come la verità fondamentale. Di conseguenza, il processo di quantizzazione non corregge le deviazioni di fusione preesistenti, ma le compounding con gli errori di quantizzazione, portando a un significativo degrado delle prestazioni, specialmente in impostazioni aggressive a basso numero di bit (ad esempio, 4 bit) o quando si fondono molti compiti.

2. Metodologia: Framework E-PMQ

Per mitigare queste deviazioni accoppiate, gli autori propongono E-PMQ, un framework guidato da esperti che integra le informazioni degli esperti sorgente durante la fase di calibrazione, mantenendo al contempo l'efficienza di deployment di un singolo modello fuso.

Componenti Principali

E-PMQ opera tramite quantizzazione livello per livello in ordine forward. Per ogni livello $\ell$, utilizza:

• I pesi fusi ($W_m^\ell$).
• I pesi degli esperti sorgente ($\{W_i^\ell\}_{i=1}^K$).
• Le attivazioni di calibrazione raccolte dal modello parzialmente quantizzato corrente.

Il metodo introduce due meccanismi chiave:

A. Obiettivi di Output Guidati da Esperti

Invece di ricostruire l'output del modello fuso ($W_m^\ell X^\ell$) come unico obiettivo, E-PMQ costruisce obiettivi di output basati sugli esperti sorgente. Per ogni esperto $i$, l'obiettivo è $Y_i^\ell = W_i^\ell X_i^\ell$, dove $X_i^\ell$ sono le attivazioni raccolte dal sottoinsieme di calibrazione associato a quell'esperto.
L'obiettivo minimizza la discrepanza tra l'output del livello quantizzato e questi obiettivi indotti dagli esperti:
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$$
Ciò costringe il processo di quantizzazione ad allinearsi ai comportamenti degli esperti originali, mitigando così la deviazione di fusione relativa agli esperti.

B. Ancoraggio dei Pesi Fusi

Riferirsi esclusivamente agli obiettivi degli esperti rischia di correggere eccessivamente il livello fuso, potenzialmente causando al modello quantizzato di discostarsi verso un esperto specifico e perdere le capacità integrate ottenute dal processo di fusione. Per prevenire ciò, E-PMQ aggiunge un termine di regolarizzazione che ancorra i pesi quantizzati ($Q^\ell$) ai pesi fusi in precisione completa ($W_m^\ell$):
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$$
La forza dell'ancoraggio $\lambda^\ell$ è adattiva, scalata dall'energia totale di attivazione del livello per garantire stabilità tra diversi livelli.

Implementazione del Solver

Gli autori adattano il solver sequenziale di arrotondamento in stile GPTQ per gestire questo nuovo obiettivo. Il solver utilizza statistiche quadratiche modificate:

• Curvatura Effettiva: $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
• Termine di Destra: $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
  Ciò permette di implementare il metodo in modo efficiente senza riaddestramento end-to-end, utilizzando solo un insieme di calibrazione.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Formulazione del Problema: Gli autori definiscono formalmente la Quantizzazione Post-Fusione (PMQ) e identificano la modalità di fallimento degli approcci ingenui: l'accoppiamento della deviazione di quantizzazione con la deviazione di fusione relativa agli esperti.
2. Proposta di Algoritmo: Introducono E-PMQ, che utilizza i pesi degli esperti sorgente per fornire obiettivi di output guidati durante la calibrazione e impiega l'ancoraggio dei pesi fusi per stabilizzare la soluzione e preservare il comportamento integrato del modello fuso.
3. Validazione Empirica: Esperimenti estesi dimostrano che E-PMQ supera costantemente le baseline PMQ ingenua (RTN, GPTQ, AWQ) attraverso vari metodi di fusione (Task Arithmetic, TIES-Merging, Semplice Media), architetture di modelli (CLIP-ViT, FLAN-T5, Llama-3.1) e scale di compiti (da 8 a 20 compiti).

4. Risultati Sperimentali

Il documento valuta E-PMQ su modelli di visione (CLIP) e linguaggio (FLAN-T5, Llama-3.1) utilizzando quantizzazione a soli pesi a 4 bit.

• CLIP-ViT-B/32 (8 Compiti): Sotto Task Arithmetic, E-PMQ migliora l'accuratezza di GPTQ a 4 bit dal 65,0% al 73,6%. Sotto TIES-Merging, migliora dal 69,1% al 74,8%.
• CLIP-ViT-L/14 (20 Compiti): In questo scenario più difficile con maggiore interferenza, E-PMQ mostra guadagni drammatici, migliorando GPTQ dal 34,8% al 76,7% sotto Task Arithmetic.
• FLAN-T5-base (GLUE): E-PMQ migliora il punteggio medio dal 78,26% all'83,34% sotto Task Arithmetic e dal 79,98% all'83,48% sotto TIES-Merging.
• Llama-3.1 (3B e 8B): E-PMQ raggiunge le migliori prestazioni medie tra le varianti quantizzate, migliorando i punteggi rispetto alle baseline GPTQ e AWQ.
• Studi di Ablazione: Rimuovere l'ancoraggio dei pesi fusi ($\alpha=0$) causa un collasso severo delle prestazioni (ad esempio, un calo a circa il 5% di accuratezza), confermando che la guida degli esperti da sola è insufficiente senza un ancoraggio al modello fuso. E-PMQ dimostra inoltre robustezza attraverso diverse larghezze di bit (da 3 a 8 bit) e con budget di calibrazione ridotti.

5. Significato e Affermazioni

Il documento afferma che E-PMQ abilita un deployment efficace a basso numero di bit di modelli fusi, un contesto precedentemente considerato inaffidabile a causa dell'accumulo di deviazioni.

• Efficienza: Il metodo richiede l'accesso agli esperti sorgente solo durante la fase di quantizzazione pre-deployment. Il modello finale deployato è un singolo modello fuso a basso numero di bit senza moduli aggiuntivi al momento dell'inferenza o pesi degli esperti, mantenendo lo stesso numero di parametri e la stessa velocità di inferenza delle baseline ingenua.
• Generalizzabilità: L'approccio si dimostra efficace attraverso diverse modalità (visione e testo), scale di modelli e strategie di fusione.
• Limitazioni: Gli autori notano modestamente che E-PMQ richiede l'accesso agli esperti sorgente durante la quantizzazione, il che aumenta i costi computazionali e di memoria pre-deployment rispetto alla PTQ ingenua. Se è disponibile solo il modello fuso, il metodo non può costruire obiettivi guidati da esperti. Inoltre, le prestazioni del metodo dipendono dalla rappresentatività dell'insieme di calibrazione.

In sintesi, il documento sostiene che per quantizzare con successo modelli fusi, è necessario guardare oltre il modello fuso stesso e utilizzare gli esperti sorgente per guidare la calibrazione, ancorando simultaneamente la soluzione ai pesi fusi per preservare i benefici della fusione.