Zero-Shot Quantization via Weight-Space Arithmetic

1. Il Problema

Le reti neurali profonde sono tipicamente addestrate e distribuite in formati floating-point ad alta precisione, il che comporta costi elevati di memoria e larghezza di banda. La quantizzazione (rappresentazione dei parametri con interi a basso numero di bit) è la soluzione standard per mitigare questi costi.
Esistono due approcci principali:

• PTQ (Post-Training Quantization): Applica la quantizzazione a un modello già addestrato senza dati di training aggiuntivi. È economico e veloce, ma a bit-width estremamente bassi (es. 3 bit o meno) causa spesso un degrado drastico delle prestazioni a causa della distorsione dei parametri.
• QAT (Quantization-Aware Training): Addestra il modello simulando gli effetti della quantizzazione durante l'ottimizzazione. Offre prestazioni molto migliori a basso bit-width, ma richiede risorse computazionali e dati di training, rendendolo costoso e non sempre fattibile.

Il paper si pone una domanda fondamentale: è possibile isolare la robustezza alla quantizzazione appresa tramite QAT in un compito e riutilizzarla "zero-shot" su un altro compito, evitando così la necessità di un nuovo addestramento QAT?

2. Metodologia: Il Vettore di Quantizzazione (QV)

Gli autori propongono un metodo basato sull'aritmetica nello spazio dei pesi (weight-space arithmetic). L'ipotesi centrale è che la robustezza alla quantizzazione non sia solo un sottoprodotto specifico del compito, ma una direzione trasferibile nello spazio dei parametri.

Il processo si articola in due fasi:

A. Estrazione del Vettore di Quantizzazione (Donor)

Dato un compito "donatore" ($D$) per cui si dispone di due checkpoint:

1. $\theta_{D}$: Un checkpoint standard addestrato (fine-tuned) senza QAT.
2. $\theta_{D,QAT}$: Lo stesso checkpoint addestrato con QAT.

Si definisce il Vettore di Quantizzazione (QV), $\rho_D$, come la differenza nello spazio dei pesi tra i due checkpoint:
$$\rho_D = \theta_{D,QAT} - \theta_{D}$$
Questo vettore cattura la "dislocamento" geometrico necessario per rendere il modello robusto al rumore di quantizzazione, isolando l'adattamento strutturale dal comportamento specifico del compito.

B. Patching Zero-Shot (Receiver)

Per un compito "ricevente" ($R$) per cui si ha solo un checkpoint standard $\theta_R$ (senza QAT), si applica il vettore del donatore per ottenere un modello patchato:
$$\theta_{R \leftarrow D} = \theta_R + \lambda \rho_D$$
Dove $\lambda$ è un coefficiente di scala che modula l'intensità della patch.

• Zero-Shot: Il metodo non richiede dati di training, dati di calibrazione o backpropagation sul modello ricevente.
• Assunzione: Entrambi i modelli (donatore e ricevente) devono condividere la stessa inizializzazione pre-addestrata (es. ViT pre-addestrato su ImageNet) per garantire che lo spazio dei pesi sia compatibile.

3. Contributi Chiave

1. Introduzione dei Quantization Vectors (QV): Definizione di spostamenti lineari nello spazio dei pesi che isolano l'adattamento geometrico da un checkpoint standard a uno abilitato alla QAT.
2. Framework di Patching Cross-Task Zero-Shot: Un protocollo che utilizza i QV dei donatori per migliorare la resilienza dei modelli riceventi alla degradazione da PTQ a basso bit, senza ri-addestramento.
3. Dimostrazione della Trasferibilità: Evidenza empirica che la robustezza indotta dalla QAT è una proprietà parzialmente trasferibile tra compiti diversi, non vincolata al compito specifico di addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su architetture Vision Transformer (ViT) (varianti T, S, B, L) su un set eterogeneo di 22 compiti di classificazione (es. ImageNet, CIFAR, Stanford Cars, ecc.) con quantizzazione dei pesi a 3 bit.

• Miglioramento delle Prestazioni: L'applicazione del QV di un donatore ha migliorato la robustezza al rumore PTQ fino al 60% rispetto al PTQ nativo, anche quando donatore e ricevente erano compiti molto diversi.
• Analisi della Direzione vs. Magnitudine:
  • Con un fattore di scala fisso ($\lambda = 1$), si osservano guadagni significativi ma anche alcune interferenze distruttive (degradazione delle prestazioni) in alcune coppie donatore-ricevente.
  • Ottimizzazione della Magnitudine: Regolando semplicemente il parametro scalare $\lambda$ (anche con una minima quantità di dati di calibrazione), le interferenze distruttive vengono quasi totalmente eliminate e i guadagni vengono massimizzati. Questo suggerisce che la direzione del vettore è universale, mentre la magnitudine deve essere adattata al ricevente.
• Donatori Efficaci: Compiti come ImageNet e Tiny ImageNet si sono rivelati donatori eccezionali, con tassi di trasferimento positivo del 100% su tutti i riceventi quando la magnitudine era ottimizzata.
• Scalabilità: Il metodo funziona su diverse scale di modelli (da ViT-Tiny a ViT-Large), sebbene i modelli più grandi siano più sensibili alla scelta della magnitudine.

5. Significato e Impatto

Questo lavoro cambia la prospettiva sulla quantizzazione:

• Geometria vs. Addestramento: Dimostra che la robustezza alla quantizzazione è una proprietà geometrica dello spazio dei pesi che può essere estratta e trasferita, piuttosto che una proprietà che deve essere ri-appresa da zero per ogni nuovo compito.
• Alternativa Economica alla QAT: Offre una soluzione zero-shot, a basso costo e senza dati per il deployment di modelli a bit-width estremamente bassi (es. 3 bit), colmando il divario tra l'efficienza del PTQ e la robustezza della QAT.
• Estensione dell'Aritmetica nello Spazio dei Pesi: Estende il concetto di "Task Vectors" (usati precedentemente per fondere compiti o aggiungere stili) a proprietà computazionali e strutturali, come la sopravvivenza alla quantizzazione a bassa precisione.

In sintesi, il paper stabilisce che è possibile "patchare" un modello standard con la "memoria" di un modello addestrato alla quantizzazione, ottenendo modelli pronti per il deployment a basso bit-width senza i costi computazionali dell'addestramento QAT tradizionale.