Riepilogo Tecnico: Compensazione Bipolare Non Lineare (NBC) per la Quantizzazione Post-Training

1. Enunciato del Problema

La quantizzazione delle reti è una tecnica fondamentale per comprimere le reti neurali profonde mappando numeri in virgola mobile su rappresentazioni a basso numero di bit, riducendo così il consumo di memoria e di risorse computazionali. Sebbene la Quantizzazione Post-Training (PTQ) offra un'alternativa pratica alla Quantizzazione Consapevole dell'Addestramento (QAT) evitando il riaddestramento, i metodi PTQ esistenti affrontano un compromesso significativo tra accuratezza ed efficienza, in particolare sotto quantizzazione a basso numero di bit (ad esempio, 4 bit).

I metodi basati sulla compensazione recenti tentano di mitigare gli errori di quantizzazione introducendo strati lineari leggeri nella rete quantizzata. Tuttavia, gli autori identificano due limitazioni fondamentali in questi approcci esistenti:

1. Capacità di Compensazione Limitata: La perdita di quantizzazione nelle reti neurali profonde è intrinsecamente altamente non lineare. Le semplici trasformazioni lineari sono insufficienti per recuperare completamente le informazioni perse durante la quantizzazione.
2. Alta Sensibilità agli Outlier: Le architetture moderne, come i Vision Transformers (ViT) e i Large Language Models (LLM), spesso contengono outlier di attivazione che superano significativamente l'intervallo dei valori normali. I moduli di compensazione lineare, tipicamente inizializzati tramite Minimi Quadrati Ordinari (OLS), sono strutturalmente inclini a essere "trascinati" da questi outlier. La soluzione OLS minimizza l'errore quadratico dei valori estremi, causando una inclinazione eccessiva della retta di regressione verso gli outlier e sacrificando l'adattamento ottimale per la maggior parte dei dati.

2. Metodologia: Compensazione Bipolare Non Lineare (NBC)

Per affrontare queste limitazioni, il documento propone la Compensazione Bipolare Non Lineare (NBC), un approccio di quantizzazione post-training che introduce non linearità per gestire perdite di quantizzazione complesse e outlier, mantenendo al contempo l'efficienza delle soluzioni in forma chiusa.

Framework Principale

Il metodo NBC opera mappando l'input quantizzato ($x_q$) e l'errore di quantizzazione ($y - y_q$) in uno spazio trasformato, eseguendo una compensazione lineare all'interno di tale spazio e mappando il risultato indietro nello spazio originale. Il processo è formalizzato come:
$$y_{nbc} = y_q + f^{-1}(W f(x_q) + b)$$
Dove:

• $f(x)$ è una funzione di trasformazione non lineare.
• $f^{-1}(x)$ è la sua inversa.
• $W$ e $b$ sono la matrice dei pesi e il vettore di bias di uno strato lineare leggero.
• Crucialmente, i parametri $W$ e $b$ sono ottenuti tramite una soluzione in forma chiusa (regressione lineare) sui dati trasformati ($f(x_q)$ e $f(y - y_q)$), evitando la necessità di backpropagation o addestramento iterativo.

Trasformazione Logaritmica Bipolare (BLT)

L'implementazione specifica della funzione non lineare $f(x)$ è la Trasformazione Logaritmica Bipolare (BLT). Le trasformazioni logaritmiche standard sono inadatte perché gli errori di quantizzazione e gli input possono essere negativi. La BLT divide il dominio di input in tre regioni basate su una soglia di magnitudine ($2^{-N}$):

1. Regione Lineare: Per piccole magnitudini ($|x| \le 2^{-N}$), la funzione applica un ridimensionamento lineare per preservare la precisione vicino allo zero.
2. Regione Logaritmica Positiva: Per grandi valori positivi ($x > 2^{-N}$), applica una trasformazione logaritmica con un offset.
3. Regione Logaritmica Negativa: Per grandi valori negativi ($x < -2^{-N}$), applica una trasformazione logaritmica negativa con un offset corrispondente.

Questo design comprime efficacemente gli outlier (sia positivi che negativi) preservando al contempo la relazione lineare per le attivazioni normali.

Selezione degli Iperparametri

Il parametro di soglia $N$ viene selezionato utilizzando un algoritmo di Ricerca Locale basata sulla Perdita delle Feature (FLS). Questo algoritmo esegue una ricerca locale discreta attorno a un valore iniziale empirico, valutando la distanza L2 quadrata tra le feature del modello a precisione completa e quelle del modello quantizzato per trovare l'$N$ ottimale che minimizza la perdita delle feature.

3. Contributi Chiave

Il documento apporta i seguenti contributi specifici:

• Analisi delle Limitazioni: Identifica e dimostra formalmente che i metodi PTQ basati sulla compensazione esistenti falliscono a causa della loro incapacità di modellare la perdita di quantizzazione non lineare e della loro sensibilità strutturale agli outlier nell'ottimizzazione lineare OLS.
• Framework NBC: Propone la Compensazione Bipolare Non Lineare, un metodo che introduce non linearità per migliorare l'accuratezza mantenendo la semplicità e l'efficienza del calcolo dei parametri in forma chiusa.
• Design BLT: Introduce la Trasformazione Logaritmica Bipolare, che supera la limitazione delle trasformazioni logaritmiche standard riguardo ai valori negativi, abilitando una compressione efficace degli outlier sia negli intervalli di attivazione positivi che negativi.
• Validazione Completa: Il metodo è validato su compiti diversificati (visione, linguaggio, multimodale), modelli (ViT, DeiT, Swin, LLaMA2, DiT) e baseline PTQ (RepQ-ViT, AdaLog, Q-DiT, DuQuant).

4. Risultati Sperimentali

Estesi esperimenti dimostrano l'efficacia, l'efficienza e la robustezza della NBC:

• Classificazione di Immagini (ImageNet):

  • Su ViT-B quantizzato a 4 bit utilizzando RepQ-ViT, la NBC raggiunge un'accuratezza Top-1 del 77,6%, un miglioramento significativo rispetto alla baseline RepQ-ViT (69,1%) e al metodo di compensazione lineare QwT (76,6%).
  • Su varie backbones (DeiT-T, ViT-B, Swin-S), la NBC supera costantemente QwT, con guadagni medi del 2,4% rispetto alla baseline e fino al 4,6% negli scenari a 4 bit.
  • I parametri NBC possono essere quantizzati in INT8 con una perdita di accuratezza trascurabile (<0,2%), riducendo ulteriormente il sovraccarico di archiviazione.

• Generazione di Immagini (DiT):

  • Sul modello DiT-XL/2, la NBC migliora la baseline Q-DiT di 0,33 FID e 5,4 IS nelle impostazioni a 8 bit, e recupera significativamente le prestazioni nelle impostazioni a 4 bit (ad esempio, FID scende da 6,75 a 6,12).

• Riconoscimento Multimodale (CLIP):

  • Quantizzando sia gli encoder di immagine che di testo (6 bit), la NBC migliora l'accuratezza Top-1 zero-shot del 16,4% rispetto alla baseline RepQ-ViT (44,3% contro 29,8%).

• Large Language Models (LLaMA2-7B):

  • Integrata con DuQuant, la NBC migliora l'accuratezza media sui compiti di QA di senso comune dal 60,57% al 61,47% e riduce la perplessità su WikiText2 e C4.

• Efficienza e Robustezza:

  • Calibrazione: L'intero processo di calibrazione (inclusa la ricerca FLS) si completa entro 1-3 minuti su una singola GPU.
  • Sovraccarico: Il modulo di compensazione aggiunge circa il 4% alla dimensione del modello e circa 2,2 ms di latenza di inferenza nelle impostazioni W8A8, recuperando quasi tutta la perdita di accuratezza rispetto alla precisione completa.
  • Robustezza: Il metodo mostra guadagni costanti su diversi semi casuali per il campionamento del set di calibrazione.

5. Significato e Affermazioni

Gli autori affermano che la NBC offre una soluzione generale, efficiente e pratica per la quantizzazione a basso numero di bit. Il suo significato risiede in:

1. Rottura del Collo di Bottiglia Lineare: Introducendo non linearità senza richiedere addestramento, la NBC supera il limite di accuratezza dei metodi di compensazione lineare.
2. Gestione degli Outlier: La BLT affronta specificamente il problema del "trascinamento degli outlier", che è una modalità di fallimento critica nei modelli moderni basati su transformer.
3. Prontezza per il Deploy: A differenza dei metodi basati sull'ottimizzazione che richiedono ore di ricostruzione blocco per blocco, la NBC mantiene l'efficienza "solo calibrazione" della PTQ, rendendola adatta al deploy nel mondo reale.

Il documento riconosce le limitazioni, notando che le prestazioni dipendono dal framework PTQ sottostante e che il deploy end-to-end W4A4 per i Vision Transformers è attualmente ostacolato dalla mancanza di framework di inferenza maturi (ad esempio, TensorRT, TVM) che supportino kernel GEMM a 4 bit per ViT. Tuttavia, il metodo è presentato come un passo robusto verso inferenze a basso numero di bit ad alta accuratezza.