DiBA: Diagonal and Binary Matrix Approximation for Neural Network Weight Compression

Riepilogo Tecnico: DiBA (Approssimazione di Matrice Diagonale e Binaria)

Enunciato del Problema
Le matrici dense costituiscono un'unità di archiviazione e computazione dominante nelle reti neurali moderne, comparendo nei livelli lineari, negli embedding dei token, nelle proiezioni di attenzione e nelle convoluzioni $1 \times 1$. Sebbene siano state sviluppate tecniche come il pruning, la quantizzazione e la decomposizione a rango basso per comprimere questi pesi, esse affrontano specifici compromessi. La quantizzazione, pur essendo favorevole all'hardware, introduce problemi di ottimizzazione intrinsecamente discreti difficili da risolvere, richiedendo spesso formulazioni miste intere complesse o stimatori straight-through. Le fattorizzazioni a rango basso spesso mancano dei vincoli strutturali specifici necessari per un'archiviazione e un'aritmetica efficienti a livello di bit. Il lavoro affronta la necessità di una rappresentazione compatta della matrice che bilanci la riduzione teorica dell'archiviazione, la precisione di approssimazione e la fattibilità dell'adattamento ai compiti a valle senza ri-ottimizzare i componenti discreti.

Metodologia
Il lavoro propone DiBA (Approssimazione di Matrice Diagonale e Binaria), una fattorizzazione strutturata di matrici che approssima una matrice target densa $A \in \mathbb{R}^{m \times n}$ come:
$$\hat{A} = D_1 B_1 D_2 B_2 D_3$$
dove:

• $D_1, D_2, D_3$ sono matrici diagonali a valori reali di dimensioni $m \times m$, $k \times k$ e $n \times n$, rispettivamente.
• $B_1 \in \{0, 1\}^{m \times k}$ e $B_2 \in \{0, 1\}^{k \times n}$ sono matrici binarie.
• $k$ è una dimensione intermedia che controlla il compromesso tra archiviazione e accuratezza.

Proprietà Teoriche:

• Archiviazione: I fattori binari sono archiviati a 1 bit per voce, mentre i fattori diagonali utilizzano la precisione floating-point standard ($Q$ bit). Il rapporto di archiviazione teorico rispetto a una matrice densa a $Q$ bit è $\rho_{\text{DiBA}} = \frac{k(m+n) + Q(m+k+n)}{Qmn}$.
• Computazione: I prodotti matrice-vettore sono decomposti in tre operazioni di scalatura elemento per elemento (diagonale) e due operazioni di miscelazione binaria (selezione e somma), riducendo le moltiplicazioni floating-point da $mn$a$m + k + n$.
• Struttura: L'approssimazione è una sovrapposizione di $k$ pattern binari di rango uno scalati, corretti da scale diagonali di riga e colonna.

Ottimizzazione: DiBA-Greedy
Per adattare i fattori DiBA a una matrice di pesi pre-addestrata, gli autori introducono DiBA-Greedy, un solver alternato:

1. Aggiornamenti Diagonali: Con i fattori binari fissati, le matrici diagonali vengono aggiornate tramite soluzioni agli minimi quadrati in forma chiusa.
2. Aggiornamenti Binari: Con i fattori diagonali fissati, le matrici binarie vengono aggiornate valutando la variazione esatta dell'errore di Frobenio al quadrato per l'inversione di un singolo bit. Un'inversione è accettata solo se il miglioramento supera una tolleranza $\tau$.
   Questo approccio evita la non convessità dell'ottimizzazione simultanea separando gli aggiornamenti continui e discreti, sebbene sia un solver greedy locale e non garantisca un ottimo globale.

Adattamento a Valle: DiBARD
Riconoscendo che la minimizzazione dell'errore di ricostruzione non garantisce le prestazioni sui compiti a valle, il lavoro propone DiBARD (DiBA con Ritaratura solo dei Fattori Diagonali). In questo protocollo:

• Le matrici binarie $B_1$ e $B_2$ vengono congelate dopo l'adattamento iniziale DiBA-Greedy.
• Solo le voci diagonali di $D_1, D_2, D_3$ vengono ritarate sui dati di addestramento a valle utilizzando l'ottimizzazione standard basata sul gradiente.
• Questo trasforma la fase di adattamento in un piccolo problema di ottimizzazione continua, evitando la necessità di ricerca discreta durante il fine-tuning.

Contributi Chiave

1. Formulazione: La definizione di DiBA come fattorizzazione diagonale-e-binaria per la compressione dei pesi densi, inclusa la sua contabilità teorica dell'archiviazione.
2. Algoritmo: Lo sviluppo di DiBA-Greedy, che combina aggiornamenti agli minimi quadrati in forma chiusa con aggiornamenti greedy esatti a un bit.
3. Valutazione Empirica (Livello Matrice): Una valutazione su 40 matrici di pesi dense estratte da modelli pre-addestrati pubblici (NLP e Vision). I risultati mostrano miglioramenti coerenti del Rapporto Segnale-Rumore (SNR) all'aumentare del rapporto di archiviazione teorico, con le matrici di embedding che mostrano un SNR particolarmente elevato.
4. Protocollo di Adattamento: L'introduzione di DiBARD e la sua validazione in due studi di sostituzione di componenti:
   • DistilBERT/WikiText: Sostituzione dell'embedding/output projection accoppiato. DiBARD ha migliorato l'accuratezza del token mascherato da 0.4447 (DiBA pre-ritaratura) a 0.5210, superando Int4-scale-RT (0.5110) e avvicinandosi al modello originale (0.4906) nonostante un rapporto di archiviazione teorico inferiore.
   • AST/Speech Commands: Sostituzione di 48 matrici di proiezione dell'attenzione in un Audio Spectrogram Transformer. DiBARD ha recuperato l'accuratezza di test da 0.7684 a 0.9781 (l'originale era 0.9837), recuperando il 97,4% del divario di prestazioni indotto dalla compressione iniziale.

Significato e Affermazioni
Il lavoro afferma che DiBA offre una rappresentazione compatta dei pesi che combina efficacemente la miscelazione binaria fissa con una ritaratura diagonale leggera. Il significato principale risiede nel dimostrare che:

• I pesi densi possono essere approssimati intercalando scalatura diagonale e miscelazione binaria condivisa senza quantizzazione elemento per elemento.
• Le prestazioni a valle possono essere recuperate dopo una compressione aggressiva ritarando solo i fattori diagonali, evitando così la difficoltà computazionale di ri-ottimizzare variabili binarie discrete all'interno di una funzione di perdita di rete non lineare.

Limitazioni e Modestia
Gli autori notano esplicitamente diverse limitazioni:

• Archiviazione Teorica: I rapporti di archiviazione sono teorici, assumendo matrici binarie impaccate a bit; non vengono forniti acceleramenti misurati della memoria o dei kernel impaccati a bit.
• Ambito: Gli esperimenti 2-1 e 2-2 riportano rapporti di compressione relativi solo ai componenti sostituiti, non all'intero modello.
• Solver: DiBA-Greedy è un solver greedy locale, non un ottimizzatore globale.
• Valutazione: Le valutazioni a valle utilizzano split di dati fissi e semi limitati.
  Il lavoro non afferma accelerazioni di inferenza misurate o riduzioni del tempo di esecuzione end-to-end, concentrandosi invece sulla qualità di approssimazione, sull'archiviazione teorica e sulla fattibilità del recupero solo diagonale.