Sintesi Tecnica: Modelli Kilobyte

Definizione del Problema

I costi di archiviazione e trasmissione delle reti neurali addestrate scalano linearmente con il numero dei loro parametri, creando un collo di bottiglia critico per le implementazioni con larghezza di banda limitata, come i dispositivi edge, gli aggiornamenti over-the-air e gli adapter su scala massiva. Sebbene le tecniche di compressione standard (pruning, quantizzazione, fattorizzazione a basso rango, distillazione) riducano la descrizione dei tensori dei pesi, esse richiedono comunque la memorizzazione di una parte significativa del set di parametri originale. L'autore identifica la necessità di un paradigma di compressione estrema in cui l'artefatto distribuibile non sia il set di pesi stesso, ma una "ricetta" compatta per rigenerarli.

Metodologia

Il documento introduce i Modelli Kilobyte, un framework che rappresenta una rete neurale come un seme intero deterministico e un breve vettore latente quantizzato. Questo approccio si basa sulle Mapping Networks (Sen e Mukherjee 2026), che esprimono i pesi della rete come una funzione non lineare di un vettore latente addestrato e compatto e di una base casuale fissa.

Meccanismo Core

1. Riparametrizzazione: Invece di ottimizzare direttamente i pesi $\theta$, il modello ottimizza un vettore latente $z \in \mathbb{R}^d$ (dove $d \ll P$, e $P$ è il numero totale di parametri). I pesi vengono generati tramite una mappa fissa $g(z)$:
   $$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$$
   Qui, $W_0$ è una matrice di proiezione fissa, $b_0$ è un centro di inizializzazione fisso, e $\sigma$ è una non linearità (tanh).
2. Rigenerazione basata su Seed: Le componenti fisse ($W_0$ e $b_0$) non vengono memorizzate. Al loro posto, vengono rigenerate deterministicamente da un seed intero $s$ utilizzando una base casuale riproducibile e a blocchi. Ciò consente al ricevente di ricostruire la matrice di proiezione completa senza memorizzarla, a condizione che possieda il seed.
3. Composizione dell'Artefatto: L'artefatto distribuibile $A$ consiste in:
   • Seed ($s$): Un intero a 64 bit (8 byte) utilizzato per rigenerare la base.
   • Vettore Latente Quantizzato ($Q_b(z^*)$): Il vettore latente addestrato, quantizzato a $b$ bit.
   • Parametri di Normalizzazione ($\theta_{norm}$): Un piccolo set di parametri affini di normalizzazione (scala/shift) memorizzati verbatim, poiché si trovano al di fuori dell'intervallo della mappa di generazione.
4. Generazione della Base Scalabile: Per gestire reti in cui la matrice di proiezione eccede la memoria del dispositivo, l'autore impiega una strategia di generazione a blocchi, costruendo la matrice riga per riga utilizzando un generatore pseudo-casuale avviato da una combinazione del master seed e dell'indice del blocco, evitando la materializzazione completa della matrice.
5. Fine-Tuning come Delta: Il framework si estende al fine-tuning trattando il vettore latente come un adapter compresso. La mappa genera uno spostamento da una base pre-addestrata congelata ($\theta_{ft} = \theta_{pre} + W_0 z$), richiedendo solo il seed e il delta quantizzato per la trasmissione.

Regimi di Addestramento

• Single Latent Vector Training (SLVT): Un singolo vettore latente genera tutti i parametri.
• Layer-Wise Training (LWT): Vengono assegnati vettori latenti separati a ciascuno strato, permettendo un controllo più fine e un'allocazione del budget latente proporzionale alla difficoltà dello strato.
• Strategie di Quantizzazione: Il documento valuta sia la Post-Training Quantization (PTQ) che la Quantization-Aware Training (QAT), dove il latente viene rifinito con arrotondamento simulato per sopravvivere a una riduzione aggressiva della larghezza di bit.

Contributi Chiave

1. Formalizzazione del Modello Kilobyte: L'autore definisce un artefatto distribuibile la cui dimensione è determinata dalla dimensione del latente $d$ e dalla larghezza di bit $b$ piuttosto che dal numero di parametri $P$, formalizzando il compromesso tra archiviazione e capacità.
2. Base Seeded Scalabile: Introduzione di una base casuale a blocchi e riproducibile che consente la rigenerazione dei pesi per reti di grandi dimensioni senza richiedere che la matrice di proiezione risieda in memoria.
3. Adattamento al Fine-Tuning: Estensione della parametrizzazione per creare adapter di dimensioni kilobyte per modelli pre-addestrati, offrendo un'alternativa iper-compressa ai metodi standard di fine-tuning efficiente dei parametri.
4. Validazione Empirica: Dimostrazione che i modelli Kilobyte possono eguagliare l'accuratezza di reti aggressivamente quantizzate occupando però una frazione dello spazio di archiviazione.

Risultati Sperimentali

L'autore ha valutato l'approccio su Reti Neurali Convoluzionali (CNN), LSTM e Multi-Layer Perceptrons (MLP) attraverso vari dataset (MNIST, FashionMNIST, Beijing Air Quality, HIGKS, Covertype, Oxford-IIIT Pets).

• Compressione Estrema: Un modello mappato a 4 bit ha ottenuto un'accuratezza del 98,6% su MNIST utilizzando solo 2 KB di archiviazione (una riduzione di 26$\times$ rispetto al baseline quantizzato).
• Compiti di Regressione: In un compito di regressione di serie temporali, un modello QAT a 4 bit ha ottenuto un MSE di 0,00061 utilizzando solo 140 byte, circa 370$\times$ più piccolo del modello a precisione intera.
• Efficienza del Fine-Tuning: Nel fine-tuning di una ResNet-50 sul dataset Oxford-IIIT Pets, un adapter QAT a 4 bit ha raggiunto un'accuratezza dell'88,4% con soli 4 KB. Al contrario, una ResNet-50 completa compressa tramite PTQ a 4 bit è crollata al 2,9% di accuratezza.
• Confronto con lo Stato dell'Arte (SOTA): L'adapter Kilobyte ha superato VeRA (un metodo di efficienza dei parametri) a budget stretti di kilobyte (4 KB contro 13,9 KB per un'accuratezza simile). Sebbene LoRA e VeRA abbiano ottenuto un'accuratezza maggiore con budget di archiviazione più ampi (fino a 0,6 MB), il modello Kilobyte ha mantenuto prestazioni superiori nel regime di archiviazione ultra-basso.
• Impatto della Quantizzazione: È stato riscontrato che la Quantization-Aware Training (QAT) è critica per mantenere l'accuratezza a basse larghezze di bit (4 bit), mentre la Post-Training Quantization (PTQ) ha subito cali di prestazioni significativi.

Significato e Rivendicazioni

Il documento sostiene che i modelli Kilobyte rappresentano una strategia potente per le implementazioni con larghezza di banda limitata, disaccoppiando la dimensione di archiviazione di un modello dal suo numero di parametri. Spostando l'intero onere della compressione su uno spazio latente compatto e sfruttando basi casuali riproducibili, l'autore dimostra che i modelli possono essere archiviati e trasmessi in kilobyte mantenendo un'alta accuratezza.

L'autore posiziona questo lavoro come un complemento, piuttosto che un sostituto, delle tecniche di compressione standard. Mentre i metodi standard restringono i tensori dei pesi, i modelli Kilobyte evitano di rappresentare l'intero set di pesi durante l'ottimizzazione. Il framework è particolarmente significativo per scenari in cui la dimensione di archiviazione è il vincolo determinante (es. aggiornamenti over-the-air per dispositivi edge), offrendo una riduzione da 5 a 160$\times$ della dimensione dell'artefatto rispetto al fine-tuning completo o ai metodi standard di efficienza dei parametri, sebbene con un leggero compromesso sull'accuratezza su dataset complessi.

Limitazioni Riconosciute:

• Calcolo dell'Inferenza: Il metodo non comprime la latenza di inferenza o l'uso della memoria, poiché i pesi vengono rigenerati come valori floating-point densi prima dell'inferenza.
• Collo di Bottiglia della Capacità: L'accuratezza è limitata dalla dimensione del latente $d$, portando a lievi gap di prestazione su dataset più difficili rispetto alle reti complete.
• Dipendenza: Il fine-tuning richiede che il modello pre-addestrato di base sia presente sul dispositivo di distribuzione.
• Ambito Architetturale: L'attuale implementazione non si estende a Transformer o Large Language Models.