Sintesi Tecnica: Compressione di Reti Neurali Profonde tramite Realizzazione Minima Empirica via Test di Controllabilità–Osservabilità

1. Definizione del Problema

Le reti neurali profonde (DNN) esibiscono frequentemente una sostanziale ridondanza nei loro stati latenti, eppure la maggior parte delle tecniche di compressione esistenti opera direttamente sui pesi, sui neuroni o sulla precisione numerica senza caratterizzare esplicitamente il ruolo dinamico degli stati interni. Metodi standard come il pruning, la quantizzazione e la fattorizzazione a basso rango spesso non riescono a rispondere a una domanda fondamentale legata allo spazio degli stati: quali direzioni dello stato latente sono effettivamente eccitate dalla distribuzione dei dati, e quali di queste direzioni sono rilevanti per l'output? Di conseguenza, tali metodi possono ridurre il numero di parametri o lo storage, ma non riducono necessariamente l'ordine effettivo dello stato latente o la latenza di inferenza densa associata ai layer larghi.

2. Metodologia

Il paper propone un framework di teoria del controllo per la riduzione empirica dell'ordine dello stato, trattando una DNN feedforward addestrata come un sistema dinamico non lineare indicizzato in profondità.

2.1 Formulazione dello Spazio degli Stati

La rete è modellata come una sequenza di transizioni non lineari:
$$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$$
dove $h_\ell$ rappresenta lo stato latente al layer $\ell$, e $z$ denota i logit di output. L'input $x$ è trattato come lo stato iniziale $h_0$. L'obiettivo è stimare l' "ordine utile dello stato latente" — ovvero il numero di direzioni latenti che sono sia raggiungibili dai dati sia osservabili all'output.

2.2 Test Empirici A/B/C

Gli autori introducono tre test per livello basati su Gramiani empirici derivati da snapshot degli stati latenti e Jacobiani di output:

• Test A (Raggiungibilità): Misura quali direzioni latenti sono eccitate dai dati di input. Calcola il Gramiano di raggiungibilità empirico ($G_{c,\ell}$) come la covarianza degli snapshot centrati degli stati latenti. Il rango è determinato dall'energia spettrale necessaria per catturare la varianza indotta dai dati.
• Test B (Osservabilità): Misura quali direzioni latenti influenzano i logit di output. Calcola il Gramiano di osservabilità empirico ($G_{o,\ell}$) utilizzando i Jacobiani di output ($J_\ell = \partial z / \partial h_\ell$) rispetto agli stati latenti. Il rango riflette le direzioni che influenzano significativamente l'output del classificatore.
• Test C (Bilanciato Raggiungibile–Osservabile): Combina entrambi i criteri per identificare le direzioni che sono simultaneamente raggiungibili dai dati e osservabili attraverso l'output. Costruisce una matrice bilanciata $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$. Il risultante rango C-bilanciato ($r_\ell$) stima il numero minimo di stati latenti richiesti per preservare il comportamento input-output.

2.3 Compressione Proiettiva vs. Realizzata

Viene fatta una distinzione critica tra due modalità di riduzione:

1. Riduzione Proiettiva: Mappa gli stati latenti in coordinate a dimensione inferiore utilizzando basi apprese. Questo diagnostica la ridondanza ma mantiene i pesi della rete originale e le basi di proiezione, fallendo nel ridurre lo storage o la latenza di inferenza densa.
2. Compressione Realizzata: Utilizza i ranghi C-bilanciati ($r_\ell$) direttamente come le effettive larghezze dei layer latenti di una nuova DNN compatta. Questa nuova rete viene addestrata da zero o tramite conoscenza distillata (knowledge distillation), portando a una reale riduzione dei parametri e dell'ordine dello stato.

3. Contributi Chiave

• Formulazione basata sullo Stato: Il paper formula le DNN feedforward come sistemi a spazio di stato non lineari indicizzati in profondità, definendo l' "ordine dello stato latente" come una quantità distinta e rilevante per la compressione, separata dal conteggio dei parametri.
• Framework di Controllabilità–Osservabilità Empirica: Propone test A/B/C guidati dai dati per stimare le dimensioni utili dei layer latenti utilizzando Gramiani empirici e Jacobiani.
• Compressione C-Bilanciata Realizzata: Introduce un metodo in cui i rangi C-bilanciati vengono convertiti nelle larghezze fisiche di una nuova rete compatta, colmando il divario tra la riduzione del modello teorica e la progettazione di architetture implementabili.
• Valutazione Esaustiva: Il metodo è testato contro la riduzione basata su proiezione, il pruning strutturato/non strutturato, la decomposizione SVD a basso rango, la quantizzazione dinamica INT8 e i baseline lineari su MNIST e CIFAR-10.

4. Risultati Sperimentali

Il framework è stato valutato su DNN con attivazione SiLU completamente connesse, addestrate su MNIST e CIFAR-10.

4.1 Risultati MNIST

• Compressione: Una DNN a 4 layer con un ordine di stato completo di 1024 è stata ridotta a un ordine di stato di 277 (72,95% di compressione dello stato).
• Parametri: Il conteggio dei parametri è sceso da 400.906 a 106.323 (73,48% di compressione, circa 3,77$\times$ di riduzione).
• Accuratezza: Il modello C-bilanciato realizzato ha ottenuto un'accuratezza del 95,45%, rispetto al 96,60% del modello completo (una diminuzione di 1,15 punti percentuali).
• Latenza: La latenza di inferenza è rimasta comparabile al modello completo grazie alla riduzione delle dimensioni delle matrici dense.

4.2 Risultati CIFAR-10

• Compressione: Una DNN più grande con un ordine di stato di 4608 è stata ridotta a 1339 (70,94% di compressione dello stato).
• Parametri: Il conteggio dei parametri è diminuito da 9,97M a 1,69M (83,09% di compressione, circa 5,91$\times$ di riduzione).
• Accuratezza: Il modello realizzato ha preservato l'accuratezza al 54,44%, quasi identico al 54,45% del modello completo.
• Latenza: La latenza di inferenza CUDA è stata ridotta di circa 3,0$\times$ (da 0,001582 ms/campione a 0,000525 ms/campione).

4.3 Confronto con i Baseline

• Pruning: Il pruning non strutturato (50%) ha mantenuto l'accuratezza ma non ha ridotto l'ordine dello stato o la latenza densa. Il pruning strutturato ai rangi C-bilanciati senza fine-tuning è fallito (34,50% di accuratezza), ma con il fine-tuning è tornato al 91,75% (MNIST) o 55,22% (CIFAR-10), suggerendo che i rangi C-bilanciati forniscono dimensioni target valide.
• SVD: La decomposizione SVD a basso rango (frazione 0,5) ha causato una significativa degradazione dell'accuratezza (85,50% su MNIST, 39,06% su CIFAR-10), indicando che la fattorizzazione locale dei pesi non preserva la geometria input-output non lineare in modo efficace quanto l'approccio C-bilanciato basato sullo stato.
• Quantizzazione: La quantizzazione INT8 ha ridotto lo storage ma ha lasciato invariati l'ordine dello stato e l'architettura.

5. Significato e Rivendicazioni

Il paper sostiene che i rangi bilanciati raggiungibili-osservabili forniscono un criterio di realizzazione minima empirica ben fondato per progettare architetture neurali compatte.

• Ponte Teorico: Il lavoro connette la riduzione del modello basata sulla teoria del controllo (specificamente la troncamento bilanciato) con la compressione delle reti neurali, adattando i Gramiani empirici per sistemi non lineari guidati dai dati.
• Utilità Pratica: A differenza dei metodi basati sulla proiezione che diagnosticano solo la ridondanza, l'approccio "realizzato" proposto trasforma queste diagnosi in reti più piccole e implementabili, con meno parametri e latenza ridotta.
• Focus sull'Ordine dello Stato: I risultati dimostrano che è possibile ottenere una compressione significativa puntando all'ordine dello stato latente (la dimensione delle rappresentazioni interne) piuttosto che solo sul conteggio dei pesi, spesso con una perdita minima o nulla di accuratezza.
• Modestia sui Limiti: Gli autori riconoscono che i rangi sono empirici e dipendenti dai dati, privi di limiti teorici di errore nel caso peggiore per sistemi non lineari. Notano inoltre il costo computazionale per stimare i Gramiani di osservabilità e la necessità di riaddestrare l'architettura compressa. Gli esperimenti attuali si concentrano su reti completamente connesse per fornire un ambiente controllato, con estensioni a CNN e Transformer menzionate come lavori futuri.

In sint easily, il paper sostiene che guardando alle DNN attraverso la lente della controllabilità e dell'osservabilità, si possono identificare e rimuovere le direzioni latenti ridondanti che sono o non eccitate dai dati o irrilevanti per l'output, consentendo così la costruzione di reti neurali efficienti e ad alte prestazioni.