Spectral Complex Autoencoder Pruning: A Fidelity-Guided Criterion for Extreme Structured Channel Compression

Sintesi Tecnica: Spectral Complex Autoencoder Pruning (SCAP)

Problematica
Le moderne Reti Neurali Convoluzionali (CNN) affrontano significativi colli di bottiglia nella distribuzione su dispositivi con risorse limitate a causa degli elevati costi computazionali (FLOPs) e dell'impronta di memoria (parametri). Sebbene il pruning strutturato dei canali — che consiste nel rimuovere interi canali di output e riconfigurare i successivi layer — offra una via per accelerazioni pratiche, raggiungere una compressione "estrema" (riducendo simultaneamente FLotps e parametri di >90%) mantenendo l'accuratezza rimane una sfida. I criteri esistenti si affidano spesso a proxy come le magnitudo dei filtri, le statistiche delle attivazioni o la salienza del gradiente. Gli autori sostengono che questi proxy siano fragili ad alti rapporti di compressione: i metodi basati sulla magnitudo possono scartare canali a bassa norma che catturano pattern critici; i metodi basati sul gradiente possono essere rumorosi; e la normalizzazione per layer può portare a una forza di pruning incoerente. Fondamentalmente, molti metodi esistenti valutano i canali isolatamente, mentre la ridondanza è intrinsecamente relazionale, dipendendo da quanto bene la trasformazione input-output di un canale sia spiegata da altri canali.

Metodologia: Spectral Complex Autoencoder Pruning (SCAP)
SCAP è un criterio basato sulla ricostruzione progettato per misurare la ridondanza funzionale a livello di singoli canali di output modellando la loro interazione con l'input. Il metodo opera in due fasi per ogni layer convoluzionale:

1. Costruzione del Campo di Interazione Complesso:
   Per un layer con attivazione di input $X \in \mathbb{R}^{B \times C_{in} \times H \times W}$ e attivazione di output $Y \in \mathbb{R}^{B \times C_{out} \times H_1 \times W_1}$, SCAP costruisce un campo di interazione complesso $Z_k$ per ogni canale di output $k$.
   $$Z_k = X + i \cdot \text{Broadcast}(\text{Resize}(Y_k))$$
   Qui, il multi-canale completo dell'input $X$ funge da parte reale, mentre la specifica mappa di caratteristiche di output $Y_k$ viene ridimensionata per corrispondere alle dimensioni spaziali di $X$ e distribuita (broadcast) attraverso tutti i canali di input per fungere da parte immaginaria. Ciò accoppia l'input e l'output in un singolo oggetto relazionale.

2. Addestramento dello Spectral Autoencoder:
   Il campo complesso $Z_k$ viene trasformato nel dominio della frequenza tramite una Trasformata di Fourier 2D (FFT). Le componenti spettrali reali e immaginarie vengono normalizzate e caricate in un autoencoder (AE) a bassa capacità e specifico per il layer. L'AE è addestrato per ricostruire gli spettri normalizzati utilizzando una perdita MSE (Mean Squared Error). L'autoencoder è intenzionalmente vincolato (un minuscolo MLP) per apprendere solo le strutture comuni e comprimibili all'interno dei campi di interazione del layer.

3. Scoring dell'Importanza Basato sulla Fedeltà:
   Durante la fase di pruning, gli AE addestrati vengono congelati. Per ogni canale, la fedeltà della ricostruzione spettrale viene calcolata come la similitudine del coseno tra il campo di interazione originale vettorizzato e il campo ricostruito (dopo la FFT inversa).

   • Alta Fedeltà: Indica che il campo di interazione del canale si trova vicino al manifold a bassa dimensione catturato dall'AE, implicando che il canale è ridondante e comprimibile.
   • Bassa Fedeltà: Indica che il canale codifica informazioni uniche o ad alta curvatura che il modello a bassa capacità non può riprodurre, implicando importanza.
     Lo score di base dell'importanza è definito come $I_{fid} = 1 - \text{Fidelity}$.

4. Fusione e Pruning:
   Per proteggere i casi in cui un canale altamente ricostruibile potrebbe comunque essere saliente a causa di una grande ampiezza, lo score di fedeltà è opzionalmente fuso con una norma $\ell_1$ del filtro normalizzata per layer. Gli autori hanno riscontrato che la fusione additiva offre il miglior compromesso. I canali vengono mantenuti o rimossi in base a una soglia fissa $\tau$ (tipicamente 0.5 o 0.6), seguiti dal fine-tuning standard.

5. Efficienza della Memoria:
   Per gestire i vincoli di memoria derivanti dal calcolo di tutti i canali simultaneamente, SCAP impiega una disciplina di memoria rigorosa: elaborazione sequenziale degli output (o in piccoli gruppi), accumulo del gradiente per l'addestramento dell'AE e rilascio esplicito dei tensori intermedi (output FFT, ricostruzioni) per mantenere limitato il picco di memoria su GPU commerciali.

Contributi Chiave

• Rappresentazione dell'Interazione Complessa: Introduzione di un descrittore a valori complessi che accoppia input multi-canale con output per canale, consentendo un'analisi della ridondanza relazionale piuttosto che una valutazione isolata del canale.
• Criterio di Fedeltà Spettrale: Un criterio nel dominio della frequenza tramite un autoencoder a bassa capacità che utilizza la fedeltà della ricostruzione come misura principesca della comprimibilità. Un'alta fedeltà implica che il canale giace su un manifold a bassa dimensione appreso.
• Implementazione Efficiente della Memoria: Una strategia di implementazione pratica che permette al metodo di girare su hardware limitato (es. GPU da 11 GB) senza sacrificare il modello concettuale, utilizzando l'elaborazione per canale e il rilascio dei tensori.

Risultati Sperimentali
Gli autori hanno valutato SCAP su VGG16, ResNet-56/110 e DenseNet-40 utilizzando i dataset CIFAR-10 e CIFAR-100.

• VGG16 su CIFAR-10: Con una soglia $\tau=0.6$, SCAP ha ottenuto una riduzione dei FLOPs del 90.11% e una riduzione dei parametri del 96.30% con un calo assoluto della precisione Top-1 di solo l'1.67% (da 93.44% a 91.77%).
• Confronto: SCAP ha costantemente superato o eguagliato i metodi allo stato dell'arte (es. $\ell_1$-norm, FPGM, HRank, PCC) nel regime di compressione estrema. Ad esempio, su ResNet-56 (CIFAR-10), SCAP ($\tau=0.6$) ha ottenuto una riduzione dei FLOPs dell'83.80% con un calo di precisione del 3.76%, mentre altri metodi hanno spesso subito cali maggiori o una compressione inferiore a parità di accuratezza.
• Ablazione: Gli esperimenti hanno confermato che fondere lo score di fedeltà con il termine di magnitudo $\ell_1$ fornisce un trade-off stabilità tra accuratezza e compressione più efficace rispetto all'uso della sola fedeltà, in particolare per evitare il pruning di canali a piccola magnitudo ma funzionalmente utili.

Significatività e Rivendicazioni
L'articolo sostiene che SCAP fornisca un criterio difendibile e locale per layer, basato sulla comprimibilità anziché su statistiche ad hoc. Inquadrando la ridondanza attraverso la lente della fedeltà della ricostruzione spettrale, il metodo offre un'interpretazione geometrica: i canali i cui campi di interazione sono "regolari" o giacciono su un manifold liscio a bassa dimensione vengono identificati come ridondanti. Gli autori sottolineano che, sebbene SCAP non garantisca una perdita di accuratezza pari a zero (poiché il pruning altera la dinamica della rete), esso funge da efficace proxy per identificare canali funzionalmente ridondanti sotto una compressione aggressiva. Il lavoro suggerisce che la fedeltà della ricostruzione spettrale possa unificare vari segnali di pruning euristici sotto un'unica spiegazione relativa alla facilità di rappresentare un canale sulla struttura dominante del manifold delle attivazioni a bassa dimensione.