Spectral Complex Autoencoder Pruning: A Fidelity-Guided Criterion for Extreme Structured Channel Compression

Technische Samenvatting: Spectral Complex Autoencoder Pruning (SCAP)

Probleemstelling
Moderne Convolutionele Neurale Netwerken (CNN's) kampen met aanzienlijke implementatiebelemmeringen op apparaten met beperkte middelen vanwege hoge computationele kosten (FLOPs) en geheugenvoetafdrukken (parameters). Hoewel gestructureerde kanaalpruning—het verwijderen van volledige outputkanalen en het herbedraden van daaropvolgende lagen—een pad biedt naar praktische versnellingen, blijft het bereiken van "extreme" compressie (het gelijktijdig verminderen van FLOPs en parameters met >90%) terwijl de nauwkeurigheid behouden blijft, een uitdaging. Bestaande criteria vertrouwen vaak op proxies zoals filter-magnitudes, activatiestatistieken of gradiënt-salientie. De auteurs stellen dat deze proxies fragiel zijn bij hoge compressieratio's: magnitude-gebaseerde methoden kunnen kanalen met een lage norm die cruciale patronen vastleggen, verwijderen; gradiënt-gebaseerde methoden kunnen ruisgevoelig zijn; en laag-specifieke normalisatie kan leiden tot inconsistente pruning-sterkte. Cruciaal is dat veel bestaande methoden kanalen in isolatie beoordelen, terwijl redundantie inherent relationeel is, afhankelijk van hoe goed de input-output transformatie van een kanaal door andere kanalen wordt verklaard.

Methodologie: Spectral Complex Autoencoder Pruning (SCAP)
SCAP is een reconstructie-gebaseerd criterium ontworend om functionele redundantie te meten op het niveau van individuele outputkanalen door hun interactie met de input te modelleren. De methode werkt in twee fasen per convolutionele laag:

1. Constructie van het Complex Interaction Field:
   Voor een laag met input-activatie $X \in \mathbb{R}^{B \times C_{in} \times H \times W}$ en output-activatie $Y \in \mathbb{R}^{B \times C_{out} \times H_1 \times W_1}$, construeert SCAP een complex-waardig interactieveld $Z_k$ voor elk outputkanaal $k$.
   $$Z_k = X + i \cdot \text{Broadcast}(\text{Resize}(Y_k))$$
   Hier dient de volledige multi-channel input $X$ als het reële deel, terwijl de specifieke output feature map $Y_k$ wordt geschaald om overeen te komen met de ruimtelijke dimensies van $X$ en over alle inputkanalen wordt gebroadcast om als het imaginaire deel te dienen. Dit koppelt de input en output tot één enkel relationeel object.

2. Training van de Spectral Autoencoder:
   Het complexe veld $Z_k$ wordt getransformeerd naar het frequentiedomein via een 2D Fast Fourier Transform (FFT). De reële en imaginaire spectrale componenten worden genormaliseerd en gevoed aan een low-capacity, laag-specifieke autoencoder (AE). De AE wordt getraind om de genormaliseerde spectra te reconstrueren met behulp van een Mean Squared Error (MSE) loss. De autoencoder is opzettelijk beperkt (kleine MLP) om alleen de gemeenschappelijke, comprimeerbare structuren binnen de interactievelden van de laag te leren.

3. Fidelity-gebaseerde Belangrijkheidsscore:
   Tijdens de pruning-fase zijn de getrainde AE's bevroren. Voor elk kanaal wordt de spectrale reconstructie-fidelity berekend als de cosinus-gelijkenis tussen het vectoriseerde originele interactieveld en het gereconstrueerde veld (na inverse FFT).

   • Hoge Fidelity: Geeft aan dat het interactieveld van het kanaal dicht bij het laag-dimensionale manifold ligt dat door de AE wordt gevangen, wat impliceert dat het kanaal redundant en comprimeerbaar is.
   • Lage Fidelity: Geeft aan dat het kanaal unieke of hoog-gekromde informatie codeert die het low-capacity model niet kan reproduceren, wat wijst op belang.
     De basisbelangrijkheidsscore wordt gedefinieerd als $I_{fid} = 1 - \text{Fidelity}$.

4. Fusie en Pruning:
   Om gevallen te voorkomen waarin een zeer reconstructeerbaar kanaal nog steeds salient kan zijn vanwege een grote amplitude, wordt de fidelity-score optioneel gefuseerd met een laag-genormaliseerde $\ell_1$-norm van de filters. De auteurs stellen vast dat additieve fusie de beste trade-off oplevert. Kanalen worden behouden of verwijderd op basis van een vaste drempelwaarde $\tau$ (doorgaans 0,5 of 0,6), gevolgd door standaard fine-tuning.

5. Geheugenefficiëntie:
   Om aan de geheugenbeperkingen te voldoen bij het scoren van alle kanalen tegelijkertijd, hanteert SCAP een strikte geheugendiscipline: het sequentieel verwerken van outputkanalen (of kleine groepen), het gebruik van gradient accumulation voor AE-training, en het expliciet vrijgeven van tussenliggende tensors (FFT-outputs, reconstructies) om de piekgeheugengebruik op commodity GPU's beperkt te houden.

Belangrijkste Bijdragen

• Complex Interaction Representation: Introductie van een complex-waardige descriptor die multi-channel inputs koppelt aan per-kanaal outputs, wat relationele redundantie-analyse mogelijk maakt in plaats van geïsoleerde kanaalbeoordeling.
• Spectral Fidelity Criterium: Een criterium in het frequentiedomein met een low-capacity autoencoder dat reconstructie-fidelity gebruikt als een principieel maatstaf voor comprimeerbaarheid. Hoge fidelity impliceert dat het kanaal op een geleerd laag-dimensionaal manifold ligt.
• Geheugenefficiënte Implementatie: Een praktische implementatiestrategie die de methode in staat stelt om op beperkte hardware (bijv. 11 GB GPU's) te draaien zonder het conceptuele model op te offeren, door gebruik te maken van per-kanaal verwerking en het vrijgeven van tensors.

Experimentele Resultaten
De auteurs evalueerden SCAP op VGG16, ResNet-56/110 en DenseNet-40 met de CIFAR-10 en CIFAR-100 datasets.

• VGG16 op CIFAR-10: Bij een drempelwaarde $\tau=0,6$ bereikte SCAP een 90,11% FLOP-reductie en 96,30% parameterreductie met een absolute Top-1 nauwkeurigheidsdaling van slechts 1,67% (van 93,44% naar 91,77%).
• Vergelijking: SCAP presteerde consequent beter dan of gelijk aan state-of-the-art methoden (bijv. $\ell_1$-norm, FPGM, HRank, PCC) in het extreme compressieregime. Zo bereikte SCAP ($\tau=0,6$) op ResNet-56 (CIFAR-10) een 83,80% FLOP-reductie met een nauwkeurigheidsdaling van 3,76%, terwijl andere methoden vaak grotere dalingen of lagere compressie bij vergelijkbare nauwkeurigheidsniveaus vertoonden.
• Ablatie: Experimenten bevestigden dat het fuseren van de fidelity-score met de $\ell_1$-magnitude term een stabielere nauwkeurigheid-compressie trade-off biedt dan het gebruik van fidelity alleen, met name door het voorkomen van het prunen van kanalen met een kleine magnitude maar die functioneel nuttig zijn.

Betekenis en Claims
Het artikel beweert dat SCAP een verdedigbaar, laag-lokaal criterium biedt dat geworteld is in comprimeerbaarheid in plaats van ad hoc statistieken. Door redundantie te kaderen via de lens van spectrale reconstructie-fidelity, biedt de methode een geometrische interpretatie: kanalen waarvan de interactievelden "regelmatig" zijn of op een glad, laag-dimensionaal manifold liggen, worden als redundant geïdentificeerd. De auteurs benadrukken dat hoewel SCAP geen nul-nauwkeurigheidsverlies garandeert (omdat pruning de netwerkdynamiek verandert), het dient als een effectieve proxy voor het identificeren van functioneel redundante kanalen onder agressieve compressie. Het werk suggereert dat spectrale reconstructie-fidelity diverse heuristische pruning-signalen kan verenigen onder één enkele verklaring gerelateerd aan de gemak van het representeren van een kanaal op de dominante laag-dimensionale structuur van de activatie-manifold.