Technische Samenvatting: Adaptieve Signaalheropleving (ASR)

1. Probleemstelling

Eenslag-magnitude-pruning, een praktische methode voor het comprimeren van visuele netwerken zonder opnieuw te trainen, lijdt vaak aan ernstige nauwkeurigheidsinval in regimes met hoge sparsiteit (bijvoorbeeld het verwijderen van 90% van de gewichten). Hoewel bestaande herstelmethoden na pruning, zoals BatchNorm (BN)-herkalibratie en schaalvergroting van activaties per laag (bijvoorbeeld REFLOW), gericht zijn op het herstellen van het signaal, falen ze frequent onder extreme sparsiteit.

Het kernprobleem dat is geïdentificeerd, is een granulariteitsmismatch tussen de schade veroorzaakt door pruning en het toegepaste herstel. Globale magnitude-pruning induceert heterogene kanaalschade binnen een enkele laag: sommige kanalen behouden informatieve activatievariantie, terwijl andere instorten tot variantie dicht bij nul. Bestaande herstelmethoden per laag passen een enkele scalair correctie toe op de hele laag. Wanneer een laag een mix bevat van gezonde en ingestorte kanalen, wordt de correctie per laag gedreven door de ingestorte kanalen (die een variantie dicht bij nul hebben), wat resulteert in een buitensporig grote schalingsfactor. Deze factor versterkt zonder onderscheid zowel gezonde signalen als residuële ruis in ingestorte kanalen, wat het model vaak destabiliseert en slechter presteert dan eenvoudige BN-herkalibratie alleen.

2. Methodologie: Adaptieve Signaalheropleving (ASR)

ASR is een trainingsvrije, herstelmethode na pruning die is ontworpen om de granulariteit van het herstel te laten overeenkomen met de granulariteit van de schade. Het werkt vóór BN-herkalibratie en vereist alleen forward passes op een kleine kalibratieset (64 afbeeldingen).

Kernmechanisme

1. Schatting van variantie per kanaal:
   Voor elke uitvoerkanaal $i$ in een convolutielaag schat ASR een ruwe correctiefactor $\hat{\gamma}_i$ door de variantie van de gepreunde activatie ($v_{p,i}$) te laten overeenkomen met de variantie van de dichte activatie ($v_{d,i}$) op de kalibratieset:
   $$\hat{\gamma}_i = \sqrt{\frac{\hat{v}_{d,i}}{\hat{v}_{p,i} + \epsilon}}$$
   waarbij $\epsilon$ een numerieke vloer is.

2. Gegevensgestuurde krimp:
   Om overversterking van ingestorte kanalen te voorkomen (waarbij $v_{p,i} \approx 0$), introduceert ASR een krimpstap die onbetrouwbare schattingen naar de identiteitsafbeelding trekt ($\gamma_i = 1$).

   • Een basismeting per laag $\lambda$ wordt berekend als het mediaan van de varianties van de kanalen na pruning binnen de laag.
   • Een betrouwbaarheidsgewicht $s_i$ wordt berekend op basis van de verhouding van de variantie van het kanaal tot deze basismeting:
     $$s_i = \frac{\hat{v}_{p,i}}{\hat{v}_{p,i} + \lambda}$$
   • De uiteindelijke herstelfactor is een convexe combinatie van de ruwe schatting en de identiteit:
     $$\gamma_i = s_i \hat{\gamma}_i + (1 - s_i) \cdot 1$$
   • Gedrag: Als een kanaal is ingestort ($v_{p,i} \to 0$), dan is $s_i \to 0$ en $\gamma_i \to 1$ (geen correctie). Als een kanaal gezond is ($v_{p,i} \gg \lambda$), dan is $s_i \to 1$ en $\gamma_i \approx \hat{\gamma}_i$ (volledige variantie-aanpassing).

3. Bias-correctie:
   Na herschaling past ASR optioneel de convolutie-bias aan om het eerste moment (gemiddelde) van de herstelde activaties af te stemmen op de dichte activaties, waarmee gemiddeldeverschuivingen die door pruning worden geïntroduceerd, worden aangepakt.

4. BN-herkalibratie:
   De herstelde gewichten en biases worden gebruikt om nieuwe lopende statistieken voor BatchNorm-lagen te berekenen op de kalibratieset.

3. Belangrijkste Bijdragen

• Identificatie van Falingsmodus: Het artikel demonstreert dat herstel per laag faalt in regimes met hoge sparsiteit vanwege heterogene kanaalschade, waarbij een gedeelde scalair wordt gedomineerd door ingestorte kanalen, wat leidt tot overversterking van ruis.
• Gegevensgestuurde, gestabiliseerde herstel: ASR introduceert een herstelmethode per kanaal die wordt gestabiliseerd door een gegevensgestuurde krimpregel. In tegenstelling tot naïef matching per kanaal, dat onstabiel blijft voor ingestorte kanalen, onderdrukt ASR correcties voor kanalen met zwakke signalen na pruning, terwijl correcties voor gezondere kanalen behouden blijven.
• Empirische Validatie: De methode is gevalideerd over drie datasets (CIFAR-10, CIFAR-100, Imagenette) en vier architecturen (ResNet-18, ResNet-50, DenseNet-121, VGG-16-BN) onder zowel ongestructureerde als gestructureerde (2:4) sparsiteit.

4. Experimentele Resultaten

• Prestaties bij hoge sparsiteit: ASR presteert consequent beter dan herstel per laag (LW+BN) en overtreft vaak BN-only-herkalibratie in settings met hoge sparsiteit (70%–90%).
  • Voorbeeld: Op ResNet-50 bij 90% sparsiteit (CIFAR-10) bereikt ASR 55,6% top-1 nauwkeurigheid, vergeleken met 41,0% voor herstel per laag en 28,0% voor BN-only.
• Visualisatie van granulariteitsmismatch: Analyse van variantie per kanaal toont aan dat herstel per laag systematische overcorrectie veroorzaakt (helling $\alpha \approx 3,84$ in log-log-plots), terwijl ASR een helling behoudt die dichter bij het ideaal ligt ($\alpha \approx 1,68$), wat wijst op betere afstemming met het dichte signaal.
• Kalibratie-efficiëntie: ASR verbetert de vroege kalibratie-efficiëntie. Het prestatieverschil tussen ASR en herstel per laag is het meest uitgesproken bij kleine kalibratiebudgetten (bijvoorbeeld 10–20 batches), wat suggereert dat ASR de activatiedistributie die BN-lagen binnengaat, effectiever stabiliseert.
• Ablatiestudies:
  • Granulariteit per kanaal alleen (ruwe variantie-aanpassing zonder krimp) is onvoldoende en presteert vergelijkbaar met of slechter dan BN-only.
  • Het krimpmechanisme is het cruciale onderdeel dat het herstel stabiliseert.
  • Bias-correctie biedt aanvullende, zij het secundaire, winsten.
• Afhankelijkheid van architectuur: De voordelen van ASR zijn het meest significant in architecturen met residuale verbindingen (ResNet, DenseNet). Bij VGG-16-BN (zonder skip-verbindingen) bij extreme sparsiteit blijft BN-only-herkalibratie soms concurrerend, omdat multiplicatief herstel instabiliteit kan introduceren wanneer kanaalinstorting te ernstig is om te herstellen.

5. Betekenis en Claims

Het artikel beweert dat ASR een specifieke falingsmodus in pruning na training aanpakt: de instabiliteit van herstel per laag wanneer kanaalschade heterogeen is. Door de granulariteit van het herstel te laten overeenkomen met de granulariteit van de schade en krimp te gebruiken om onbetrouwbare correcties te onderdrukken, maakt ASR aanzienlijk herstel van nauwkeurigheid mogelijk in regimes met hoge sparsiteit zonder opnieuw te trainen.

De auteurs positioneren ASR als een praktische, trainingsvrije oplossing voor het implementeren van schaarse visuele netwerken onder strikte geheugenbeperkingen. Zij merken op dat de methode specifiek is ontworpen voor convolutienetwerken met BatchNorm en dat uitbreidingen naar transformer-architecturen of kwantisatie na training worden overgelaten voor toekomstig werk. Het artikel benadrukt dat de winsten het grootst zijn wanneer pruning ernstige en heterogene kanaalschade induceert, wat de hypothese valideert dat aannames per laag systematisch worden geschonden bij globale magnitude-pruning.