Riepilogo Tecnico: Resuscitazione del Segnale Adattiva (ASR)

1. Enunciato del Problema

La potatura una tantum basata sulla magnitudine, un metodo pratico per comprimere le reti di visione senza riaddestramento, soffre spesso di un crollo severo dell'accuratezza in regimi ad alta sparsità (ad esempio, rimuovendo il 90% dei pesi). Sebbene i metodi esistenti di riparazione post-potatura, come la ricalibrazione della BatchNorm (BN) e la scalatura degli attivazioni a livello di strato (ad esempio, REFLOW), mirino a ripristinare il segnale, falliscono frequentemente sotto sparsità estrema.

Il problema fondamentale identificato è un mismatch di granularità tra il danno causato dalla potatura e la riparazione applicata. La potatura globale basata sulla magnitudine induce un danno eterogeneo ai canali all'interno di un singolo strato: alcuni canali mantengono una varianza di attivazione informativa, mentre altri collassano verso una varianza prossima allo zero. I metodi esistenti di riparazione a livello di strato applicano una singola correzione scalare all'intero strato. Quando uno strato contiene una miscela di canali sani e collassati, la correzione a livello di strato è guidata dai canali collassati (che hanno varianza prossima allo zero), risultando in un fattore di scala eccessivamente grande. Questo fattore amplifica indiscriminatamente sia i segnali sani che il rumore residuo nei canali collassati, spesso destabilizzando il modello e performando peggio della semplice ricalibrazione della BN.

2. Metodologia: Resuscitazione del Segnale Adattiva (ASR)

ASR è un metodo di riparazione post-potatura senza addestramento, progettato per far corrispondere la granularità della riparazione alla granularità del danno. Opera prima della ricalibrazione della BatchNorm e richiede solo passaggi in avanti su un piccolo set di calibrazione (64 immagini).

Meccanismo Principale

1. Stima della Varianza per Canale:
   Per ogni canale di uscita $i$ in uno strato convoluzionale, ASR stima un fattore di correzione grezzo $\hat{\gamma}_i$ confrontando la varianza dell'attivazione potata ($v_{p,i}$) con la varianza dell'attivazione densa ($v_{d,i}$) sul set di calibrazione:
   $$\hat{\gamma}_i = \sqrt{\frac{\hat{v}_{d,i}}{\hat{v}_{p,i} + \epsilon}}$$
   dove $\epsilon$ è un limite numerico.

2. Riduzione Guidata dai Dati:
   Per prevenire l'amplificazione eccessiva dei canali collassati (dove $v_{p,i} \approx 0$), ASR introduce un passo di riduzione che spinge le stime inaffidabili verso la mappa identità ($\gamma_i = 1$).

   • Viene calcolato un baseline a livello di strato $\lambda$ come mediana delle varianze dei canali post-potatura all'interno dello strato.
   • Viene calcolato un peso di affidabilità $s_i$ basato sul rapporto tra la varianza del canale e questo baseline:
     $$s_i = \frac{\hat{v}_{p,i}}{\hat{v}_{p,i} + \lambda}$$
   • Il fattore di riparazione finale è una combinazione convessa della stima grezza e dell'identità:
     $$\gamma_i = s_i \hat{\gamma}_i + (1 - s_i) \cdot 1$$
   • Comportamento: Se un canale è collassato ($v_{p,i} \to 0$), $s_i \to 0$, e $\gamma_i \to 1$ (nessuna correzione). Se un canale è sano ($v_{p,i} \gg \lambda$), $s_i \to 1$, e $\gamma_i \approx \hat{\gamma}_i$ (corrispondenza completa della varianza).

3. Correzione del Bias:
   Dopo la riscalatura, ASR aggiusta opzionalmente il bias convoluzionale per allineare il primo momento (media) delle attivazioni riparate con le attivazioni dense, affrontando gli spostamenti della media introdotti dalla potatura.

4. Ricalibrazione della BatchNorm:
   I pesi e i bias riparati sono utilizzati per calcolare nuove statistiche di esecuzione per gli strati BatchNorm sul set di calibrazione.

3. Contributi Chiave

• Identificazione del Modo di Fallimento: Il documento dimostra che la riparazione a livello di strato fallisce in regimi ad alta sparsità a causa di un danno eterogeneo ai canali, dove uno scalare condiviso è dominato dai canali collassati, portando a un'amplificazione eccessiva del rumore.
• Riparazione Stabilizzata da Riduzione: ASR introduce una strategia di riparazione per canale stabilizzata da una regola di riduzione guidata dai dati. A differenza della corrispondenza per canale ingenua, che rimane instabile per i canali collassati, ASR sopprime le correzioni per i canali con segnali post-potatura deboli, preservando al contempo le correzioni per i canali più sani.
• Validazione Empirica: Il metodo è validato su tre dataset (CIFAR-10, CIFAR-100, Imagenette) e quattro architetture (ResNet-18, ResNet-50, DenseNet-121, VGG-16-BN) sia in condizioni di sparsità non strutturata che strutturata (2:4).

4. Risultati Sperimentali

• Prestazioni ad Alta Sparsità: ASR supera costantemente la riparazione a livello di strato (LW+BN) e spesso supera la sola ricalibrazione della BN in impostazioni ad alta sparsità (70%–90%).
  • Esempio: Su ResNet-50 al 90% di sparsità (CIFAR-10), ASR raggiunge un'accuratezza top-1 del 55,6%, rispetto al 41,0% della riparazione a livello di strato e al 28,0% della sola BN.
• Visualizzazione del Mismatch di Granularità: L'analisi della varianza per canale mostra che la riparazione a livello di strato causa una sovracorrezione sistematica (pendenza $\alpha \approx 3,84$ nei grafici log-log), mentre ASR mantiene una pendenza più vicina all'ideale ($\alpha \approx 1,68$), indicando un migliore allineamento con il segnale denso.
• Efficienza di Calibrazione: ASR migliora l'efficienza di calibrazione iniziale. Il divario di prestazioni tra ASR e la riparazione a livello di strato è più pronunciato con piccoli budget di calibrazione (ad esempio, 10–20 batch), suggerendo che ASR stabilizza più efficacemente la distribuzione delle attivazioni in ingresso agli strati BN.
• Studi di Ablazione:
  • La sola granularità per canale (corrispondenza della varianza grezza senza riduzione) è insufficiente e performa in modo simile o peggiore rispetto alla sola BN.
  • Il meccanismo di riduzione è il componente critico che stabilizza la riparazione.
  • La correzione del bias fornisce guadagni aggiuntivi, sebbene secondari.
• Dipendenza dall'Architettura: I benefici di ASR sono più significativi nelle architetture con connessioni residue (ResNet, DenseNet). In VGG-16-BN (privo di connessioni di salto) a sparsità estrema, la sola ricalibrazione della BN talvolta rimane competitiva, poiché la riparazione moltiplicativa può introdurre instabilità quando il collasso del canale è troppo grave per essere recuperato.

5. Significato e Affermazioni

Il documento afferma che ASR affronta un modo di fallimento specifico nella potatura post-addestramento: l'instabilità della riparazione a livello di strato quando il danno ai canali è eterogeneo. Confrontando la granularità della riparazione alla granularità del danno e utilizzando la riduzione per sopprimere correzioni inaffidabili, ASR permette un recupero significativo dell'accuratezza in regimi ad alta sparsità senza riaddestramento.

Gli autori posizionano ASR come una soluzione pratica e senza addestramento per il dispiegamento di reti di visione sparse sotto vincoli di memoria rigorosi. Osservano che il metodo è specificamente progettato per reti convoluzionali con BatchNorm e che le estensioni ad architetture transformer o alla quantizzazione post-addestramento sono lasciate per lavori futuri. Il documento sottolinea che i guadagni sono maggiori quando la potatura induce un danno severo ed eterogeneo ai canali, validando l'ipotesi che le assunzioni a livello di strato siano sistematicamente violate nella potatura globale basata sulla magnitudine.