Riepilogo Tecnico: Come l'Assegnazione della Sparsità Modella la Recuperabilità del Post-Potatura Senza Etichette

Enunciato del Problema

La potatura non strutturata basata sulla magnitudine a rapporti di sparsità elevati (es. >90%) spesso causa ai reti neurali un "crollo dell'accuratezza", in cui le prestazioni scendono a livelli prossimi al caso casuale. Sebbene il recupero standard preveda il fine-tuning con dati etichettati, ciò è frequentemente non fattibile in scenari di deployment pratici dove le etichette non sono disponibili o la pipeline di addestramento originale è inaccessibile.

Un lavoro recente sull'Adaptive Signal Resuscitation (ASR) [10] ha dimostrato che la riparazione senza etichette e senza gradienti a livello di canale può recuperare un'accuratezza sostanziale da modelli sparsi collassati, mediante l'adeguamento delle statistiche di attivazione. Tuttavia, la letteratura esistente si concentra principalmente su come riparare un modello, trascurando i fattori a monte che determinano se un modello è riparabile. Questo articolo affronta la domanda complementare: Dato un backend fisso di riparazione senza etichette (ASR), come la scelta dell'assegnazione della sparsità a monte influisce sulla quantità di segnale di attivazione che sopravvive alla potatura e rimane recuperabile?

Metodologia

Pipeline Sperimentale

Lo studio impiega una pipeline fissa di riparazione post-potatura (Figura 1):

1. Pre-addestramento: Viene stabilito un modello denso pre-addestrato.
2. Assegnazione della Sparsità: Un budget di densità viene distribuito tra i livelli utilizzando ERK (basato sulla forma del livello) o LAMP (basato sulla distorsione a livello di livello).
3. Potatura: Viene applicata una potatura non strutturata basata sulla magnitudine per raggiungere una sparsità globale target ($s \in [0.90, 0.955]$).
4. Riparazione: L'operatore ASR [10] viene applicato come backend fisso. Utilizza un piccolo insieme di immagini di calibrazione senza etichette ($n=128$) per stimare il degrado della varianza di attivazione per canale. Successivamente, riscalala i pesi sopravvissuti e aggiusta i bias per corrispondere alle statistiche del modello denso, seguito da una ricalibrazione BatchNorm (BN). Non vengono utilizzati gradienti o etichette.

Varianti e Baseline

• Backend di Riparazione: Lo studio confronta due varianti ASR:
  • ASR-q50: Applica un prior di restringimento basato sulla varianza potata mediana per attenuare il rumore nei canali gravemente danneggiati.
  • Clipped ASR: Vincola ulteriormente il fattore di scala a $[0.5, 2.0]$ per prevenire una sovracorrezione in regimi di collasso estremo.
• Baseline: Le varianti ASR sono confrontate contro:
  • Nessuna riparazione (valutazione diretta).
  • Solo ricalibrazione BN.
  • Correzione del bias + BN.
  • Calibrazione affine + BN.

Ambito

Gli esperimenti coprono ResNet-18, ResNet-34 e ResNet-50 su CIFAR-10, CIFAR-100 e Imagenette. Validazioni aggiuntive includono ImageNet-100 (ResNet-18) e DenseNet-121 (CIFAR-10/100) per testare la connettività non residua.

Contributi Chiave

1. Analisi delle Interazioni: Il paper isola l'interazione tra l'assegnazione della sparsità a livello di livello (ERK vs. LAMP) e la riparabilità senza etichette trattando ASR come un backend fisso.
2. Recuperabilità Dipendente dall'Assegnazione: I risultati dimostrano che la scelta dell'assegnazione altera sistematicamente la quantità di segnale di attivazione recuperabile. Alla stessa sparsità globale, ERK e LAMP producono accuranze post-riparazione sostanzialmente diverse. Crucialmente, la direzione del vantaggio (quale assegnazione è migliore) si inverte a seconda dell'architettura e della difficoltà del dataset.
3. Regime di Transizione Sensibile alla Riparazione: Gli autori identificano un regime di sparsità specifico in cui la ricalibrazione BN standard inizia a fallire, mentre ASR recupera ancora un'accuratezza non banale. La larghezza e la posizione di questo regime variano significativamente con l'architettura, l'assegnazione e la difficoltà del dataset.
4. Euristica di Selezione della Variante: La performance relativa di ASR-q50 rispetto a Clipped ASR funge da indicatore del "paesaggio di attivazione" lasciato dall'assegnazione. Una correzione aggressiva (q50) è stabile quando l'assegnazione preserva un segnale sufficiente, mentre una correzione conservativa (Clipped) è richiesta quando il paesaggio è fragile.

Risultati Chiave

Performance Generale

Su 54 configurazioni principali ResNet, la migliore variante ASR ha migliorato la riparazione solo BN di una media di 17.4 punti percentuali (guadagno minimo 1.3 punti). ASR ha costantemente superato le altre baseline di calibrazione (Bias, Affine) in tutte le configurazioni.

Effetti dell'Assegnazione (ERK vs. LAMP)

• ResNet-50 / CIFAR-10: LAMP ha costantemente superato ERK. Alla sparsità del 90%, LAMP+ASR-q50 ha raggiunto il 79.92% contro ERK+ASR-q50 al 70.24%.
• ResNet-34 / CIFAR-100: La tendenza si è invertita. ERK ha superato LAMP a tutti i livelli di sparsità (es. al 95.0%, ERK+ASR-q50 ha raggiunto il 41.20% contro LAMP+ASR-q50 al 38.07%).
• ResNet-18 / CIFAR-100: LAMP ha mostrato un leggero vantaggio, ma il divario è stato più stretto rispetto ad altre configurazioni.
• DenseNet-121: Su CIFAR-10, Clipped ASR ha superato sostanzialmente ASR-q50, invertendo il pattern osservato nelle ResNet. Ciò suggerisce che la connettività densa di DenseNet crea un paesaggio di attivazione fragile in cui una correzione aggressiva porta a un overshoot.

Regimi di Transizione

• ResNet-50 / CIFAR-100: La transizione in cui BN fallisce ma ASR ha successo avviene intorno al 92–93% di sparsità.
• DenseNet-121 / CIFAR-100: La transizione avviene molto prima, intorno al 70–80% di sparsità. Al 85%, la maggior parte dei metodi crolla, con solo Clipped ASR che mantiene un'utilità marginale.
• ImageNet-100: Il divario tra ERK e LAMP è stato più piccolo rispetto a CIFAR-100, suggerendo che dataset/modelli più grandi conservano più segnale distribuito, restringendo la regione di transizione sensibile alla riparazione.

Sensibilità ai Limiti

L'analisi di sensibilità sui limiti di Clipped ASR ha mostrato che le prestazioni sono stabili su limiti più ampi (es. $[0.25, 4.00]$ e $[0.50, 2.00]$) ma degradano significativamente quando i limiti sono ristretti troppo conservativamente (es. $[0.80, 1.25]$).

Significato e Affermazioni

Il paper afferma che l'assegnazione della sparsità e la riparazione senza etichette non sono scelte di progettazione indipendenti. Le proprietà strutturali di un'assegnazione (come distribuisce la densità attraverso dimensioni e tipi di livello) interagiscono con la connettività dell'architettura per determinare il paesaggio di attivazione a livello di canale disponibile per la riparazione.

• Implicazione Pratica: In scenari di deployment senza etichette, la selezione di una strategia di assegnazione della sparsità richiede di considerare la capacità di riparazione a valle. Un'assegnazione "migliore" per un'architettura/dataset può essere "peggiore" per un altro.
• Insight Teorico: L'esistenza di un "regime di transizione sensibile alla riparazione" evidenzia una finestra operativa critica in cui le scelte di assegnazione hanno l'impatto più significativo sulla recuperabilità. Fuori da questa finestra (bassa sparsità dove BN funziona, o sparsità estrema dove il collasso è irreversibile), la sensibilità all'assegnazione diminuisce.
• Limitazioni: Gli autori notano che il meccanismo del rapporto di varianza assume che le statistiche del modello denso siano un target appropriato, il che potrebbe non valere se la distribuzione di calibrazione differisce dalla distribuzione di test. Inoltre, ASR non è un sostituto del fine-tuning con etichette; quando le etichette sono disponibili, il fine-tuning mascherato supera sostanzialmente ASR (es. 71.49% vs 25.96% su CIFAR-100 al 92.5% di sparsità).

In conclusione, il paper stabilisce che comprendere l'interazione tra assegnazione a monte e riparazione a valle è necessario per il deployment affidabile del recupero post-potatura senza etichette.