Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation

Riepilogo Tecnico: Riparabilità Relativa: Una Diagnosi Basata sulla Calibrazione per l'Assegnazione Post-Potatura ad Alta Sparsità

1. Enunciato del Problema

A livelli di sparsità molto elevati (tipicamente superiori al 90%), la potatura delle reti neurali non è semplicemente un problema di selezione dei parametri, ma un problema di allocazione dei danni. Mentre la sparsità globale determina il numero di pesi rimossi, la distribuzione specifica del danno indotto dalla potatura attraverso i livelli determina se una procedura di riparazione leggera, successiva alla potatura, possa recuperare le prestazioni del modello.

Le strategie di allocazione esistenti, come la potatura globale basata sulla magnitudine, la potatura uniforme per livello, ERK (priors strutturali) e LAMP (magnitudine adattiva per livello), non tengono conto esplicitamente della riparabilità. Non distinguono tra livelli in cui il danno da potatura può essere corretto tramite una calibrazione leggera e livelli in cui il danno è irrecuperabile. Di conseguenza, ad alta sparsità, le regole di allocazione standard possono collocare danni eccessivi in livelli "resistenti alla riparazione", causando il collasso del modello anche se lo stesso numero di parametri viene mantenuto in una configurazione più "riparabile".

2. Metodologia: Riparabilità Relativa (RR)

Gli autori propongono la Riparabilità Relativa (RR), una diagnosi basata sulla calibrazione progettata per guidare l'allocazione della sparsità sotto un operatore di riparazione post-potatura fisso. Il metodo opera senza etichette, gradienti o riaddestramento, basandosi esclusivamente su un piccolo set di calibrazione non etichettato.

Meccanismo Principale:
Per ogni livello $\ell$ e candidata sparsità $s$, la RR calcola un rapporto che confronta la distorsione dell'attivazione grezza causata dalla potatura con la distorsione residua rimanente dopo la riparazione:

1. Distorsione Grezza ($D^{raw}$): Misura lo spostamento dell'attivazione indotto dalla potatura del livello $\ell$ alla sparsità $s$, mantenendo gli altri livelli densi.
2. Residuo Post-Riparazione ($D^{repair}$): Misura lo spostamento dell'attivazione dopo l'applicazione di un operatore di riparazione leggero (Corrispondenza della Varianza per Canale seguita da ricalibrazione BatchNorm, denotato come CR+BN) al livello potato.
3. Riparabilità Relativa ($R_\ell(s)$): Definita come il rapporto normalizzato:
   $$R_\ell(s) = \frac{D^{repair}_\ell(s) + \epsilon}{D^{raw}_\ell(s) + \epsilon}$$

Interpretazione:

• Un valore RR basso indica che il danno indotto dalla potatura del livello è largamente correggibile dall'operatore di riparazione (alta riparabilità).
• Un valore RR alto indica che il danno persiste dopo la riparazione (bassa riparabilità).

Strategia di Allocazione:
La RR viene utilizzata come punteggio di allocazione per livello in un quadro di ottimizzazione greedy. L'algoritmo assegna una sparsità maggiore (più potatura) ai livelli con RR bassa (alta riparabilità) e protegge i livelli con RR alta (bassa riparabilità), soggetto a un budget globale di sparsità.

3. Contributi Chiave

• Formulazione di un'Allocazione Consapevole della Riparabilità: Il documento riformula la potatura ad alta sparsità come un problema di allocazione di danni riparabili piuttosto che semplicemente di selezione dei pesi mantenuti. Si chiede quali livelli possano sostenere danni da potatura che un operatore leggero fisso possa recuperare.
• Introduzione della Riparabilità Relativa (RR): Una metrica diagnostica che normalizza i residui post-riparazione rispetto agli spostamenti grezzi da potatura. A differenza dello spostamento grezzo dell'attivazione o dei residui assoluti di riparazione, la RR isola la frazione di danno che rimane non corretta, fornendo un segnale specificamente condizionato alla procedura di riparazione scelta.
• Identificazione della Transizione di Recuperabilità: Gli autori dimostrano che la RR non è una regola universalmente dominante, ma è più efficace all'interno di una specifica banda di transizione di recuperabilità dipendente dall'architettura. Questo è il regime in cui le regole di allocazione standard (come ERK o LAMP) iniziano a perdere affidabilità, ma la rete non è ancora collassata completamente.
• Insight Meccanicistico sui Livelli di Proiezione: Tramite studi di ablazione su ResNet18, il documento rivela che le allocazioni ERK con limite possono sovrapproteggere i livelli di proiezione (downsample) a causa dei limiti di densità, spostando involontariamente una sparsità eccessiva sulle convoluzioni regolari dove il danno è meno recuperabile. La RR corregge questo assegnando la sparsità appropriata ai livelli di proiezione in base alla loro effettiva riparabilità.

4. Risultati Sperimentali

La valutazione copre ResNet18, ResNet34 e VGG16-BN su CIFAR10 e CIFAR100, utilizzando una pipeline di riparazione CR+BN.

• Prestazioni nel Regime di Transizione: Su ResNet18 con CIFAR100, la RR supera ERK in una banda di transizione contigua (sparsità 94,0%–95,5%) e supera LAMP nella parte superiore di questa banda (95,0%–95,5%). Al 95% di sparsità, la RR migliora l'accuratezza recuperata di circa 2,5 punti rispetto a ERK e di circa 1,1 punti rispetto a LAMP.
• Dipendenza dall'Architettura: La regione "utile" della RR si sposta con l'architettura:
  • VGG16-BN: La RR diventa più informativa vicino al confine di collasso (intorno al 95%).
  • ResNet34: A causa delle connessioni residue che stabilizzano la propagazione delle caratteristiche, la transizione avviene a sparsità più estreme (97,5%), dove la RR supera ERK e LAMP.
  • ResNet18: Mostra una banda di transizione centrale (94,0%–95,5%).
• Rilevamento Solo con Calibrazione: Gli autori introducono un "Punteggio di Transizione di Calibrazione" (CTS) che utilizza solo le curve diagnostiche RR per prevedere il nucleo di transizione senza valutare l'accuratezza finale di test. Questo punteggio identifica con successo le regioni di sparsità in cui la RR offre il massimo beneficio (ad esempio, 95,0–95,5% per ResNet18 su CIFAR100).
• Robustezza: La RR rimane stabile attraverso diverse dimensioni del set di calibrazione (da 16 a 128 immagini) e mantiene un vantaggio coerente su ERK nella banda di transizione.

5. Significato e Affermazioni

Il documento afferma con modestia che la RR non è un sostituto universale per le regole di allocazione basate su struttura o magnitudine a tutti i livelli di sparsità. Invece, il suo significato risiede nel suo ruolo di diagnosi consapevole della riparazione specificamente per la transizione di recuperabilità.

Gli autori sostengono che una potatura efficace ad alta sparsità deve allocare non solo i pesi mantenuti, ma anche danni riparabili. La RR fornisce un meccanismo per esporre questa struttura sotto una pipeline di riparazione leggera e fissa. I risultati suggeriscono che, man mano che i modelli si avvicinano al loro confine di collasso, la capacità di identificare e proteggere i livelli "resistenti alla riparazione" diventa il fattore critico per il recupero, una capacità che i priors standard (come la densità strutturale di ERK o la magnitudine di LAMP) non possiedono.

Il lavoro evidenzia che la regola di allocazione "migliore" è dinamica e dipendente dall'architettura, spostandosi man mano che il modello passa da uno stato recuperabile a uno stato collassato. La RR funge da strumento per navigare questa transizione, assicurando che il danno da potatura venga collocato dove può essere corretto in modo più efficace tramite calibrazione post-hoc.