Riepilogo Tecnico: La Rilevanza del Compito Non è Sostituibilità Locale

Enunciato del Problema

Nelle reti neurali visive, l'importanza dei canali è tipicamente riassunta da un singolo punteggio scalare. Questa pratica confonde due domande distinte:

1. Rilevanza del Compito: Quanta informazione trasmette un canale riguardo al compito target?
2. Sostituibilità Locale: Se un canale viene rimosso, possono gli altri canali nello stesso strato fornire le informazioni necessarie per mantenere la funzione della rete?

Gli autori sostengono che queste proprietà non debbano necessariamente allinearsi. Un canale altamente predittivo può essere facilmente rimovibile se i canali pari portano informazioni sovrapposte, mentre un canale meno predittivo può essere critico se nessun pari copre il suo ruolo specifico. Le metriche esistenti (magnitudine, sensibilità del gradiente, errore di ricostruzione, ecc.) spesso comprimono questi effetti in un singolo valore, fallendo nel distinguere esplicitamente tra il contributo al compito e la recuperabilità da parte dei pari dello stesso strato.

Metodologia

Il paper introduce una visione a due assi dell'informazione dei canali, separando la rilevanza del compito dalla sostituibilità locale. L'analisi viene eseguita a posteriori su reti congelate addestrate su CIFAR-100 (ResNet-18, VGG-16, MobileNetV2) utilizzando un set di calibrazione fisso.

I Due Assi

1. Asse Locale (Sostituibilità):

   • Cattura dell'Input ($I_X$): Un proxy per quanto fortemente un canale cattura la variazione dell'input, calcolato tramite il quoziente di Rayleigh del vettore dei pesi e la covarianza dell'input ($w_i^\top \Sigma_X w_i$).
   • Sovrapposizione dei Pari ($\bar{R}_X$): Una misura di quanto il segnale di un canale si sovrappone a quello dei pari nello stesso strato, derivata dalla matrice di correlazione pairwise delle attivazioni dei canali.
   • Definizione: Un canale con alto $I_X$ e basso $\bar{R}_X$ possiede una struttura locale distintiva ed è più difficile da sostituire.

2. Asse Target (Rilevanza):

   • Informazione Mutua del Compito ($I(T; Y)$): Misura l'informazione che un canale detiene riguardo al margine del compito (margine dei logit ground-truth).
   • Ridondanza/Eccesso Target: Utilizza proxy della Decomposizione dell'Informazione Parziale (PID) Gaussiana. Il paper nota che, sotto la definizione scalabile di Gaussiana-MMI (Massima Informazione Mutua), la ridondanza target collassa nella rilevanza del compito singleton, rendendola distinta dalla sovrapposizione locale dei pari.

Protocollo Sperimentale

• Analisi Strutturale: Misurazione delle correlazioni e dei raggruppamenti (Indice di Rand Aggiustato) tra i due assi attraverso gli strati e i semi.
• Traiettorie di Addestramento: Tracciamento dell'allineamento degli assi dall'inizializzazione casuale alla convergenza per determinare se la separazione viene appresa.
• Analisi dei Gradienti: Derivazione di un modello lineare Gaussiano per spiegare il disaccoppiamento geometrico dei due assi tramite direzioni di gradiente residualizzate.
• Test di Intervento:
  • Lesioni: Rimozione di singoli canali senza fine-tuning per misurare l'aumento immediato della perdita.
  • Potatura: Potatura strutturata con recupero matched ai FLOPs (fine-tuning) per valutare la ritenzione dell'accuratezza.
  • Sostituzione dei Pari: Sostituzione dell'attivazione di un canale rimosso con una ricostruzione lineare dai pari principali per testare la recuperabilità.

Contributi Chiave

1. Separazione Strutturale degli Assi

Lo studio dimostra che nelle reti addestrate, gli assi locale e target sono debolmente allineati (Spearman $\rho \approx 0.01$) e definiscono raggruppamenti di canali diversi (basso Indice di Rand Aggiustato). Ciò contrasta con l'inizializzazione casuale, dove gli assi sono fortemente accoppiati ($\rho \approx 0.7$). La separazione è un fenomeno appreso, non un artefatto dell'inizializzazione.

2. Meccanismo di Disaccoppiamento

Gli autori propongono un meccanismo di residualizzazione Gaussiana. In un modello lineare-Gaussiano, il gradiente per la cattura dell'input segue la direzione della potenza del segnale proiettata, mentre il gradiente per la rilevanza del compito segue una direzione di covarianza del compito residualizzata. Quando la direzione della covarianza del compito è debolmente allineata con le direzioni dominanti della potenza dell'input, i due gradienti diventano quasi ortogonali, spiegando il disaccoppiamento osservato durante l'addestramento.

3. Predittività della Potatura

Sotto un protocollo di potatura fisso matched ai FLOPs, le metriche dell'asse locale sono predittori più affidabili della rimovibilità rispetto alle metriche dell'asse target.

• Evidenza delle Lesioni: All'interno di bin di rilevanza del compito matched, la $R^2$ di ricostruzione tra pari (supporto locale) predice il recupero dal danno, mentre la rilevanza del compito e la cattura dell'input non lo fanno.
• Risultati della Potatura: Attraverso ResNet-18, VGG-16 e MobileNetV2, i migliori metodi dell'asse locale superano i migliori metodi dell'asse target con margini significativi (es. +8.0% a +10.1% AUC).
• Dipendenza dall'Architettura: Sebbene la sostituibilità locale sia generalmente superiore, il paper nota che in VGG-16 la magnitudine dei pesi rimane una baseline forte, suggerendo che i dettagli specifici dell'allocazione architettonica contano ancora.

4. Struttura di Ordine Superiore

L'analisi rivela che la sostituibilità locale passa da "duplicati singleton" negli strati iniziali a "gusci distribuiti" negli strati più profondi. Viceversa, l'informazione lato target richiede sempre più sinergia a livello di tripletta negli strati più profondi, suggerendo che gli strati intermedi sono più difficili da comprimere dal lato target a causa dell'informazione sinergica distribuita.

Risultati

• Debole Allineamento: La correlazione tra cattura dell'input ($I_X$) e rilevanza del compito ($I(T; Y)$) crolla bruscamente durante l'addestramento, stabilizzandosi vicino allo zero nei modelli finali.
• Divergenza dei Cluster: I canali raggruppati per caratteristiche locali (ridondanza) e caratteristiche target (rilevanza) mostrano una sovrapposizione quasi casuale (ARI $\approx 0.02$), confermando che identificano sottoinsiemi diversi di canali.
• Prestazioni della Potatura:
  • ResNet-18: Miglior metodo locale (+8.0 pp) > Miglior metodo target.
  • VGG-16: Miglior metodo locale (+6.6 pp) > Miglior metodo target, sebbene la magnitudine (una baseline basata sulla norma) rimanga competitiva.
  • MobileNetV2: Miglior metodo locale (+10.1 pp) > Miglior metodo target.
  • Test di Stress: La gerarchia locale-sopra-target vale su CIFAR-10, Tiny-ImageNet, ImageNet-100 e su un pilot ConvNeXt-T, sebbene il grado di separazione degli assi vari.
• Ortogonalità dei Gradienti: Le misurazioni empiriche confermano che la direzione di aggiornamento SGD diventa quasi ortogonale a entrambi i gradienti dell'informazione dopo l'addestramento iniziale, supportando l'ipotesi di residualizzazione.

Significato e Affermazioni

Il paper afferma una distinzione a livello di assi piuttosto che una classificazione universale dei punteggi di potatura.

• Insight Principale: La potatura è fondamentalmente un intervento di sostituibilità. Chiede se un canale è ancora necessario quando il resto dello strato è disponibile. La rilevanza del compito spiega cosa rappresenta un canale, ma la sostituibilità locale spiega se la rete ne ha bisogno.
• Limitazioni: La prova più forte è derivata da CNN su CIFAR-100. Sebbene i test di stress su ImageNet e ConvNeXt supportino la tendenza, gli autori non affermano un'applicabilità universale su tutte le architetture (es. Transformer) senza ulteriore validazione.
• Implicazione Pratica: I risultati suggeriscono che gli euristiche di potatura dovrebbero tenere esplicitamente conto del supporto locale dei pari. I punteggi basati sulla norma (come la magnitudine) possono rimanere competitivi in architetture specifiche (come VGG-16) dove agiscono come proxy per la cattura locale dell'input, ma falliscono nel catturare la sovrapposizione tra pari, che è il fattore critico per la rimovibilità.

Il lavoro riformula l'importanza del canale non come un singolo scalare ma come una proprietà bidimensionale, offrendo una diagnosi più sfumata per comprendere la ridondanza della rete e guidare le strategie di potatura.