Investigating the Effect of Network Pruning on Performance and Interpretability

Riepilogo Tecnico: Indagine sull'Effetto della Potatura delle Reti sulle Prestazioni e sull'Interpretabilità

Enunciato del Problema
Le Reti Neurali Profonde (DNN), come GoogLeNet, sono frequentemente sovraparametrizzate, creando sfide per il deployment in ambienti con risorse limitate. Sebbene la potatura delle reti neurali sia una tecnica consolidata per ridurre le dimensioni del modello, la letteratura esistente si è concentrata principalmente su metriche di prestazione come accuratezza e complessità spaziale. Esiste un notevole vuoto nella comprensione di come diverse strategie di potatura influenzino l'interpretabilità del modello. Inoltre, sebbene esistano metodi per quantificare l'interpretabilità, come il Punteggio di Interpretabilità Meccanicistica (MIS), la loro affidabilità e allineamento con nozioni intuitive di interpretabilità (ad esempio, comprendere la base delle decisioni corrette) nel contesto delle reti potate rimangono poco esplorate.

Metodologia
Gli autori hanno indagato sistematicamente l'impatto della potatura su GoogLeNet utilizzando tre strategie distinte:

1. Potatura Non Strutturata: Rimuove pesi individuali attraverso la rete basandosi sulla magnitudine, creando una sparsità irregolare.
2. Potatura Strutturata: Rimuove interi filtri o canali, risultando in pattern di sparsità regolari adatti all'accelerazione hardware.
3. Sparsità delle Connessioni: Un approccio innovativo per questo studio focalizzato sulla potatura dei canali di ingresso piuttosto che dei canali di uscita. Questo mira a preservare l'integrità strutturale riducendo al contempo le connessioni.

Lo studio ha valutato queste strategie sotto due regimi di riaddestramento:

• Potatura One-Shot: Una grande porzione della rete viene potata in un singolo passaggio, seguita dal riaddestramento.
• Potatura Iterativa: La rete viene potata in incrementi più piccoli con riaddestramento dopo ogni passaggio, consentendo un adattamento graduale.

Gli esperimenti sono stati condotti sul set di validazione ImageNet. Gli autori hanno testato vari iperparametri, identificando SGD con un scheduler ExponentialLR e 50 epoche di addestramento come ottimali per il riaddestramento. Per valutare l'interpretabilità, gli autori hanno impiegato il Punteggio di Interpretabilità Meccanicistica (MIS) sviluppato da Zimmermann et al., che misura la similarità percettiva tra spiegazioni (immagini che massimizzano le attivazioni dei filtri) e query.

Risultati Chiave

• Prestazioni:

  • La Sparsità delle Connessioni ha superato sia la potatura non strutturata che quella strutturata. In particolare, la potatura dell'80% dei parametri del modello tramite Sparsità delle Connessioni e il successivo riaddestramento hanno portato a un'accuratezza di validazione del 70,5%, superando le prestazioni di GoogLeNet predefinito.
  • La potatura iterativa ha prodotto costantemente un'accuratezza superiore rispetto alla potatura one-shot, sebbene abbia comportato un costo computazionale più elevato (richiedendo circa 50 epoche per ogni passaggio di potatura).
  • Contrariamente all'assunzione che la potatura degradi le prestazioni, gli autori hanno osservato che, con un sufficiente riaddestramento, le reti potate potevano approssimare o persino superare l'accuratezza della baseline non potata. Ad esempio, un modello con il 60% dei parametri potati ha raggiunto un'accuratezza del 72,286%, rispetto al 72,1% di un GoogLeNet standard addestrato per le stesse epoche aggiuntive.
  • La potatura non strutturata senza affinamento (fine-tuning) ha portato a drastici cali di accuratezza, sottolineando la necessità del riaddestramento.

• Interpretabilità:

  • Utilizzando la metrica MIS, lo studio ha rilevato nessuna relazione significativa tra il tasso di potatura e l'interpretabilità (coefficiente di correlazione di 0,092).
  • Una scoperta critica è stata che reti con accuratezza estremamente bassa (ad esempio, 0,1%) potevano comunque ottenere punteggi MIS elevati. Ciò suggerisce che il MIS misura la coerenza delle attivazioni delle unità piuttosto che la correttezza del processo decisionale. Una rete potrebbe essere "interpretabile" secondo gli standard MIS (sapendo quali unità si attivano per input specifici) pur facendo previsioni casuali o errate.
  • I punteggi MIS per il livello softmax sono stati costantemente bassi in tutti i modelli, contraddicendo l'aspettativa che le unità di classe dovessero essere altamente interpretabili. Inoltre, non vi è stata alcuna correlazione significativa tra l'accuratezza per classe e i punteggi MIS nel livello softmax per i modelli potati testati.

Contributi Chiave

1. Valutazione della Sparsità delle Connessioni: Il documento introduce e convalida la "Sparsità delle Connessioni" (potatura dei canali di ingresso) come una strategia di potatura altamente efficace per GoogLeNet, dimostrandone la capacità di ridurre le dimensioni del modello fino all'80% mantenendo o migliorando l'accuratezza.
2. Analisi Comparativa delle Strategie di Riaddestramento: Lo studio fornisce prove empiriche confrontando la potatura iterativa con quella one-shot, confermando i benefici prestazionali degli approcci iterativi mentre ne evidenzia l'inefficienza computazionale.
3. Valutazione Critica del MIS: Gli autori mettono in discussione l'utilità del MIS come metrica autonoma per l'interpretabilità nelle reti potate. Dimostrano che alti punteggi MIS non correlano necessariamente con alta accuratezza o processi decisionali significativi, indicando un disallineamento tra la metrica e l'interpretabilità intuitiva.

Significato e Affermazioni
Gli autori affermano che il loro lavoro contribuisce allo sviluppo di modelli di deep learning più efficienti identificando la Sparsità delle Connessioni come un metodo di potatura superiore per GoogLeNet. Tuttavia, il documento è modesto riguardo alle sue scoperte sull'interpretabilità. Non afferma di aver risolto il problema dell'interpretabilità, ma piuttosto evidenzia i limiti delle metriche esistenti come il MIS. Lo studio suggerisce che le misure attuali potrebbero non catturare le sfumature dell'interpretabilità del modello post-potatura, in particolare quando la qualità predittiva della rete è bassa. Di conseguenza, gli autori sostengono lo sviluppo di metriche più robuste che allineino i punteggi di interpretabilità con la qualità delle decisioni prese dalla rete, una necessità per il deployment delle reti neurali in applicazioni reali critiche.