One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression

Riepilogo Tecnico: One Shot vs. Iterativo: Ripensare le Strategie di Pruning per la Compressione dei Modelli

Problema
Man mano che le reti neurali crescono in scala per affrontare compiti complessi nella computer vision e nel natural language processing, la loro implementazione su dispositivi con risorse limitate diventa sempre più impraticabile. Il pruning (potatura) è una tecnica primaria per ridurre la dimensione del modello e il costo computazionale senza sacrificare significativamente le prestazioni. Tuttavia, la letteratura mostra un forte pregiudizio verso la proposta di nuovi criteri di pruning (ad esempio, magnitudo, sensibilità, approcci basati sulla teoria dei giochi) pur mancando di un confronto sistematico tra i regimi di pruning — specificamente, la scelta tra pruning one-shot (un singolo ciclo di addestramento, pruning e retraining) e pruning iterativo (molteplici cicli di questi passaggi). L'efficacia relativa di queste strategie sotto diverse condizioni (diversi rapporti di pruning, architetture di modelli, criteri) rimane scarsamente esplorata, portando spesso alla selezione arbitraria dei metodi da parte dei professionisti.

Metodologia
Gli autori hanno condotto uno studio empirico completo per isolare il regime di pruning come variabile, controllando il criterio di pruning, la sparsità target e le architetture dei modelli. Lo studio copre sia il pruning strutturato che quello non strutturato su Reti Neurali Convoluzionali (ResNet, EfficientNet), Vision Transformers (ViT) e un modello linguistico basato su Transformer (TinyStories-33M).

Componenti metodologici chiave includono:

1. Definizioni di Regime:
   • One-Shot: Un singolo passaggio di pruning seguito dal fine-tuning.
   • Iterativo Costante: Un numero fisso di pesi rimossi in ogni ciclo.
   • Iterativo Geometrico: Una percentuale fissa dei pesi rimanenti rimossi in ogni passaggio, riducendo progressivamente il numero di pesi potati.
   • Ibrido (Few-Shot): Un approccio combinato proposto dove una grande porzione di pesi viene rimossa in un passaggio iniziale one-shot, seguita da un pruning iterativo geometrico a grana fine.
2. Protocollo di Retraining: Lo studio sostiene l'uso del fine-tuning basato sulla pazienza (early stopping basato sulle prestazioni di validazione) piuttosto che su conteggi fissi di epoche, sostenendo che questo adatta dinamicamente la durata del retraining alle reali necessità di recupero del modello.
3. Metriche di Valutazione: Le prestazioni sono state misurate tramite la Top-1 Accuracy per i compiti di visione e la Perplexity per il compito di NLP, valutate attraverso vari rapporti di pruning (da bassi a estremi livelli di sparsità).

Contributi Chiave

• Confronto Sistematico: Questo lavoro fornisce uno dei primi confronti ampi e controllati tra i regimi di pruning one-shot e iterativo, sfidando l'assunto che il pruning iterativo sia universalmente superiore.
• Scheduler di Pruning Geometrico: Gli autori introducono e validano uno scheduler del rapporto di pruning geometrico per il pruning iterativo, dimostrando che potare una percentuale fissa dei pesi rimanenti generalmente supera il pruning a tasso costante, particolarmente ad alti livelli di sparsità.
• Approccio Ibrido: Viene proposto un nuovo regime di pruning ibrido, che sfrutta l'efficienza del pruning one-shot per la riduzione grossolana iniziale e la precisione del pruning iterativo geometrico per il raffinamento finale.
• Linee Guida Contestuali: Lo studio stabilisce che la strategia di pruning ottimale non è universale ma dipende da vincoli specifici: rapporto di pruning, architettura del modello (CNN vs. Transformer) e budget computazionale per il retraining.

Risultati Chiave

• Dipendenza dal Rapporto di Pruning:
  • Rapporti Bassi o Moderati (<80%): Il pruning one-shot con retraining basato sulla pazienza spesso supera i metodi iterativi, in particolare per le CNN. Raggiunge un'accuratezza superiore con tempi di retraining significativamente inferiori.
  • Rapporti Elevati (>80%): Il pruning iterativo (specificamente la variante geometrica) diventa superiore. Il pruning one-shot fatica a recuperare le prestazioni a livelli di sparsità estremi.
• Sensibilità dell'Architettura: I modelli basati su Transformer (sia ViT che LLM) beneficiano generalmente più del pruning iterativo rispetto alle CNN. Nei compiti di NLP, il pruning one-shot ha mostrato sensibilità anche a bassi rapporti di pruning (10–20%), mentre il pruning iterativo ha permesso al modello di adattarsi progressivamente.
• Interazione tra Criteri di Pruning:
  • Per i criteri del secondo ordine (ad esempio, basati su Hessian), il pruning one-shot è computazionalmente efficiente perché il costoso calcolo del ranking viene eseguito una sola volta.
  • Per alti rapporti di pruning, la scelta del criterio di pruning diventa meno significativa; il regime geometrico iterativo produce prestazioni simili attraverso diversi criteri, rendendo preferibili i criteri basati sulla magnitudo più veloci.
• Performance Ibrida: L'approccio ibrido ha superato costantemente i metodi puramente one-shot e puramente iterativi in quasi tutti i tassi di pruning, bilanciando efficacementamente la velocità della rimozione one-shot con la precisione dei passaggi iterativi.
• Efficienza del Retraining: È stato dimostrato che l'early stopping basato sulla pazienza è critico. I periodi di retraining brevi e fissi (comuni nella letteratura) hanno portato a risultati subottimali, mentre i metodi basati sulla pazienza hanno evitato sia il sotto-addestramento che lo spreco di sovra-addestramento.

Significatività e Rivendicazioni
Il documento non pretende di stabilire un unico metodo di pruning "migliore" per tutti gli scenari. Al contrario, mira a fornire una base empirica rigorosa affinché i professionisti possano selezionare una strategia di pruning su misura per i propri obiettivi e vincoli specifici. Gli autori sostengono che la scelta del regime di pruning è tanto cruciale quanto la scelta del criterio di pruning. Dimostrando che il pruning one-shot è altamente efficace per la bassa sparsità e gli ambienti con vincoli computazionali, mentre il pruning iterativo (geometrico) è necessario per l'alta sparsità e le architetture complesse, lo studio offre linee guida azionabili per ottimizzare il compromesso tra accuratezza del modello, dimensione e costo computazionale. Il metodo ibrido proposto funge da soluzione pratica che combina i punti di forza di entrambi i regimi, offrendo un percorso più informato per la compressione dei modelli.