From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

1. Enunciato del Problema

I Large Language Models (LLM) sono computazionalmente costosi, rendendo necessarie strategie di distribuzione efficienti. Il pruning strutturato (rimozione di intere teste di attenzione o canali MLP) è preferito rispetto al pruning non strutturato per la compatibilità hardware. Tuttavia, il paradigma dominante attuale è il Local Pruning (ad esempio, SparseGPT, Wanda), che ottimizza gli errori di ricostruzione a livello di strato.

Principali Limiti del Local Pruning:

• Task-Agnostic: Minimizza la differenza tra gli output dello strato prunato e quello denso, preservando la perplexità generale ma fallendo nell'ottimizzazione per compiti specifici downstream.
• Calibrazione Limitata: Anche quando si utilizzano dati di calibrazione specifici per il compito, i metodi locali non possono sfruttare efficacemente i segnali del compito perché la loro funzione obiettivo (MSE a livello di strato) è disaccoppiata dalla perdita finale del modello.
• Instabilità ad Alta Sparsità: I metodi locali spesso faticano a mantenere l'accuratezza ad alti rapporti di pruning (40–50%).
• Inefficienza per Multiple Sparsità: Per ottenere modelli a diversi livelli di sparsità, i metodi locali richiedono esecuzioni di pruning separate e indipendenti per ogni rapporto target.

2. Metodologia: GISP (Global Iterative Structured Pruning)

Gli autori propongono GISP, un framework di pruning strutturato post-training che sposta l'attenzione dalla ricostruzione locale a un'ottimizzazione globale allineata alla perdita.

Componenti Principali:

1. Metrica di Importanza Globale:

   • Invece della ricostruzione a livello di strato, GISP definisce l'importanza basandosi sulla espansione di Taylor del primo ordine della perdita globale del modello ($L$) rispetto alla perturbazione dei pesi.
   • Punteggio di importanza per un peso $W_{ij}$: $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$.
   • Allineamento al Compito: La funzione di perdita $L$ può essere scambiata. Per il modellazione linguistica, utilizza la Perplexity (Cross-Entropy). Per compiti di tipo decisionale (ad esempio, QA), utilizza una Margin-based Loss per preservare il confine decisionale tra risposte corrette e incorrette.

2. Piano di Pruning Iterativo:

   • Problema: Il pruning globale "one-shot" ingenuo (rimozione di tutti i pesi in una volta) è instabile e causa il collasso dell'accuratezza ad alta sparsità.
   • Soluzione: GISP pruna iterativamente. Applica un piccolo rapporto di pruning ($\rho_k$) a ogni passo $k$ su $n$ iterazioni, aumentando gradualmente la sparsità totale fino al target $\rho$.
   • Normalizzazione: Per gestire lo squilibrio in cui i blocchi di Attenzione hanno spesso punteggi di importanza più alti rispetto ai blocchi MLP, GISP normalizza i punteggi separatamente all'interno delle strutture di Attenzione e MLP prima della classificazione globale.

3. Flusso di Lavoro "Prune-Once, Deploy-Many":

   • Poiché GISP è iterativo, genera naturalmente una struttura di sottorete annidata. Il modello prunato al 20% di sparsità è un sottoinsieme del modello prunato al 30%, che a sua volta è un sottoinsieme del modello al 50%.
   • Questo permette a una singola esecuzione di pruning di produrre una frontiera di Pareto di modelli a vari livelli di sparsità, eliminando la necessità di multiple esecuzioni di pruning indipendenti.

3. Contributi Chiave

• Riesame del Pruning Globale: Dimostra che il pruning globale, se reso iterativo e post-training, supera il pruning locale sia in termini di perplexità che di accuratezza downstream, specialmente ad alta sparsità (40–50%).
• Pruning Specifico per il Compito: Introduce un meccanismo per definire l'importanza direttamente tramite funzioni di perdita specifiche per il compito (ad esempio, margin loss per QA), colmando il divario tra compressione generica e ottimizzazione consapevole del compito.
• Efficienza tramite Sottoreti Annidate: Stabilisce un flusso di lavoro "once-for-all" in cui un singolo processo di pruning iterativo produce molteplici modelli utilizzabili a diversi livelli di sparsità, ammortizzando il costo computazionale delle iterazioni.
• Robustezza: Mostra che GISP rimane efficace anche con budget di calibrazione significativamente ridotti (fino all'1% del conteggio standard di token).

4. Risultati Sperimentali

Gli autori hanno valutato GISP su Llama2-7B/13B, Llama3-8B, Mistral-0.3-7B, DeepSeek-R1-Distill-Llama-3-8B e Qwen3-8B.

• Perplexity (WikiText-2): GISP ottiene costantemente una perplexità inferiore rispetto ai baseline locali (Wanda, LLM-Pruner, FLAP, OWL). Al 50% di sparsità, i metodi locali spesso soffrono di "collasso della perplexity" (PPL > 100), mentre GISP mantiene un PPL competitivo (ad esempio, ~64 per Llama2-7B contro ~81 per Wanda).
• Accuratezza Downstream (CMQA):
  • GISP supera tutti i baseline su tutti i modelli e livelli di sparsità.
  • Vantaggio Specifico per il Compito: Utilizzare dati CMQA per la calibrazione e una margin-based loss aumenta significativamente l'accuratezza rispetto all'uso di dati C4 generici. Ad esempio, su Llama2-13B al 40% di sparsità, GISP (Margin) raggiunge un'accuratezza del 63,34% contro il 59,11% di Wanda.
• Compiti di Ragionamento (GSM8K):
  • Su DeepSeek-R1 e Qwen3, la calibrazione allineata al compito (utilizzando dati GSM8K) migliora drasticamente le prestazioni. Wanda-sp collassa al 0% di accuratezza su DeepSeek-R1 al 20% di sparsità con calibrazione generica, mentre GISP con calibrazione specifica per il compito raggiunge il 67,93%.
• Efficienza:
  • Sebbene GISP abbia un tempo di esecuzione totale più elevato a causa delle iterazioni, il tempo ammortizzato per modello utilizzabile è inferiore rispetto ai metodi locali perché produce 112+ sottoreti utilizzabili in una singola esecuzione, mentre i metodi locali ne producono una sola per esecuzione.
  • I modelli prunati mostrano significativi accelerazioni nell'inferenza (fino a 1,7x nella velocità di prefill) e riduzione della memoria (fino al 45% al 50% di sparsità).

5. Significato e Impatto

• Cambiamento di Paradigma: Il paper sfida il dominio del pruning basato sulla ricostruzione locale, dimostrando che il pruning globale e allineato alla perdita è superiore per gli LLM quando implementato in modo iterativo.
• Distribuzione Pratica: La capacità "prune-once, deploy-many" è estremamente preziosa per la distribuzione edge, permettendo a un singolo file di modello di essere adattato dinamicamente a vincoli hardware diversi senza riprovare il pruning.
• Adattamento al Compito: Fornisce un framework robusto per adattare gli LLM a domini specifici (ad esempio, medico, matematica) senza un full fine-tuning, semplicemente cambiando i dati di calibrazione e l'obiettivo di perdita durante la fase di pruning.
• Efficienza delle Risorse: Dimostrando la robustezza con dati di calibrazione minimi, GISP abbassa la barriera per l'applicazione del pruning strutturato a modelli di grandi dimensioni in ambienti con risorse limitate.

In conclusione, GISP offre un'alternativa semplice ma potente ai metodi di pruning attuali, fornendo maggiore accuratezza, migliore stabilità ad alta sparsità e maggiore flessibilità per la distribuzione specifica per compito.