Riepilogo Tecnico: PALS (Percentile-Aware Layerwise Sparsity)

Definizione del Problema

I Large Language Models (LLM) con miliardi di parametri impongono carichi significativi in termini di memoria e computazione durante l'inferenza. Il pruning post-training offre una soluzione rimuovendo una frazione di pesi senza il retraining. Tuttavia, i metodi di pruning one-shot standard come Wanda e SparseGPT impongono una sparsità uniforme, applicando lo stesso rapporto di pruning (ad esempio, 50%) a ogni layer del transformer.

Questo approccio ignora le note variazioni nell'importanza dei layer. I layer dei transformer esibiscono un'eterogeneità funzionale: i primi layer spesso costruiscono rappresentazioni generiche, i layer intermedi possono essere ridondanti e i layer tardivi si specializzano per il vocabolario di output. Il pruning uniforme non riesce a sfruttare queste differenze, rischiando di rimuovere pesi critici da layer sensibili pur sovra-prunando quelli ridondanti, portando a una perplexity e un'accuratezza subottimali.

Metodologia: PALS

Gli autori propongono PALS (Percentile-Aware Layerwise Sparsity), un metodo che regola dinamicamente il rapporto di pruning per ogni layer basandosi sulle statistiche delle attivazioni raccolte da un piccolo set di calibrazione. PALS si integra nella pipeline di Wanda con un overhead trascurabile e non richiede fine-tuning.

Algoritmo Core

1. Importanza del Layer tramite Percentili di Attivazione:
   Per ogni layer $l$, le attivazioni $A^{(l)}$ vengono raccolte su un set di calibrazione. Invece di utilizzare la media delle attivazioni (che medierebbe i segnali critici), PALS calcola il 99° percentile delle magnitudo assolute delle attivazioni:
   $$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$$
   Questa metrica mira agli "outlier di attivazione" — feature con magnitudo 10–100× superiori rispetto al resto — che lavori precedenti (Dettmers et al.) hanno identificato come essenziali per la qualità del modello.

2. Normalizzazione e Allocazione:
   I punteggi grezzi dei percentili vengono standardizzati ($\hat{I}^{(l)}$) per essere confrontabili tra i layer. Il target di sparsità per layer $s^{(l)}$ viene quindi calcolato spostando il target globale $s_{\text{target}}$ in base all'importanza normalizzata:
   $$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$$

   • $\alpha$ (Forza di Adattamento): Controlla quanto la sparsità devia dal target.
   • Limiti Conservativi: Il metodo impone una banda di $\pm 5\%$ attorno al target (ad esempio, per un target del 50%, i layer sono prunati tra il 45% e il 55%). Ciò previene i "colli di bottiglia informativi" dove il pruning eccessivo di alcuni layer degrada la capacità dell'intera rete.

3. Esecuzione del Pruning:
   Una volta determinato $s^{(l)}$ per ogni layer, i pesi vengono valutati e rimossi utilizzando il criterio di Wanda ($|w| \cdot \text{mean}(|a|)$). Il bottom $s^{(l)} \times 100\%$ dei pesi viene rimosso. Non avvengono aggiornamenti dei pesi o fine-tuning.

Risultato Chiave: Fallimento dell'Allocazione Basata sul Gradiente

Gli autori hanno testato un approccio apparentemente più fondato: utilizzare le magnitudo dei gradienti (o espansioni di Taylor del primo ordine) per allocare la sparsità. Questo approccio è fallito decisamente, producendo punteggi di perplexity (47.32) significativamente peggiori rispetto all'allocazione casuale (24.37) e al pruning uniforme (12.92). Gli autori ipotizzano che i gradienti riflettano la dinamica di ottimizzazione (convergenza locale) piuttosto che l'impatto discreto della rimozione di grandi frazioni di pesi.

Risultati Sperimentali

Risultati Primari (LLaMA-2-7B)

Su LLaMA-2-7B con sparsità non strutturata al 50%:

• Wanda Uniforme: 12.92 WikiText-2 perplexity.
• PALS: 10.96 WikiText-2 perplexity.
• Significatività: Rappresenta un miglioramento del 15,2% nella perplexity. Il risultato è statisticamente significativo ($p < 0.001$) attraverso nove esecuzioni indipendenti.
• Task a valle: PALS migliora l'accuratezza zero-shot su BoolQ, PIQA, HellaSwag e MMLU rispetto a Wanda, mantenendo il 93,3% dell'accuratezza media del modello denso.

Dipendenza dall'Architettura

I benefici di PALS non sono universali; dipendono dall'eterogeneità interna dei layer del modello:

• LLaMA-3-8B: Guadagno marginale (10.48 vs 10.45).
• Mistral-7B: Nessun guadagno (6.31 per entrambi, uniform e PALS).
• Interpretazione: I modelli più recenti (LLaMA-3, Mistral) probabilmente distribuiscono la computazione in modo più uniforme tra i layer grazie a dataset di training più ampi o cambiamenti architettonici (es. Grouped-Query Attention), lasciando meno spazio per l'allocazione non uniforme.

Efficienza

• Memoria: Riduce la dimensione del modello del 50% (13.2 GB $\to$ 6.6 GB).
• Throughput: Ottiene un accelerazione di 1.41× su GPU NVIDIA A100 utilizzando kernel per matrici sparse.
• Overhead: La pipeline PALS aggiunge un tempo trascurabile al processo di pruning, poiché riutilizza i dati di attivazione già raccolti da Wanda.

Significatività e Claim

Il paper presenta tre claim primari riguardo al suo contributo:

1. Guadagno di Performance tramite la Non-Uniformità: PALS dimostra che regolare i rapporti di sparsità per layer basandosi sugli outlier di attivazione produce riduzioni significative della perplexity in modelli con eterogeneità dei layer (specificamente LLaMA-2), superando il baseline standard di pruning uniforme.
2. Fallimento del Gradiente nel Pruning One-Shot: Il paper documenta un sorprendente fallimento in cui le metriche di importanza basate sul gradiente, efficaci in reti più piccole, producono allocazioni peggiori del caso casuale per gli LLM pre-addestrati. Ciò suggerisce una disconnessione fondamentale tra la magnitudo del gradiente e l'impatto della rimozione discreta dei pesi nel contesto one-shot.
3. Robustezza e Semplicità: Il metodo non richiede fine-tuning, aggiunge un costo computazionale minimo e si basa su un semplice euristica statistica (99° percentile) che si allinea al noto fenomeno degli outlier di attivazione nei transformer.

Gli autori rimangono modesti riguardo l'universalità dei guadagni, notando che l'efficacia del metodo è contingente alla specifica architettura e alle dinamiche di training del modello target. Se i layer di un modello sono uniformemente importanti, PALS non offre vantaggi rispetto al pruning uniforme.