Technische Samenvatting: PALS (Percentile-Aware Layerwise Sparsity)

Probleemstelling

Large Language Models (LLM's) met miljarden parameters leggen een aanzienlijke geheugen- en rekenbelasting op tijdens inferentie. Post-training pruning biedt een oplossing door een fractie van de gewichten te verwijderen zonder hertraining. Echter, standaard one-shot pruning-methoden zoals Wanda en SparseGPT dwingen een uniforme sparsiteit af (bijv. 50% pruning), waarbij dezelfde pruning-ratio op elke laag van een transformer wordt toegepast.

Deze aanpak negeert bekende variaties in laag-belangrijkheid. Transformer-lagen vertonen functionele heterogeniteit: vroege lagen bouwen vaak generieke representaties op, middelste lagen kunnen redundant zijn, en late lagen specialiseren zich voor de output-vocabulaire. Uniforme pruning faalt bij het exploiteren van deze verschillen, omdat het kritieke gewichten uit gevoelige lagen kan verwijderen terwijl het redundante lagen overmatig pruneert, wat leidt tot suboptimale perplexiteit en nauwkeurigheid.

Methodologie: PALS

De auteurs stellen PALS (Percentile-Aware Layerwise Sparsity) voor, een methode die de pruning-ratio voor elke laag dynamisch aanpast op basis van activatiestatistieken verzameld via een kleine kalibratieset. PALS integreert in de Wanda-pipeline met verwaarloosbare overhead en vereist geen fine-tuning.

Kernalgoritme

1. Laag-belangrijkheid via Activatie-percentielen:
   Voor elke laag $l$ worden activaties $A^{(l)}$ verzameld over een kalibratieset. In plaats van het gemiddelde van de activatie te gebruiken (wat kritieke signalen middelt), berekent PALS het 99e percentiel van de absolute activatiemagnitudes:
   $$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$$
   Deze metriek richt zich op "activatie-outliers"—kenmerken met magnitudes die 10–100× groter zijn dan de rest—die eerder werk (Dettmers et al.) als essentieel voor de modelkwaliteit heeft geïdentificeerd.

2. Normalisatie en Allocatie:
   De ruwe percentielscores worden gestandaardiseerd ($\hat{I}^{(l)}$) om vergelijkbaar te zijn tussen lagen. De per-laag sparsiteitstarget $s^{(l)}$ wordt vervolgens berekend door de globale target $s_{\text{target}}$ te verschuiven op basis van de genormaliseerde belangrijkheid:
   $$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$$

   • $\alpha$ (Adaptatiekracht): Controleert hoeveel de sparsiteit afwijkt van de target.
   • Conservatieve Grenzen: De methode dwingt een band van $\pm 5\%$ rond de target af (bijv. voor een 50% target worden lagen gepruned tussen 45% en 55%). Dit voorkomt "informatie-bottlenecks" waarbij zwaar geprunede lagen de capaciteit van het gehele netwerk verslechteren.

3. Pruning Uitvoering:
   Zodra $s^{(l)}$ is bepaald voor elke laag, worden gewichten gescoord en verwijderd met behulp van de Wanda-criterium ($|w| \cdot \text{mean}(|a|)$). De onderste $s^{(l)} \times 100\%$ van de gewichten wordt verwijderd. Er vinden geen gewicht-updates of fine-tuning plaats.

Belangrijkste Bevinding: Falen van Gradiënt-gebaseerde Allocatie

De auteurs testten een ogenschijnlijk meer principiële benadering: het gebruik van gradiënt-magnitudes (of eerste-orde Taylor-expansies) om sparsiteit toe te wijzen. Deze aanpak faalde beslissend, met perplexiteitsscores (47.32) die aanzienlijk slechter waren dan willekeurige allocatie (24.37) en uniforme pruning (12.92). De auteurs hypothetiseren dat gradiënten optimalisatiedynamiek reflecteren (lokale convergentie) in plaats van de discrete impact van het verwijderen van grote fracties gewichten.

Experimentele Resultaten

Primaire Resultaten (LLaMA-2-7B)

Op LLaMA-2-7B bij 50% ongestructureerde sparsiteit:

• Uniforme Wanda: 12.92 WikiText-2 perplexiteit.
• PALS: 10.96 WikiText-2 perplexiteit.
• Significantie: Dit vertegenwoordigt een verbetering van 15,2% in perplexiteit. Het resultaat is statistisch significant ($p < 0,001$) over negen onafhankelijke runs.
• Downstream Taken: PALS verbetert de zero-shot nauwkeurigheid op BoolQ, PIQA, HellaSwag en MMLU vergeleken met Wanda, waarbij 93,3% van de gemiddelde nauwkeurigheid van het dense model behouden blijft.

Architectuurafhankelijkheid

De voordelen van PALS zijn niet universeel; ze hangen af van de interne laag-heterogeniteit van het model:

• LLaMA-3-8B: Marginale winst (10.48 vs. 10.45).
• Mistral-7B: Geen winst (6.31 voor zowel uniform als PALS).
• Interpretatie: Nieuwere modellen (LLaMA-3, Mistral) verdelen berekeningen waarschijnlijk meer uniform over de lagen door grotere trainingsdatasets of architecturale veranderingen (bijv. Grouped-Query Attention), waardoor er minder ruimte is voor non-uniforme allocatie om hiervan te profiteren.

Efficiëntie

• Geheugen: Vermindert de modelgrootte met 50% (13,2 GB $\to$ 6,6 GB).
• Doorvoer: Bereikt een 1,41× versnelling op NVIDIA A100 GPU's met gebruik van sparse matrix kernels.
• Overhead: De PALS-pipeline voegt verwaarloosbare tijd toe aan het pruning-proces, aangezien de reeds door Wanda verzamelde activatiedata wordt hergebruikt.

Significantie en Claims

Het artikel doet drie primaire claims met betrekking tot de bijdrage:

1. Prestatiewinst via Non-uniformiteit: PALS demonstreert dat het aanpassen van de sparsiteitsratio's per laag op basis van activatie-outliers significante reducties in perplexiteit oplevert in modellen met heterogene laag-belangrijkheid (specifiek LLaMA-2), waarmee het de standaard uniforme pruning-baseline overtreft.
2. Gradiënt-falen in One-Shot Pruning: Het paper documenteert een opvallende foutmodus waarbij gradiënt-gebaseerde belangrijkmeterieken, die succesvol zijn in kleinere netwerken, allocaties produceren die slechter zijn dan willekeurig voor gepre-trainde LLM's. Dit suggereert een fundamentele disconnect tussen gradiënt-magnitude en de impact van discrete gewichtsverwijdering in de one-shot setting.
3. Robuustheid en Eenvoud: De methode vereist geen fine-tuning, voegt minimale computationele kosten toe en vertrouwt op een eenvoudige statistische heuristiek (99e percentiel) die aansluit bij het bekende fenomeen van activatie-outliers in transformers.

De auteurs blijven bescheiden over de universaliteit van de winsten en merken op dat de effectiviteit van de methode afhankelijk is van de specifieke architectuur en trainingsdynamiek van het doelmodel. Als de lagen van een model uniform belangrijk zijn, biedt PALS geen voordeel ten opzichte van uniforme pruning.