💬 NLP

PALS: Percentile-Aware Layerwise Sparsity for LLM Pruning

Das Papier schlägt PALS vor, eine One-Shot-Pruning-Methode, die Sparheitsraten über Transformer-Schichten hinweg basierend auf Aktivierungsmagnituden dynamisch anpasst, wodurch signifikante Verbesserungen der Perplexität gegenüber uniformem Pruning bei LLaMA-2-7B erzielt werden, während gleichzeitig demonstriert wird, dass die gradientenbasierte Allokation für die diskrete Gewichtsentfernung ineffektiv ist.

Ursprüngliche Autoren: Yazdan Jamshidi, Alexey Shvets

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yazdan Jamshidi, Alexey Shvets

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich intelligente Bibliothek (ein Large Language Model) mit Milliarden von Büchern (Parametern). Um diese Bibliothek in einen kleinen Rucksack zu bekommen, damit Sie sie auf Ihrem Handy mit sich herumtragen können, müssen Sie die Hälfte der Bücher wegwerfen. Das nennt man „Pruning“ (Beschneidung).

Das Problem ist: Nicht alle Bücher sind gleich wichtig. Einige sind nur Füllmaterial, während andere die kritischsten Karten und Schlüssel zum Verständnis der Welt enthalten.

Der alte Weg: Der „Einheitsansatz“

Frühere Methoden (wie Wanda und SparseGPT) waren wie ein strenger Bibliothekar, der sagt: „Wir müssen 50 % der Bücher wegwerfen. Also werden wir exakt die Hälfte der Bücher von jedem einzelnen Regal wegwerfen, egal was passiert.“

Die Autoren dieses Papers argumentieren, dass das albern ist. Manche Regale sind vollgestopft mit lebenswichtigen, einzigartigen Informationen, während andere voll von repetitiven Notizen sind. Wenn man 50 % aus den lebenswichtigen Regalen schneidet, ergibt die Bibliothek keinen Sinn mehr. Wenn man 50 % aus den repetitiven Regalen schneidet, merkt es niemand.

Der neue Weg: PALS (Der „schlaue Bibliothekar“)

Die Autoren schlagen eine neue Methode namens PALS (Percentile-Aware Layerwise Sparsity) vor. Anstatt aus jedem Regal die gleiche Menge zu schneiden, agiert PALS wie ein schlauer Bibliothekar, der zuerst die Regale untersucht.

So funktioniert es:

Der „Ausreißer“-Check: Der Bibliothekar schaut sich die Bücher in jedem Regal an und fragt: „Gibt es hier Bücher, die völlig anders oder extrem laut sind?“ In technischen Begriffen suchen sie nach Aktivierungs-Ausreißern (activation outliers) – Momente, in denen ein bestimmter Teil des Modells sehr „aufgeregt“ oder aktiv wird.
Die Regel:
- Wenn ein Regal diese „lauten“ oder „aufgeregten“ Momente hat, bedeutet das, dass dieses Regal eine kritische Arbeit leistet. Schneide hier nicht viel. Behalte mehr Bücher.
- Wenn ein Regal leise und gleichmäßig ist, leistet es wahrscheinlich repetitive Arbeit. Schneide hier mehr. Wirf mehr Bücher weg.
Das Sicherheitsnetz: Um nicht zu extrem vorzugehen, hat der Bibliothekar eine Regel: „Man darf die Schnittmenge nur um ein winziges Stück verändern (plus oder minus 5 %).“ Dies verhindert, dass man versehentlich ein lebenswichtiges Regal leert oder ein nutzloses Regal komplett voll lässt.

Die große Überraschung: Die „Gradienten“-Falle

Bevor sie sich für die „Lautstärke“ der Bücher entschieden, probierten die Forscher eine andere Idee aus. Sie dachten: „Vielleicht sollten wir auf die Gradienten schauen.“

In der Welt der KI sind „Gradienten“ wie eine Karte, die zeigt, wie man ein Buch minimal anpassen muss, um es etwas besser zu machen. Normalerweise ist dies eine sehr kluge Art zu entscheiden, was man behält.

Aber hier kommt der Schock: Als sie Gradienten verwendeten, um zu entscheiden, was sie wegschneiden sollten, brach die Bibliothek zusammen. Die Ergebnisse waren schlechter, als wenn sie einfach die Bücher zufällig weggeworfen hätten.

Warum? Die Autoren vermuten, dass Gradienten wie eine Karte für winzige, winzige Schritte sind. Aber Pruning ist wie ein riesiger, massiver Schritt (das Entfernen von 50 % der Bücher auf einmal). Eine Karte, die für winzige Schritte funktioniert, sagt einem nicht, was passiert, wenn man die Hälfte des Geländes entfernt. Es ist so, als wüsste man zwar, in welche Richtung ein Hügel abfällt, aber das sagt einem nicht, was passiert, wenn man die Hälfte des Berges planiert.

Die Ergebnisse

Bei älteren Modellen (LLaMA-2): Der „schlaue Bibliothekar“ (PALS) leistete fantastische Arbeit. Die Bibliothek wurde halb so groß, verstand Sprache aber immer noch fast so gut wie die Vollversion. Sie war viel intelligenter als die „Einheitsansatz“-Methode.
Bei neueren Modellen (Mistral, LLaMA-3): Half der „schlaue Bibliothekar“ nicht wirklich. Die Autoren glauben, das liegt daran, dass diese neueren Modelle so gut trainiert sind, dass jedes Regal bereits gleich wichtig ist. Es gibt kein „redundantes“ Regal, aus dem man mehr schneiden könnte, sodass die schlaue Strategie keinen Vorteil finden kann.

Das Fazit

PALS ist ein einfacher, kostengünstiger Trick, um KI-Modelle kleiner zu machen, ohne ihre Intelligenz zu verlieren. Es funktioniert, indem man darauf hört, welche Teile des Modells gerade „schreien“ (hohe Aktivität) und diese schützt, während man die leisen Teile stutzt.

Es lehrt uns auch eine wertvolle Lektion: Nur weil eine Methode (wie Gradienten) für kleine Anpassungen funktioniert, bedeutet das nicht, dass sie auch für große Schnitte geeignet ist. Manchmal ist das einfachste Signal (zu beobachten, wie aktiv ein Teil gerade ist) besser als die komplexeste Mathematik.

Technisches Resümee: PALS (Percentile-Aware Layerwise Sparsity)

Problemstellung

Große Sprachmodelle (LLMs) mit Milliarden von Parametern stellen während der Inferenz erhebliche Speicher- und Rechenlasten dar. Post-Training-Pruning bietet eine Lösung, indem ein Bruchteil der Gewichte entfernt wird, ohne ein erneutes Training durchzuführen. Herkömmliche One-Shot-Pruning-Methoden wie Wanda und SparseGPT erzwingen jedoch eine einheitliche Sparsity (Uniform Sparsity), indem sie das gleiche Pruning-Verhältnis (z. B. 50 %) auf jede Schicht eines Transformers anwenden.

Dieser Ansatz ignoriert die bekannten Variationen in der Wichtigkeit der Schichten. Transformer-Schichten weisen eine funktionale Heterogenität auf: Frühe Schichten bauen oft generische Repräsentationen auf, mittlere Schichten können redundant sein und späte Schichten spezialisieren sich auf das Output-Vokabular. Einheitliches Pruning scheitert daran, diese Unterschiede auszunutzen, indem es potenziell kritische Gewichte aus sensiblen Schichten entfernt, während es redundante Schichten übermäßig beschneidet, was zu suboptimaler Perplexität und Genauigkeit führt.

Methodik: PALS

Die Autoren schlagen PALS (Percentile-Aware Layerwise Sparsity) vor, eine Methode, die das Pruning-Verhältnis für jede Schicht basierend auf Aktivierungsstatistiken anpasst, die über einen kleinen Kalibrierungsdatensatz gesammelt wurden. PALS lässt sich mit vernachlässigbarem Overhead in die Wanda-Pipeline integrieren und erfordert kein Fine-Tuning.

Kernalgorithmus

Schichtwichtigkeit via Aktivierungs-Perzentilen:
Für jede Schicht $l$ werden Aktivierungen $A^{(l)}$ über einen Kalibrierungsdatensatz gesammelt. Anstatt den Mittelwert der Aktivierung zu verwenden (der kritische Signale herausmitteln würde), berechnet PALS das 99. Perzentil der absoluten Aktivierungsamplituden:
$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$
Diese Metrik zielt auf „Aktivierungs-Ausreißer“ ab – Merkmale mit Magnituden, die 10- bis 100-mal größer sind als der Rest –, welche vorangegangene Arbeiten (Dettmers et al.) als essenziell für die Modellqualität identifiziert haben.
Normalisierung und Allokation:
Die rohen Perzentil-Scores werden standardisiert ( $\hat{I}^{(l)}$ ), um sie über Schichten hinweg vergleichbar zu machen. Das pro Schicht bestimmte Sparsity-Ziel $s^{(l)}$ wird dann berechnet, indem das globale Ziel $s_{\text{target}}$ basierend auf der normalisierten Wichtigkeit verschoben wird:
$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$
- $\alpha$ (Adaptationsstärke): Steuert, wie stark die Sparsity vom Zielwert abweicht.
- Konservative Grenzen: Die Methode erzwingt ein Band von $\pm 5\,\%$ um das Ziel (z. B. bei einem 50-%-Ziel liegen die Schichten zwischen 45 % und 55 %). Dies verhindert „Informations-Engpässe“, bei denen stark beschnittene Schichten die Kapazität des gesamten Netzwerks beeinträchtigen.
Pruning-Ausführung:
Sobald $s^{(l)}$ für jede Schicht bestimmt wurde, werden Gewichte nach dem Wanda-Kriterium ( $|w| \cdot \text{mean}(|a|)$ ) bewertet und entfernt. Die untersten $s^{(l)} \times 100\,\%$ der Gewichte werden entfernt. Es finden keine Gewichtsaktualisierungen oder Fine-Tunings statt.

Kernergebnis: Versagen der gradientenbasierten Allokation

Die Autoren testeten einen scheinbar fundierteren Ansatz: die Verwendung von Gradientenmagnituden (oder ersten Ordnung Taylor-Entwicklungen), um die Sparsity zu allokieren. Dieser Ansatz versagte entscheidend und lieferte Perplexitätswerte (47,32), die signifikant schlechter waren als bei zufälliger Allokation (24,37) und einheitlichem Pruning (12,92). Die Autoren hypothetisieren, dass Gradienten die Optimierungsdynamik (lokale Konvergenz) widerspiegeln, anstatt die diskrete Auswirkung des Entfernens großer Anteile von Gewichten.

Experimentelle Ergebnisse

Primäre Ergebnisse (LLaMA-2-7B)

Bei LLaMA-2-7B mit 50 % unstrukturierter Sparsity:

Uniform Wanda: 12,92 WikiText-2 Perplexität.
PALS: 10,96 WikiText-2 Perplexität.
Signifikanz: Dies entspricht einer Verbesserung der Perplexität um 15,2 %. Das Ergebnis ist statistisch signifikant ( $p < 0,001$ ) über neun unabhängige Durchläufe.
Downstream-Aufgaben: PALS verbessert die Zero-Shot-Genauigkeit auf BoolQ, PIQA, HellaSwag und MMLU im Vergleich zu Wanda und behält 93,3 % der durchschnittlichen Genauigkeit des dichten Modells bei.

Architekturabhängigkeit

Die Vorteile von PALS sind nicht universell; sie hängen von der internen Schicht-Heterogenität des Modells ab:

LLaMA-3-8B: Marginaler Gewinn (10,48 vs. 10,45).
Mistral-7B: Kein Gewinn (6,31 für beide).
Interpretation: Neuere Modelle (LLaMA-3, Mistral) verteilen die Berechnung wahrscheinlich gleichmäßiger über die Schichten aufgrund größerer Trainingsdatensätze oder architektonischer Änderungen (z. B. Grouped-Query Attention), wodurch weniger Raum für eine nicht-uniforme Allokation bleibt.

Effizienz

Speicher: Reduziert die Modellgröße um 50 % (13,2 GB $\to$ 6,6 GB).
Durchsatz: Erreicht eine 1,41-fache Beschleunigung auf NVIDIA A100 GPUs unter Verwendung von Sparse-Matrix-Kerneln.
Overhead: Die PALS-Pipeline fügt dem Pruning-Prozess vernachlässigbare Zeit hinzu, da sie die von Wanda bereits gesammelten Aktivierungsdaten wiederverwendet.

Bedeutung und Ansprüche

Das Paper stellt drei primäre Ansprüche bezüglich seines Beitrags auf:

Leistungssteigerung durch Nicht-Uniformität: PALS zeigt, dass die Anpassung der Sparsity-Verhältnisse pro Schicht basierend auf Aktivierungs-Ausreißern signifikante Reduktionen der Perplexität in Modellen mit heterogener Schichtwichtigkeit (speziell LLaMA-2) bewirkt und das Standard-Uniform-Pruning-Baseline-Verfahren übertrifft.
Gradienten-Versagen beim One-Shot-Pruning: Das Paper dokumentiert ein markantes Versagensmuster, bei dem gradientenbasierte Wichtigkeitsmetriken, die in kleineren Netzwerken erfolgreich sind, Allokationen erzeugen, die für vortrainierte LLMs schlechter als zufällig sind. Dies deutet auf eine fundamentale Diskrepanz zwischen der Gradientenmagnitude und der Auswirkung diskreter Gewichtsentfernung im One-Shot-Setting hin.
Robustheit und Einfachheit: Die Methode erfordert kein Fine-Tuning, verursacht minimalen Rechenaufwand und stützt sich auf eine einfache statistische Heuristik (99. Perzentil), die mit dem bekannten Phänomen der Aktivierungs-Ausreißer in Transformern übereinstimmt.

Die Autoren bleiben bescheiden hinsichtlich der Universalität der Gewinne und merken an, dass die Wirksamkeit der Methode von der spezifischen Architektur und den Trainingsdynamiken des Zielmodells abhängt. Wenn die Schichten eines Modells gleichmäßig wichtig sind, bietet PALS keinen Vorteil gegenüber einheitlichem Pruning.