💬 NLP

Demystifying When Pruning Works via Representation Hierarchies

Die Studie erklärt, warum Netzwerk-Pruning bei nicht-generativen Aufgaben erfolgreich ist, aber bei der Textgenerierung scheitert, indem sie zeigt, dass zwar Embeddings und Logits robust gegenüber Pruning sind, die nichtlineare Umwandlung in Wahrscheinlichkeiten jedoch kleine Abweichungen verstärkt, die sich über die Zeit akkumulieren.

Ursprüngliche Autoren: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

Veröffentlicht 2026-03-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum schneidet ein "beschnittener" KI-Modell bei manchen Aufgaben gut ab und bei anderen katastrophal schlecht?

Stellen Sie sich ein großes Sprachmodell (wie ChatGPT) als eine hochmoderne Fabrik vor, die Texte produziert. Um diese Fabrik effizienter und billiger zu machen, versuchen Forscher, sie zu "beschneiden" (Pruning). Das bedeutet: Sie entfernen Teile der Maschine, die als weniger wichtig gelten – wie unnötige Förderbänder oder schwächere Arbeiter.

Das Problem, das die Autoren dieses Papers untersucht haben:

Wenn die Fabrik einfache Aufgaben erledigt (z. B. "Wähle die richtige Antwort aus A, B, C oder D" oder "Suche ein Dokument"), funktioniert die beschnittene Fabrik fast genauso gut wie die volle.
Wenn die Fabrik aber kreative Texte schreiben soll (z. B. "Schreibe eine Geschichte" oder "Löse ein Mathe-Problem Schritt für Schritt"), bricht die beschnittene Fabrik oft komplett zusammen. Sie produziert Unsinn, wiederholt sich oder hält mitten im Satz inne.

Warum ist das so? Die Autoren haben die Fabrik nicht nur von außen betrachtet, sondern in drei verschiedene Arbeitsbereiche zerlegt, um zu sehen, wo genau der Fehler entsteht.

Die drei Arbeitsbereiche der Fabrik

Stellen Sie sich den Prozess der Textproduktion wie einen Fluss vor, der durch drei verschiedene Landschaften fließt:

1. Der "Rohstoff-Bereich" (Embedding Space)

Hier werden die Eingabewörter in eine Art flüssigen Rohstoff umgewandelt.

Was passiert beim Beschneiden? Wenn man Teile der Maschine entfernt, wird der Rohstoff leicht verschmutzt. Aber er ist immer noch gut erkennbar.
Vergleich: Es ist, als würde man ein paar kleine Steine aus einem Fluss entfernen. Das Wasser wird etwas trüb, aber es fließt immer noch in die gleiche Richtung. Dieser Bereich ist sehr robust.

2. Der "Planungs-Bereich" (Logit Space)

Hier wird der Rohstoff in einen groben Entwurf oder eine Liste von Möglichkeiten umgewandelt.

Was passiert beim Beschneiden? Überraschenderweise wird der Rohstoff hier sogar noch klarer! Die Maschine glättet die kleinen Fehler, die im ersten Bereich entstanden sind.
Vergleich: Es ist wie ein erfahrener Chef, der einen leicht verschmierten Entwurf eines Mitarbeiters nimmt und ihn korrigiert, bevor er weitergegeben wird. Auch dieser Bereich bleibt stabil.

3. Der "Entscheidungs-Bereich" (Probability Space) – Die Katastrophe!

Hier wird der Entwurf in eine endgültige Entscheidung umgewandelt. Die Maschine muss sich für ein Wort entscheiden und gibt eine Wahrscheinlichkeit dafür aus (z. B. "Wahrscheinlichkeit für 'Hund' ist 90%, für 'Katze' 5%").

Was passiert beim Beschneiden? Hier passiert das Magische (und Schreckliche): Die kleine Verschmutzung aus den vorherigen Bereichen wird durch eine nichtlineare Vergrößerung (die Softmax-Funktion) massiv aufgebläht.
Vergleich: Stellen Sie sich vor, Sie haben einen kleinen Kratzer auf einer Linse. Wenn Sie durch diese Linse auf einen kleinen Punkt schauen (eine einfache Auswahl), sehen Sie ihn noch klar. Aber wenn Sie durch diese Linse auf eine riesige, komplexe Landschaft schauen (eine lange Geschichte), wird der kleine Kratzer zu einem riesigen Riss im Bild. Die Entscheidung wird chaotisch.

Warum scheitert die Fabrik beim Schreiben von Geschichten?

Hier kommt der entscheidende Unterschied zwischen den Aufgaben:

Szenario A: Die Multiple-Choice-Frage (Nicht-generativ)

Die Fabrik muss nur einmal entscheiden: "Ist die Antwort A oder B?"

Da die Entscheidung nur einmal getroffen wird und sich auf eine kleine Auswahl beschränkt, reicht der "Planungs-Bereich" (Logit) aus. Die kleine Verschmutzung im "Entscheidungs-Bereich" spielt keine große Rolle, weil sie sich nicht weiter ausbreiten kann.
Ergebnis: Die beschnittene Maschine schafft es.

Szenario B: Das Geschichtenschreiben (Generativ)

Die Fabrik muss Schritt für Schritt Wörter produzieren.

Der Domino-Effekt: Das erste Wort wird leicht falsch gewählt (wegen der aufgeblähten Verzerrung im Entscheidungs-Bereich).
Das Problem: Dieses falsche Wort wird nun als Input für den nächsten Schritt verwendet. Die Maschine schreibt also auf Basis eines bereits fehlerhaften Satzes weiter.
Die Spirale: Der Fehler häuft sich mit jedem neuen Wort an. Aus einem kleinen Kratzer wird nach 10 Schritten ein riesiger Riss, und nach 50 Schritten ist das Ergebnis unlesbar.
Ergebnis: Die beschnittene Maschine produziert Unsinn.

Die einfache Zusammenfassung

Die Forscher haben herausgefunden, dass das Beschneiden von KI-Modellen wie das Entfernen von Dämmen in einem Fluss ist:

Bei kurzen, statischen Aufgaben (wie Quizfragen) fließt das Wasser nur kurz durch das System. Die kleinen Störungen reichen nicht aus, um den Fluss zu stauen.
Bei langen, kreativen Aufgaben (wie Geschichten) muss das Wasser über eine sehr lange Strecke fließen. Die kleinen Störungen werden am Ende des Flusses (in der Wahrscheinlichkeitsentscheidung) massiv vergrößert und häufen sich mit jedem Schritt auf, bis der Fluss über die Ufer tritt und alles verwüstet.

Die Lehre für die Praxis:
Wenn Sie ein KI-Modell beschneiden wollen, um Speicherplatz zu sparen, ist das super für Aufgaben wie "Suchen", "Klassifizieren" oder "Quizzen". Aber seien Sie vorsichtig, wenn Sie das Modell für das Schreiben von langen Texten oder das Lösen komplexer Probleme nutzen wollen – dort führt das Beschneiden oft zum kompletten Zusammenbruch der Qualität.

1. Problemstellung

Netzwerk-Pruning (das Entfernen unwichtiger Parameter oder Architekturen) ist eine etablierte Methode zur Steigerung der Effizienz von Large Language Models (LLMs). Es besteht jedoch eine signifikante Diskrepanz in der Wirksamkeit dieser Methode:

Nicht-generative Aufgaben: Pruning funktioniert hier oft gut (z. B. bei Klassifizierung, Retrieval, Multiple-Choice-Fragen).
Generative Aufgaben: Pruning führt hier häufig zu einem katastrophalen Leistungsabfall (z. B. bei Textgenerierung, Code-Erstellung, Mathematik).

Bisherige Arbeiten konnten diesen Unterschied nicht vollständig erklären. Die Autoren fragen sich: Warum bleibt die Leistung bei Aufgaben, die nur auf einer einzelnen Vorhersage basieren, stabil, während sie bei autoregressiver Generierung (Schritt-für-Schritt-Generierung) zusammenbricht?

2. Methodik

Die Autoren analysieren das Pruning aus der Perspektive einer Repräsentations-Hierarchie. Sie zerlegen die interne Berechnung von Sprachmodellen in drei sequentielle Räume:

Embedding-Raum: Die versteckten Repräsentationen (Hidden States).
Logit-Raum: Die Ausgaben vor der Softmax-Funktion (Pre-Softmax).
Wahrscheinlichkeits-Raum: Die Verteilung nach der Softmax-Funktion (Post-Softmax).

Analyse-Ansätze:

Empirische Visualisierung: Messung der Ähnlichkeit (Cosine Similarity) und der Abweichung (KL-Divergenz) zwischen dem Originalmodell und dem gepressten Modell in diesen drei Räumen über verschiedene Schichten und Generierungsschritte hinweg.
Theoretische Analyse: Anwendung von Taylor-Entwicklungen zweiter Ordnung, um zu modellieren, wie sich Pruning-induzierte Störungen ( $\Delta$ ) durch die linearen Transformationen (LM Head) und die nichtlineare Softmax-Funktion propagieren und verstärken.
Experimente: Vergleich von verschiedenen Pruning-Strategien (Layer Dropping, Attention/MLP Drop, unstrukturiertes Pruning) auf Modellen wie Mistral, Llama und Qwen über Benchmarks für generative (HumanEval, GSM8K) und nicht-generative Aufgaben (MMLU, HellaSwag, Retrieval).

3. Schlüsselbeiträge und Erkenntnisse

A. Die Hierarchie der Stabilität

Die Analyse zeigt eine klare Hierarchie der Robustheit gegenüber Pruning:

Embedding-Raum: Bleibt weitgehend robust. Selbst bei Entfernung vieler Parameter zeigen die Hidden States nur geringe Abweichungen.
Logit-Raum: Die lineare Transformation vom Embedding- zum Logit-Raum (durch den LM Head) dämpft die Störungen weiter. Die Ähnlichkeit zwischen den Logits des Original- und Pruned-Modells ist oft sogar höher als im Embedding-Raum.
Wahrscheinlichkeits-Raum (Kritischer Punkt): Die nichtlineare Softmax-Transformation wirkt als Verstärker. Kleine Störungen in den Logits ( $\Delta z$ ) werden durch die Exponentialfunktion und die Normalisierung im Softmax massiv verstärkt, was zu großen Verschiebungen in der Wahrscheinlichkeitsverteilung ( $\Delta p$ ) führt.

B. Der Mechanismus des Versagens bei generativen Aufgaben

Nicht-generative Aufgaben: Diese basieren oft auf einem einzigen Entscheidungsschritt (z. B. Auswahl der besten Option A/B/C/D). Da die Störungen im Logit-Raum gering sind und die Aufgabe nur eine kleine Teilmenge des Vokabulars betrachtet, bleibt die Entscheidung stabil.
Generative Aufgaben: Hier entsteht ein Feedback-Loop.
1. Die Softmax-Verstärkung führt zu kleinen Fehlern im ersten Generierungsschritt.
2. Diese Fehler werden als Kontext für den nächsten Schritt verwendet (autoregressiv).
3. Durch die Abhängigkeit von vorherigen Schritten (insbesondere durch den Key-Value-Cache) akkumulieren und verstärken sich die Fehler über die Zeit.
4. Dies führt zu einem „Kollaps" der Generationsqualität innerhalb weniger Schritte (inkohärenter Text, Wiederholungen).

C. Theoretische Herleitung

Die Autoren leiten Formeln her, die zeigen:

Die Abweichung im Logit-Raum ist proportional zur orthogonalen Komponente der Störung ( $\|\Delta z_\perp\|^2$ ), die klein bleibt.
Die Abweichung im Wahrscheinlichkeits-Raum (gemessen durch KL-Divergenz oder $1 - \text{CosineSim}$ ) skaliert mit der Varianz der Logit-Störungen ( $\text{Var}(\Delta z)$ ) und wird durch die Temperatur $T$ beeinflusst. Da die Varianz in den tieferen Schichten groß ist, führt dies zu einer exponentiellen Zunahme der Verteilungsverschiebung.

4. Ergebnisse

Leistungsunterschiede: Tabellen und Grafiken belegen, dass Modelle nach dem Entfernen von 8 Layern (z. B. bei Mistral-7B) auf Multiple-Choice-Benchmarks (MMLU) oder Retrieval-Aufgaben (E5-Mistral) fast keine Einbußen zeigen, während sie bei Aufgaben wie GSM8K (Mathematik) oder HumanEval (Code) auf 0% Leistung fallen.
Visualisierung: Die Ähnlichkeit im Embedding- und Logit-Raum bleibt über 200 Generierungsschritte hoch (>0.8), während die Ähnlichkeit im Wahrscheinlichkeits-Raum rapide abfällt und die KL-Divergenz stark ansteigt.
Subraum-Robustheit: Bei Multiple-Choice-Aufgaben liegen die relevanten Kandidaten-Token oft im „Schwanz" der Verteilung, wo die Wahrscheinlichkeitsverschiebungen weniger dramatisch sind als bei den Top-Tokens, was die Stabilität erklärt.

5. Bedeutung und Implikationen

Entmystifizierung: Das Paper liefert eine fundierte Erklärung, warum Pruning nicht universell anwendbar ist. Es liegt nicht an der Dimensionalität der Ausgabe allein, sondern an der nichtlinearen Verstärkung durch Softmax in Kombination mit temporaler Fehlerpropagation.
Praktische Leitlinien:
- Pruning ist sicher für Aufgaben, die auf Embeddings oder Logits basieren (Klassifizierung, Retrieval).
- Pruning ist riskant für autoregressive Generierung, es sei denn, es werden spezielle Nachtrainings- oder Fine-Tuning-Verfahren eingesetzt (was in diesem Paper als zukünftige Arbeit markiert wird).
Theoretischer Beitrag: Die Arbeit bietet ein neues Framework zur Analyse von Kompressionseffekten, das über reine Parameterzählung hinausgeht und die Dynamik der Repräsentationsräume betrachtet. Dies hilft auch beim Verständnis von Quantisierungseffekten, da diese ähnliche Mechanismen aufweisen.

Fazit: Die Studie zeigt, dass die Stabilität von Sprachmodellen unter Pruning stark vom Aufgabenkontext abhängt. Während lineare Transformationen Störungen absorbieren, zerstört die nichtlineare Softmax-Funktion in Kombination mit autoregressiven Schleifen die Modellleistung bei Generierungsaufgaben, was eine sorgfältige, aufgabenbewusste Anwendung von Pruning erfordert.