💬 NLP

Two-Stage Regularization-Based Structured Pruning for LLMs

Die Arbeit stellt TRSP vor, eine zweistufige regularisierungsbasierte strukturierte Pruning-Methode für Large Language Models, die durch schrittweise Gewichtslearning und Wissensverschiebung in verbleibende Schichten eine effiziente Beschleunigung ohne nachträgliches Neutrainieren ermöglicht und dabei die Modellleistung besser erhält als direkte Parametereliminierung.

Ursprüngliche Autoren: Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein Large Language Model (LLM) wie ein riesiger, überfüllter Bibliothekskeller ist. Dieser Keller enthält das gesamte Wissen der Welt, aber er ist so groß, dass er kaum noch zu betreten ist – er braucht enorme Energie, viel Platz und ist sehr langsam, wenn man etwas darin sucht.

Das Problem: Um diesen Keller effizienter zu machen, wollen wir die weniger wichtigen Regale entfernen (das nennt man „Pruning" oder Beschneiden).

Das alte Problem:
Bisherige Methoden waren wie ein grober Spaten. Man schaute sich die Regale an, entschied: „Das hier ist unwichtig", und riss es einfach heraus. Das Problem dabei: Oft steckte in diesen „unwichtigen" Regalen noch verstecktes Wissen, das für den Gesamtzusammenhang wichtig war. Wenn man sie einfach wegriss, verlor das Modell viel von seiner Intelligenz. Um den Schaden zu reparieren, musste man den Keller wochenlang neu sortieren und einüben (das nennt man „Retraining" oder Nachtrainieren) – ein enormer Aufwand.

Die neue Lösung: TRSP (Der zweistufige Umzug)
Die Autoren dieses Papiers haben eine clevere Methode namens TRSP entwickelt. Statt einfach zu räumen, machen sie einen zweistufigen Umzug, bei dem das Wissen sicher von den zu entfernenden Regalen in die verbleibenden Regale übertragen wird, bevor das Entfernen stattfindet.

Hier ist die Analogie in zwei Schritten:

Schritt 1: Das „Gewicht" messen und lernen (Die erste Regularisierung)

Stell dir vor, jedes Regal im Keller hat einen kleinen Hebel, den man drehen kann.

Zuerst geben wir jedem Regal einen Hebel, der anfangs auf „100 % Aktivität" steht.
Dann lassen wir den Keller ein wenig durchlaufen (mit ein paar Beispielsätzen).
Währenddessen drehen wir die Hebel der Regale langsam herunter. Die Regale, die wirklich wichtig sind, behalten ihren Hebel hoch. Die weniger wichtigen Regale bekommen einen sehr niedrigen Hebel.
Der Trick: Wir tun dies nicht auf einmal, sondern schrittweise. Wir entfernen das Regal mit dem niedrigsten Hebel, passen den Rest an und schauen uns dann das nächste an. So lernen wir genau, welche Regale wirklich entbehrlich sind, ohne das gesamte System zu schockieren.

Schritt 2: Der „Wissens-Transfer" (Die zweite Regularisierung)

Jetzt kommen wir zum eigentlichen Geniestreich. Bevor wir die Regale mit den niedrigen Hebeln (die wir entfernen wollen) wirklich wegschmeißen, zwingen wir sie, ihr Wissen abzugeben.

Stell dir vor, ein Regal, das entfernt werden soll, ist wie ein Lehrer, der gerade im Ruhestand geht. Normalerweise würde er einfach gehen und sein Wissen mitnehmen.
Bei TRSP sagen wir zu diesem Lehrer: „Bevor du gehst, musst du sicherstellen, dass deine Schüler (die verbleibenden Regale) genau das Gleiche wissen wie du."
Wir zwingen das zu entfernende Regal, sich so zu verhalten, als würde es gar nichts tun (es soll den Input genau so wieder herausgeben, wie er reinkam).
Damit das Modell trotzdem funktioniert, muss es das fehlende Wissen der anderen Regale übernehmen. Das Wissen wandert also aktiv in die verbleibenden Regale.
Ergebnis: Wenn wir das Regal jetzt endlich entfernen, ist das Wissen schon sicher in den anderen Regalen gespeichert. Es geht nichts verloren.

Warum ist das so toll?

Kein Nachtrainieren nötig: Da das Wissen schon vor dem Entfernen sicher transferiert wurde, muss das Modell nicht mühsam neu lernen. Es ist sofort einsatzbereit. Das spart enorme Rechenzeit und Energie.
Schneller: Da wir ganze Regale (ganze Schichten des neuronalen Netzwerks) entfernen, wird das System deutlich schneller und benötigt weniger Speicher.
Robust: Selbst wenn wir sehr viele Regale entfernen (bis zu 60 %), bleibt die Intelligenz des Modells fast so gut wie beim Original.

Zusammenfassend:
Statt einen riesigen Bibliothekskeller einfach zu plündern und dabei Bücher zu verlieren, organisiert TRSP einen geordneten Umzug. Es sorgt dafür, dass alle wichtigen Informationen sicher in den verbleibenden Regalen landen, bevor die alten Regale abgebaut werden. Das Ergebnis ist ein schlanker, schneller und intelligenterer Keller, der ohne langwieriges Nachsortieren sofort funktioniert.

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) wird durch ihre enorme Parameteranzahl und den damit verbundenen hohen Rechenaufwand behindert. Strukturiertes Pruning (das Entfernen ganzer Schichten oder Kanäle) gilt als vielversprechende Lösung, um Modelle zu komprimieren.

Herausforderung: Bestehende layer-basierte Pruning-Methoden identifizieren unwichtige Schichten basierend auf Metriken, entfernen diese direkt und versuchen anschließend, den Leistungsabfall durch aufwendiges Nachtrainieren (Fine-Tuning) zu kompensieren.
Kernproblem: Selbst als „unwichtig" eingestufte Schichten enthalten oft wertvolles Wissen. Der direkte Entzug führt zu einem irreversiblen Wissensverlust, der eine massive Rechenlast für das Wiederherstellen der Leistung erfordert.

2. Methodik: TRSP (Two-Stage Regularization-Based Structured Pruning)

TRSP löst das Problem, indem es vor dem eigentlichen Entfernen von Schichten eine zweistufige Regularisierung durchführt, um das Wissen aus den zu entfernenden Schichten in die verbleibenden Schichten zu transferieren. Der Prozess läuft wie folgt ab:

A. Datenvorbereitung

Es wird eine sehr kleine Stichprobe (z. B. 128 Instanzen) aus Standard-Datensätzen (WikiText-2, Alpaca, etc.) verwendet, um den Overhead zu minimieren.

B. Stufe 1: Iteratives Lernen von Schichtgewichten

Jeder Transformer-Schicht wird ein initialisierbarer, lernbarer Skalierungsfaktor (Gewicht $S[i]$ ) zugewiesen.
Die Ausgabe jeder Schicht wird mit diesem Gewicht multipliziert.
Ein $L_1$ -Norm-Regularisierungsterm wird in die Verlustfunktion aufgenommen, um die Gewichte zu minimieren.
Strategie: Es wird ein gieriger (greedy) Ansatz gewählt. In jedem Iterationsschritt wird die Schicht mit dem kleinsten Gewicht identifiziert, maskiert und zur Pruning-Liste hinzugefügt. Dies geschieht iterativ, bis die gewünschte Anzahl an Schichten ausgewählt ist. Dies verhindert, dass zusammenhängende Schichten (die oft kritisch sind) gleichzeitig entfernt werden.

C. Stufe 2: Wissens-Transfer-Regularisierung

Sobald die zu entfernenden Schichten identifiziert sind, wird eine zweite Regularisierung auf diese spezifischen Schichten angewendet.
Ziel: Die Differenz zwischen Ein- und Ausgabe der zu entfernenden Schichten ( $X_{out} - X_{in}$ ) wird regularisiert (mittels $L_1$ - oder $L_2$ -Norm).
Wirkung: Dies zwingt die zu entfernenden Schichten dazu, sich der Identitätsfunktion ( $X_{out} \approx X_{in}$ ) anzunähern. Das bedeutet, sie speichern weniger spezifisches Wissen mehr. Das notwendige Wissen wird durch den Optimierungsprozess zwangsläufig in die verbleibenden Schichten verlagert, um die Gesamtverlustfunktion (Sprachmodellierung) niedrig zu halten.

D. Pruning

Nach Abschluss der Regularisierung werden die identifizierten Schichten physisch aus dem Modell entfernt. Ein Nachtrainieren (Retraining) ist nicht erforderlich.

3. Wichtige Beiträge

Wissenserhaltung: Durch die zweistufige Regularisierung wird der Wissensverlust minimiert, da das Wissen vor dem Entfernen der Schichten aktiv umverteilt wird.
Retraining-frei: Im Gegensatz zu vielen anderen Methoden benötigt TRSP kein aufwendiges Fine-Tuning nach dem Pruning, was den Rechenaufwand drastisch senkt.
Effizienz: Als layer-basierte Methode bietet TRSP eine signifikante End-to-End-Beschleunigung (Durchsatz und Latenz), da ganze Schichten entfernt werden.
Robustheit: Die Methode funktioniert über verschiedene Pruning-Raten (bis zu 60 %) und verschiedene Modelle hinweg stabil.

4. Ergebnisse

Die Autoren führten umfangreiche Experimente mit Modellen wie LLaMA-2/3, OPT und Phi-2 durch:

Leistungsvergleich: TRSP übertrifft starke Baselines (SLEB, ShortGPT, LaCo, Shortened LLaMA) deutlich in Generierungs- und Zero-Shot-Aufgaben.
- Beispiel LLaMA-2-7B: Bei 25 % Pruning-Rate liegt die Perplexity (PPL) von TRSP um 20 % niedriger als bei der zweitbesten Methode (ShortGPT). Die durchschnittliche Genauigkeit sinkt nur um ca. 1 % im Vergleich zum dichten Modell.
Beschleunigung:
- Bei OPT-13B (50 % Pruning) wurde ein Durchsatz-Boost von 75 % und eine Latenzreduktion von 46 % erreicht.
- Bei LLaMA-2-13B (50 % Pruning) wurde ein Durchsatz-Boost von 71 % erzielt.
Ressourceneffizienz: TRSP benötigt nur minimale Daten für die Regularisierung und kein Nachtrainieren, was den Gesamtkostenfaktor im Vergleich zu anderen Methoden stark reduziert.
Skalierbarkeit: Die Methode wurde auch auf Llama-2-70B erfolgreich getestet und zeigte dort ebenfalls die beste Leistung unter allen Pruning-Methoden.

5. Bedeutung und Fazit

TRSP stellt einen Paradigmenwechsel im strukturierten Pruning von LLMs dar. Anstatt Schichten einfach zu entfernen und die Schäden nachträglich zu reparieren, nutzt TRSP Regularisierung, um die Wissensverteilung im Modell vor dem Eingriff anzupassen.

Praktische Relevanz: Die Methode ermöglicht die effiziente Bereitstellung von LLMs auf ressourcenbeschränkter Hardware ohne den Bedarf an teuren Nachtrainingsphasen.
Theoretischer Insight: Die Arbeit zeigt, dass die Ähnlichkeit zwischen Ein- und Ausgabe von Schichten genutzt werden kann, um Wissen gezielt zu migrieren, bevor Schichten entfernt werden.

Zusammenfassend bietet TRSP eine robuste, kosteneffiziente und leistungsstarke Lösung für die Komprimierung von LLMs, die den Trade-off zwischen Modellgröße und Leistungsfähigkeit optimiert.