💻 computer science

LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

Das Papier stellt LEAP vor, eine lernbare end-to-end adaptive Pruning-Methode, die eine pro-Gewicht-Bernoulli-Via-Gumbel-Sigmoid-Relaxation nutzt, um ein handhabbares unstrukturiertes Sparsitätslernen in großen Sprachmodellen zu ermöglichen und dabei bei hohen Sparsitätsniveaus die bestehende Leistung von layerweisen Baselines in der Zero-Shot-Genauigkeit erheblich übertrifft.

Ursprüngliche Autoren: Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine massive, unglaublich intelligente Bibliothek (ein Large Language Model), die fast alles weiß. Doch diese Bibliothek ist so riesig, dass sie einen ganzen Lagerhallenblock einnimmt, ein riesiges Kraftwerk zum Betrieb benötigt und für die regelmäßige Nutzung auf einem normalen Computer viel zu langsam ist.

Um dies zu beheben, möchten Sie 50 % bis 60 % der Bücher (die „Gewichte" oder Verbindungen im Modell) wegwerfen, um sie kleiner und schneller zu machen. Das Ziel ist es, die Bibliothek genauso intelligent zu halten, auch wenn nur noch die Hälfte der Bücher vorhanden ist.

Hier kommt das Papier LEAP ins Spiel. Hier ist die Geschichte, wie sie das Problem lösten, einfach erklärt:

Das Problem: Die Falle der „zu vielen Möglichkeiten"

Lange Zeit versuchten Wissenschaftler, Bücher mit zwei Hauptstrategien herauszufiltern:

Der „Schicht-für-Schicht"-Ansatz (Der alte Weg): Stellen Sie sich einen Bibliothekar vor, der sich ein Regal nach dem anderen ansieht und entscheidet: „Dieses Buch sieht nutzlos aus, werfen Sie es weg." Sie tun dies für jedes Regal, ohne mit den anderen Regalen zu sprechen.
- Der Fehler: Manchmal sieht ein Buch auf seinem eigenen Regal nutzlos aus, ist aber tatsächlich entscheidend für eine Geschichte, die sich über die gesamte Bibliothek erstreckt. Indem man die Regale isoliert betrachtet, wirft diese Methode versehentlich wichtige Verbindungen weg und macht die Bibliothek weniger intelligent.
Der „Muster"-Ansatz (Der neuere, defekte Weg): Kürzlich versuchten einige Forscher, die gesamte Bibliothek auf einmal zu betrachten. Sie sagten: „Lassen Sie uns genau lernen, welche Bücher wir behalten sollen." Doch sie versuchten dies, indem sie Bücher in kleine Gruppen einteilten (wie jeweils 4 Bücher) und fragten: „Welches Muster dieser 4 sollten wir behalten?"
- Der Fehler: Dies funktioniert großartig für kleine Gruppen. Aber wenn Sie dies für eine ganze Reihe von 4.000 Büchern versuchen (was moderne KI-Modelle haben), wird die Anzahl der möglichen „Muster" zu einer Zahl, die so riesig ist, dass sie nicht einmal aufgeschrieben werden kann. Es ist, als würde man versuchen, jede mögliche Kombination von Lottozahlen für eine Milliarde Lose aufzulisten. Der Computer erstickt; die Mathematik bricht zusammen.

Die Lösung: LEAP (Das „Einzelstimmen"-System)

Die Autoren dieses Papiers, LEAP, erkannten, dass sie einen neuen Weg benötigten, um abzustimmen, welche Bücher behalten werden sollen, ohne von der Matherei überwältigt zu werden.

Anstatt zu fragen: „Welches Gruppenmuster behalten wir?" (was für riesige Gruppen unmöglich ist), stellten sie eine viel einfachere Frage für jedes einzelne Buch: „Soll dieses spezifische Buch bleiben oder gehen?"

Die Analogie: Stellen Sie sich eine massive Wahl vor, bei der jeder einzelne Wähler (jedes Gewicht im Modell) einen kleinen Stimmzettel erhält. Anstatt für eine komplexe „Teamstrategie" zu stimmen, stimmen sie einfach mit „Ja" (behalten) oder „Nein" (verwerfen).
Der Zaubertrick: Um dies zu ermöglichen, verwendeten sie einen mathematischen Trick (genannt „Gumbel-sigmoid"), der es dem Computer erlaubt, die Stimmen zunächst glatt zu „raten" und diese Raten dann langsam härter und schärfer zu machen, bis jede Stimme eine klare „Ja" oder „Nein" ist.

Wie sie es taten (Das Rezept)

Sie fingen nicht bei Null an. Sie verwendeten einen intelligenten Ausgangspunkt:

Der Warmstart: Sie verwendeten zunächst eine schnelle, einfache Methode (genannt Wanda), um eine grobe Vorstellung davon zu bekommen, welche Bücher wahrscheinlich nutzlos waren. Sie nutzten dies als „Vorsprung", damit der Computer nicht blind raten musste.
Das Training: Sie ließen den Computer die beste Menge an Stimmen „lernen", indem er einen kleinen Textabschnitt (einen Kalibrierungsstrom) las und die „Ja/Nein"-Stimmen anpasste, um die Intelligenz der Bibliothek hoch zu halten.
Einfrieren der Bücher: Entscheidend war, dass sie die Wörter innerhalb der Bücher (die Modellgewichte) nicht veränderten. Sie änderten nur die Entscheidung, welche Bücher behalten werden sollen. Dies bewahrt die ursprüngliche „Persönlichkeit" und das Wissen der Bibliothek, nur in einem kleineren Paket.

Die Ergebnisse: Intelligenter, schneller, schlanker

Sie testeten dies an fünf verschiedenen berühmten KI-Modellen (von klein bis sehr groß) und reduzierten sie um 50 % und 60 %.

Die Wertung: Sie verglichen LEAP mit den besten bestehenden Methoden.
Der Sieg: LEAP war durchweg besser. Im Durchschnitt verbesserte es die Genauigkeit des Modells um 2,59 Punkte gegenüber der vorherigen besten Methode. In einigen Fällen betrug die Verbesserung bis zu 5,40 Punkte.
Die Geschwindigkeit: Da sie das Modell auf eine Weise schnitten, die perfekt zu neuen, schnellen Computerchips (GPUs) passt, die genau für diesen Job entwickelt wurden, läuft das resultierende Modell viel schneller, ohne seine Intelligenz zu verlieren.

Warum das wichtig ist

Bevor dies geschah, mussten Sie, wenn Sie ein riesiges KI-Modell kleiner und schneller machen wollten, wählen zwischen:

Option A: Es genau, aber riesig und langsam halten.
Option B: Es klein und schnell machen, aber dumm.

LEAP zeigt, dass Sie Ihren Kuchen haben und essen können. Es bietet einen praktischen Weg, diese massiven KI-Gehirne um die Hälfte zu verkleinern, sie genauso intelligent zu halten, damit sie auf normalen Computern laufen können, anstatt einen Supercomputer zu benötigen.

Kurz gesagt: LEAP ist eine neue, intelligentere Art, ein riesiges KI-Modell zu bearbeiten, indem jeder einzelne Verbindungspunkt darüber abstimmt, ob er bleiben soll, was zu einer kleineren, schnelleren und dennoch sehr intelligenten KI führt.

Technischer Zusammenfassung: LEAP: Lernbare End-to-End Adaptive Pruning von Large Language Models

Problemstellung
Der Einsatz von Large Language Models (LLMs) wird zunehmend durch Speicher- und Rechenbeschränkungen behindert. Während Gewichts-Sparsity eine Lösung bietet, ist das Landschaftsspektrum in strukturierte, halbstrukturierte (z. B. 2:4) und unstrukturierte Regime unterteilt. Jüngste Fortschritte bei GPU-Kernen (z. B. FlashLLM, SpInfer) und Datenfluss-Hardware haben die Engpassstelle von der Ausführung unstrukturierter Sparsity zur Induktion dieser mit minimalem Genauigkeitsverlust verschoben.

Aktuelle State-of-the-Art-Methoden für unstrukturiertes Pruning, wie Wanda, SparseGPT, Thanos und ADMM, verlassen sich auf schichtweise Surrogate, die vom Optimal Brain Surgeon (OBS)-Prinzip abgeleitet sind. Diese Methoden minimieren lokale Rekonstruktionsfehler statt des End-to-End-Modellverlusts. Folglich akkumulieren sie lokale Fehler, die sich in tiefen Netzwerken kumulieren und zu einer signifikanten Genauigkeitsdegradation führen, insbesondere unter aggressiver Sparsity (50–60 %).

Im Gegensatz dazu optimieren End-to-End-lernbare Maskenmethoden wie MaskLLM und PATCH Masken erfolgreich direkt gegen den Sprachmodellierungsverlust, sind jedoch auf halbstrukturierte Muster beschränkt. Ihre Parametrisierung basiert auf einer kategorischen Verteilung über gültige Muster innerhalb einer Gruppe. Während dies für kleine Gruppen handhabbar ist (z. B. $\binom{4}{2}=6$ Muster für 2:4-Sparsity), wird dieser Ansatz für unstrukturierte Sparsity kombinatorisch unlösbar. Für eine Zeile der Breite $d=4096$ bei 50 % Sparsity beträgt die Anzahl der gültigen Masken $\binom{4096}{2048} \approx 10^{1229}$ , was die Speicherung und Indizierung von Muster-Logits unmöglich macht.

Methodik: LEAP
Die Autoren stellen LEAP (Learnable End-to-End Adaptive Pruning) vor, ein Framework, das das End-to-End-Lernen unstrukturierter Masken handhabbar macht, indem die unlösbare Parametrisierung über Kategorien von Mustern durch einen gewichtsweisen Ansatz ersetzt wird.

Gewichtsweise Bernoulli-Relaxation: Anstatt jedem gültigen Muster ein Logit zuzuweisen, weist LEAP jedem einzelnen Gewicht ein lernbares Logit zu. Für eine Gewichtsmatrix $W \in \mathbb{R}^{m \times n}$ wird eine parallele Logit-Matrix $P \in \mathbb{R}^{m \times n}$ eingeführt. Die stochastische Maske $M$ wird über die Gumbel-Sigmoid-Relaxation generiert:
$M = \sigma\left(\frac{\alpha P + g}{\tau}\right)$
wobei $g$ Gumbel-Rauschen ist, $\sigma$ die Sigmoid-Funktion, $\alpha$ ein Skalierungsfaktor und $\tau$ ein Temperaturparameter. Diese Formulierung skaliert linear mit der Anzahl der Gewichte ($O(mn)$) statt mit der Anzahl der gültigen Muster.
Optimierungsstrategie:
- Eingefrorene Gewichte: Die vortrainierten Gewichte $W$ bleiben eingefroren. Nur die Masken-Logits $P$ werden trainiert. Dies erhält die Kalibrierung des vortrainierten Modells und vereinfacht den Einsatz.
- Initialisierung: $P$ wird mit einer One-Shot-Wanda-Maske initialisiert (ausgewählte Einträge auf $+s$ und andere auf $-s$ gesetzt), um einen vernünftigen Startpunkt zu bieten und Cold-Start-Probleme zu vermeiden.
- Zeitpläne: Ein Skalierungszeitplan ( $\alpha$ ) wird hochgefahren, um die Sigmoid-Funktion in Richtung binärer Werte zu drücken, während ein Temperaturzeitplan ( $\tau$ ) abfällt, um die Maske zu schärfen.
- Verlustfunktion: Das Ziel kombiniert den Sprachmodellierungsverlust auf einem Kalibrierungsstrom mit zwei Regularisierungstermen:
  1. Globaler Sparsity-Regularisierer: Erzwingt die Ziel-Dichte global über alle Schichten hinweg und ermöglicht es einzelnen Schichten, ihre Dichte basierend auf der End-to-End-Wichtigkeit anzupassen.
  2. Magnitude-bewusster Term: Lenkt die Optimierung darauf aus, Gewichte mit höherer Magnitude zu behalten, um degenerierte Minima zu verhindern, bei denen kritische Gewichte verworfen werden.
Trainings-Effizienz: Die Methode trainiert für etwa 2.000 Iterationen auf einem kleinen Kalibrierungsstrom aus allgemeinen Texten (SlimPajama).

Hauptbeiträge

Identifikation kombinatorischer Hindernisse: Die Arbeit identifiziert formal, dass kategorische Parametrisierungen über Muster (verwendet von MaskLLM/PATCH) aufgrund des exponentiellen Wachstums gültiger Muster nicht auf unstrukturierte Sparsity skalieren können.
Handhabbare Reformulierung: Die Autoren schlagen eine gewichtsweise Bernoulli-über-Gumbel-Sigmoid-Reformulierung vor, die End-to-End-differenzierbares Lernen für unstrukturierte Masken im LLM-Maßstab ermöglicht.
LEAP-Framework: Ein leichtgewichtiges Pruning-Framework, das auf eingefrorenen Gewichten operiert und nur einen kleinen Kalibrierungsdatensatz sowie etwa 2.000 Trainingsschritte erfordert.
Empirische Validierung: Umfassende Evaluierung über fünf LLM-Familien (Qwen-2.5, Gemma-3, LLaMA-3.2, LLaMA-3.1) im Bereich von 0,5 bis 8 Milliarden Parametern bei 50 % und 60 % Sparsity.

Ergebnisse
LEAP wurde gegen schichtweise Baselines (Wanda, SparseGPT, Thanos, ADMM) und die halbstrukturierte lernbare Baseline MaskLLM evaluiert.

Genauigkeitsgewinne: Über zehn (Modell, Sparsity)-Einstellungen hinweg verbesserte LEAP die durchschnittliche Zero-Shot-Genauigkeit über sechs Aufgaben um +2,59 Punkte gegenüber ADMM, der besten schichtweisen Baseline.
Spezifische Verbesserungen: Der größte Gewinn betrug +5,40 Punkte bei LLaMA-3.2 1B bei 60 % Sparsity (50,39 vs. 44,99).
Perplexität: LEAP erreichte konsistent eine niedrigere Perplexität (PPL) als die Baselines. Zum Beispiel erreichte LEAP bei LLaMA-3.1 8B bei 50 % Sparsity eine PPL von 7,66 im Vergleich zu 9,12 bei ADMM.
Sparsity-Allokation: Experimente zeigten, dass LEAP unter End-to-End-Optimierung mit einem globalen Budget zu einer nahezu einheitlichen Dichte-Allokation pro Block konvergiert, im Gegensatz zu den ungleichmäßigen Variationen, die bei halbstrukturierten Methoden zu sehen sind.
Rechenkosten: Obwohl teurer als One-Shot-Methoden (Stunden auf H100s statt Minuten), ist LEAP deutlich günstiger als MaskLLM (z. B. 276 GPU-Stunden für LLaMA-3.1 8B gegenüber Tausenden von A100-Stunden für MaskLLM auf vergleichbaren Skalen).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass LEAP das fundamentale Hindernis löst, das End-to-End-Maskenlernen in unstrukturierter Sparsity verhindert. Durch die Entkopplung des Maskenlernens von Gewichts-Updates bietet es einen praktischen Weg zur Komprimierung von Foundation-Modellen, ohne die Kalibrierung vortrainierter Gewichte zu opfern.

Die Autoren betonen, dass LEAP Masken im unstrukturierten Regime von 50 %–60 % erzeugt, die direkt mit bestehenden beschleunigten Kernen kompatibel sind (z. B. FlashLLM, SpInfer, MACKO). Die Bedeutung liegt nicht in der Schaffung neuer Inferenz-Kerne, sondern in der Ermöglichung des Einsatzes dieser Kerne auf hochwertigen, gepressten Modellen, die zuvor durch schichtweise Methoden nicht erreichbar waren. Die Arbeit legt nahe, dass unstrukturierte Sparsity, wenn sie durch End-to-End-Lernen induziert wird, einen vorteilhaften Kompromiss zwischen Komprimierung und Genauigkeit für den Einsatz auf handelsüblicher Hardware bieten kann.

Limitationen und Umfang

Eingefrorene Gewichte: Der aktuelle Umfang hält die Gewichte eingefroren. Während eine gemeinsame Optimierung von Gewichten und Masken als natürliche Erweiterung genannt wird, ist sie in dieser Arbeit nicht implementiert.
Einheitliche Allokation: Die Beobachtung einer einheitlichen Dichte pro Block wird als regimespezifischer Befund für die untersuchten Modelle und Sparsity-Level präsentiert, nicht als allgemeine Regel gegen ungleichmäßige Allokation.
Sicherheit: Die Autoren warnen, dass komprimierte Modelle bei Long-Tail-Eingaben unterschiedliche Fehlermodi aufweisen können, und empfehlen eine Neubewertung für sicherheitskritische Einsätze.