🤖 machine learning

MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on LLMs

MaskPro führt ein neuartiges probabilistisches Framework mit linearem Speicherbedarf ein, das kategoriale Verteilungen lernt, um (N:M)-Sparsity in großen Sprachmodellen effizient durch N-faches Stichprobenziehen ohne Zurücklegen zu erzeugen, wobei ein gleitender Durchschnitt von Verlustresiduen zur Stabilisierung des Trainings eingesetzt wird und im Vergleich zu bestehenden gierigen oder gradientengetriebenen Methoden eine überlegene Speichereffizienz und Robustheit erreicht wird.

Ursprüngliche Autoren: Yan Sun, Qixin Zhang, Zhiyuan Yu, Xikun Zhang, Li Shen, Dacheng Tao

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yan Sun, Qixin Zhang, Zhiyuan Yu, Xikun Zhang, Li Shen, Dacheng Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek (ein Large Language Model) mit Milliarden von Büchern (Parametern). Um diese Bibliothek leichter tragbar und schneller lesbar zu machen, möchten Sie einige Bücher wegwerfen. Sie können jedoch nicht einfach zufällige Bücher wegwerfen; Sie müssen eine strenge Regel befolgen: Für jede Gruppe von 4 Büchern auf einem Regal müssen Sie genau 2 behalten und die anderen 2 wegwerfen. Dies ist das, was die Arbeit als (N:M)-Sparsamkeit (speziell 2:4) bezeichnet.

Die Herausforderung besteht darin, herauszufinden, welche 2 Bücher in jeder einzelnen Gruppe von 4 zu behalten sind, um sicherzustellen, dass die Bibliothek weiterhin die besten Geschichten erzählt. Wenn Sie die falschen auswählen, verliert die Bibliothek ihren Sinn.

So löst die Arbeit MaskPro dieses Problem unter Verwendung einfacher Analogien:

1. Das Problem: Der Albtraum „Zu viele Möglichkeiten"

Es gibt zwei Hauptmethoden, mit denen Menschen dies zuvor versucht haben, und beide haben große Mängel:

Die „Regelbuch"-Methode: Dieser Ansatz verwendet einfache mathematische Regeln (wie „Behalte die schwersten Bücher"), um zu raten, welche zu behalten sind. Er ist schnell, aber oft falsch, da er nicht das Gesamtbild betrachtet. Es ist, als würde man versuchen, die besten Teamspieler nur anhand ihrer Körpergröße auszuwählen und ihre tatsächlichen Fähigkeiten zu ignorieren.
Die „Versuch-und-Irrtum"-Methode: Dieser Ansatz versucht, die beste Kombination zu lernen, indem er Millionen von Möglichkeiten testet. Das Problem? Die Anzahl der Kombinationen ist so riesig (wie der Versuch, ein bestimmtes Sandkorn in einer Wüste zu finden), dass der Computer den Speicher erschöpft und abstürzt. Es ist, als würde man versuchen, jede mögliche Kombination eines 100-stelligen Schlosses auswendig zu lernen; es erfordert zu viel Gehirnleistung.

2. Die Lösung: MaskPro (Die „intelligente Lotterie")

Die Autoren schlagen MaskPro vor, eine neue Möglichkeit zu lernen, welche Bücher zu behalten sind, ohne den Speicher zu erschöpfen oder schlechte Vermutungen anzustellen.

Der Trick „Linearer Raum" (Vereinfachung der Karte)
Anstatt zu versuchen, die Wahrscheinlichkeit jeder einzelnen möglichen Kombination von Büchern auswendig zu lernen (was unmöglich ist), erstellt MaskPro ein einfaches „Lotterielos" für jede Gruppe von 4 Büchern.

Alter Weg: Stellen Sie sich eine Lotterie mit Milliarden von Losen vor, eines für jede mögliche Art, 2 Bücher aus 4 auszuwählen. Sie benötigen ein Lagerhaus, um all diese Lose zu speichern.
MaskPro-Weg: Stattdessen haben Sie nur 4 kleine Boxen (eine für jedes Buch). Sie legen ein Los in jede Box, das besagt: „Wie wahrscheinlich ist es, dass dieses Buch ausgewählt wird?" Sie führen dann eine spezielle Lotterie durch, bei der Sie 2 Gewinner aus diesen 4 Boxen auswählen und sicherstellen, dass Sie nicht dasselbe Buch zweimal auswählen.
Das Ergebnis: Dies reduziert den benötigten Speicher von einem „Lagerhaus" auf einen „Rucksack". Es skaliert linear, was bedeutet, dass selbst wenn die Bibliothek riesig wird, Ihr Rucksack nicht schwerer wird.

Der „Glättungs-Tracker" (Der Trainer mit Gedächtnis)
Wenn man einem Computer beibringt, die richtigen Bücher auszuwählen, zeigt man ihm Beispiele (Daten). Manchmal sieht ein „schlechtes" Set von Büchern nur deshalb gut aus, weil das Beispiel einfach war, und ein „gutes" Set sieht schlecht aus, weil das Beispiel schwer war. Dies verwirrt den Computer.

Das Problem: Wenn der Computer ein „schlechtes" Set von Büchern auf einem einfachen Test gut performen sieht, denkt er vielleicht: „Toll! Ich werde das weiter so machen!", obwohl es nur ein Zufallstreffer ist.
Die Lösung: MaskPro führt einen „Trainer mit Gedächtnis" (einen gleitenden Durchschnitts-Tracker) ein. Anstatt nur die Punktzahl des aktuellen Tests zu betrachten, betrachtet der Trainer die Differenz zwischen der aktuellen Punktzahl und der Durchschnittspunktzahl der letzten paar Tests.
Die Analogie: Stellen Sie sich einen Schüler vor, der einen Test schreibt. Wenn er eine perfekte Punktzahl erzielt, fragt der Trainer: „War dieser Test einfach? Haben Sie normalerweise so hohe Punktzahlen?" Wenn der Schüler normalerweise 80 % erreicht und plötzlich 100 % auf einem super leichten Test erzielt, sagt der Trainer: „Das ist keine echte Verbesserung; ändern wir Ihre Lerngewohnheiten noch nicht." Dies verhindert, dass der Computer durch zufälliges Glück verwirrt wird, und hält das Training stabil.

3. Die Ergebnisse: Schnell, günstig und zuverlässig

Die Arbeit behauptet, dass MaskPro aus drei Gründen ein Wendepunkt ist:

Speichereffizient: Es passt auf Standardcomputer, auf denen andere Methoden abstürzen. Es ist, als würde man ein Zelt packen, das in eine Tasche passt, anstatt eines, das einen Lkw benötigt.
Dateneffizient: Sie benötigen keine riesige Bibliothek von Trainingsdaten, um es zu unterrichten. Die Arbeit zeigt, dass es effektiv lernen kann, selbst mit nur einem einzigen Beispiel (obwohl mehr besser ist). Es ist, als würde ein Koch ein neues Rezept lernen, nachdem er es einmal probiert hat, anstatt es tausendmal probieren zu müssen.
Leistung: Es hält das Modell intelligent. Als sie es an berühmten KI-Modellen (wie LLaMA und Gemma) testeten, behielt MaskPro die Intelligenz des Modells viel besser als die alten „Regelbuch"-Methoden und performte fast so gut wie die teuren „Versuch-und-Irrtum"-Methoden, jedoch ohne die Kosten.

Zusammenfassung

MaskPro ist ein neues Werkzeug, das hilft, riesige KI-Modelle zu verkleinern, indem es ihnen beibringt, welche Teile herausgeschnitten werden sollen. Dies erreicht es durch:

Vereinfachung der Mathematik, sodass kein Supercomputer benötigt wird, um die Entscheidungen zu merken.
Verwendung eines „intelligenten Trainers", um zufälliges Glück zu ignorieren und sich auf echte Verbesserungen zu konzentrieren.
Arbeit mit sehr wenigen Daten, was es praktisch und günstig in der Anwendung macht.

Die Autoren haben ihren Code verfügbar gemacht, damit andere ihn ausprobieren können, und beweisen, dass man KI-Modelle kleiner und schneller machen kann, ohne ihre Intelligenz zu verlieren.

Technischer Zusammenfassung: MaskPro – Probabilistisches Lernen im linearen Raum für strikte (N:M)-Sparsity auf LLMs

Problemstellung
Das rasante Skalieren von Large Language Models (LLMs) hat zu einem erheblichen Engpass in der Inferenzeffizienz geführt, der effektive Komprimierungstechniken erforderlich macht. Semi-strukturierte Sparsity, insbesondere das (N:M)-Muster, bei dem $N$ Elemente aus jeweils $M$ aufeinanderfolgenden Gewichten beibehalten werden, bietet eine hardwarefreundliche Lösung für Beschleunigung und Speicherreduktion. Die Identifizierung der optimalen (N:M)-Maske stellt jedoch ein gewaltiges kombinatorisches Optimierungsproblem dar. Bestehende Ansätze fallen in zwei Kategorien mit unterschiedlichen Einschränkungen:

Regelbasierte Methoden: Diese verwenden gierige, schichtweise Suchen mit handgefertigten Metriken (z. B. Minimierung des schichtweisen Rekonstruktionsfehlers). Obwohl sie rechnerisch günstig sind, leiden sie unter inhärenten Verzerrungen und erheblichen Lücken zur End-to-End-Leistung bei Aufgaben.
Lernbasierte Methoden (z. B. MaskLLM): Diese optimieren Masken direkt mittels Gradientenabstieg auf einem Generationsverlust. Obwohl sie effektiv sind, verursachen sie prohibitiv hohe Trainingskosten. Insbesondere erfordert MaskLLM die Speicherung von Logits für alle möglichen Masken innerhalb einer Gruppe von $M$ Gewichten, was zu einer Speicherkomplexität von $O(\binom{M}{N} \frac{d}{M})$ führt. Für große $M$ skaliert dies exponentiell, was es für große Modelle unpraktikabel macht. Darüber hinaus induziert der riesige kombinatorische Raum eine hohe Varianz in den Policy-Gradienten, was zu Trainingsinstabilität führt.

Methodik: MaskPro
Die Autoren schlagen MaskPro vor, ein neuartiges probabilistisches Framework im linearen Raum, das entwickelt wurde, um (N:M)-Sparsity effizient und stabil zu lernen.

Probabilistische Relaxierung im linearen Raum:
Anstatt eine kategorische Verteilung über alle $\binom{M}{N}$ möglichen Masken für eine Gruppe von $M$ Gewichten zu definieren, reformuliert MaskPro das Problem. Es etabliert eine kategorische Verteilung über die $M$ einzelnen Elemente innerhalb jeder Gruppe. Die (N:M)-Maske wird dann durch eine N-fache Stichprobe ohne Zurücklegen aus dieser Verteilung generiert.
- Theoretische Basis: Die Autoren beweisen, dass jede (N:M)-Maske als probabilistische Summe von $N$ verschiedenen Basisvektoren dargestellt werden kann.
- Speichereffizienz: Diese Reformulierung reduziert die Anzahl der lernbaren Parameter (Logits) von $O(\binom{M}{N} \frac{d}{M})$ auf einen linearen Wert von $O(d)$ , wobei $d$ die Gesamtzahl der Gewichte ist. Dies eliminiert die mit früheren lernbasierten Methoden verbundene Speicherexplosion.
Verfeinerter Policy-Gradient-Schätzer (PGE):
Um die Logits zu optimieren, nutzt MaskPro Policy-Gradienten. Die Autoren identifizieren, dass Standard-Policy-Gradienten, die rohe Verlustwerte verwenden, bei LLMs aufgrund der hohen Varianz instabil sind, die durch Minibatch-Unterschiede verursacht wird (wobei die Verlustvariation durch Datenstichproben oft die Verlustvariation durch Maskenstichproben weit übertrifft).
- Verlustresiduen: Anstatt den rohen Verlust $f(m \odot w, \xi)$ zu verwenden, aktualisiert MaskPro die Logits basierend auf dem Verlustresiduum relativ zu einer initialen Baseline-Maske $m_0$ : $f(m \odot w, \xi) - f(m_0 \odot w, \xi)$ . Dies isoliert den Einfluss der Maskenänderung.
- Moving-Average-Tracker: Um das Training weiter zu stabilisieren und numerische Explosionen zu verhindern, wird ein Moving-Average-Tracker $\delta$ eingeführt, um die Baseline zu glätten. Die Update-Regel lautet:
  $\pi_{t+1} = \pi_t - \eta (f(m_t \odot w, \xi) - f(m_0 \odot w, \xi) - \delta) \nabla \log p(m_t|\pi_t)$
- Theoretische Garantien: Die Arbeit liefert Beweise, die zeigen, dass diese verfeinerten Schätzer unverzerrte Schätzer des wahren Policy-Gradienten bleiben. Ferner ist unter der Bedingung, dass der Verlust der stichprobenartig gezogenen Maske weniger als das Doppelte des Baseline-Verlusts beträgt (eine Bedingung, die in der Praxis leicht erfüllt wird), die Varianz des verfeinerten Schätzers strikt niedriger als die des herkömmlichen Policy-Gradienten.

Hauptbeiträge

Framework im linearen Raum: MaskPro reduziert den Speicherbedarf für das Lernen von (N:M)-Sparsity von exponentiell $O(\binom{M}{N} \frac{d}{M})$ auf linear $O(d)$ , indem der Auswahlprozess als N-fache Stichprobe ohne Zurücklegen aus einer kategorischen Verteilung über $M$ Elemente modelliert wird.
Verbesserter Policy-Gradient: Die Autoren führen einen Varianz-reduzierten Update-Mechanismus unter Verwendung von Verlustresiduen und einem Moving-Average-Tracker ein, um die durch die hohe Varianz von Policy-Gradienten in großen kombinatorischen Räumen verursachte Trainingsinstabilität zu adressieren.
Theoretische Analyse: Umfassende Beweise werden bezüglich der Unverzerrtheit der Schätzer und der Varianzreduktionseigenschaften der vorgeschlagenen Update-Regeln bereitgestellt.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden an mehreren LLMs (Gemma-7B, Vicuna-7B, LLaMA-2-7B, DeepSeek-7B) über verschiedene Downstream-Aufgaben (z. B. HellaSwag, RACE, PIQA) und Sparsity-Muster ((2:4), (4:8), (8:16)) durchgeführt.

Leistung: MaskPro übertrifft konsistent die fortschrittlichsten regelbasierten Methoden (SparseGPT, Wanda, Pruner-Zero) und erreicht eine Leistung, die der speicherintensiven MaskLLM vergleichbar ist, oft mit einer durchschnittlichen Verbesserung von über 2 % in der Genauigkeit.
Speicher-Skalierbarkeit: Während MaskLLM bei (4:8)-Sparsity auf 7B-Modellen auf 8x A100 GPUs zu Out-of-Memory (OOM)-Fehlern führt, behält MaskPro eine stabile Speichernutzung (~36–37 GB) unabhängig vom Sparsity-Muster bei.
Dateneffizienz: MaskPro zeigt eine bemerkenswerte Robustheit gegenüber dem Datenvolumen. Es erreicht stabile Leistung, selbst wenn es nur mit einem einzigen Datenbeispiel trainiert wird, wohingegen MaskLLM Hunderttausende von Stichproben benötigt, um zu konvergieren.
Trainingseffizienz: Die Methode erfordert deutlich weniger Trainingsstichproben und weniger Trainingszeit im Vergleich zu MaskLLM, während sie eine Speichernutzung beibehält, die mit regelbasierten Methoden vergleichbar ist.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass MaskPro einen gangbaren Weg für die praktische, skalierbare lokale Bereitstellung von LLMs bietet, indem es die Speicher- und Stabilitätsengpässe lernbasierter semi-strukturierter Sparsity löst. Die Autoren betonen, dass ihr Ansatz die Lücke zwischen der hohen Leistung lernbasierter Methoden und der Effizienz regelbasierter Methoden schließt. Durch die Reduzierung des Speicherbedarfs auf linearen Raum und die Stabilisierung des Trainingsprozesses durch verfeinerte Policy-Gradienten ermöglicht MaskPro das Lernen optimaler (N:M)-Masken auf großen Modellen ohne die prohibitiven Rechenkosten, die zuvor mit solchen Aufgaben verbunden waren. Die Methode wird als generalisierbares Framework für das probabilistische Maskenlernen präsentiert, das gegenüber Datenknappheit und Modellskalierung robust ist.

1. Das Problem: Der Albtraum „Zu viele Möglichkeiten"

2. Die Lösung: MaskPro (Die „intelligente Lotterie")

3. Die Ergebnisse: Schnell, günstig und zuverlässig

Zusammenfassung

Technischer Zusammenfassung: MaskPro – Probabilistisches Lernen im linearen Raum für strikte (N:M)-Sparsity auf LLMs

Mehr davon