🤖 machine learning

CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

Dieses Paper stellt CRePE vor, eine Post-Training-Pruning-Methode, die die Bewertung der relativen Wichtigkeit durch 2D-lokalen Kontext und adaptive Koeffizienten verbessert, und schlägt PHO vor, um diese Hyperparameter effizient in Minuten statt Stunden zu optimieren, wobei eine State-of-the-Art-Leistung über verschiedene Modelle und Sparsity-Einstellungen hinweg erreicht wird.

Ursprüngliche Autoren: Cheonjun Park

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Cheonjun Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, unglaublich intelligente Bibliothek (ein Large Language Model), die fast alles weiß. Das Problem ist, dass diese Bibliothek so groß ist, dass sie ein ganzes Lagerhaus einnimmt und ein riesiges Team von Bibliothekaren erfordert, um nur ein einziges Buch zu finden. Sie möchten diese Bibliothek schrumpfen lassen, damit sie in einen Rucksack passt, ohne dabei ihre Fähigkeit zu verlieren, gute Geschichten zu erzählen oder Fragen zu beantworten.

Dieses Paper stellt eine neue Methode namens CRePE vor, die hilft, diese Bibliotheken zu schrumpfen, zusammen mit einer superschnellen Art und Weise, das beste Vorgehen dafür zu finden.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Der „eindimensionale“ Fehler

Frühere Methoden versuchten zu entscheiden, welche Bücher (Gewichte) man wegwerfen sollte, indem sie die Bücher auf eine sehr einfache Weise betrachteten. Stellen Sie sich einen Bibliothekar vor, der ein Bücherregal betrachtet.

Die alte Methode (RIA): Der Bibliothekar betrachtet nur die Reihe (das Regal, auf dem das Buch steht) und die Spalte (den vertikalen Stapel von Büchern oberhalb und unterhalb des jeweiligen Buches). Er entscheidet, dass ein Buch wichtig ist, wenn es viele Nachbarn in diesen geraden Linien hat.
Der Fehler: Dies ist so, als würde man die Wichtigkeit eines Buches nur anhand seiner unmittelbaren Nachbarn links/rechts und oben/unten beurteilen. Aber Bücher werden auch von den Büchern beeinflusst, die diagonal neben ihnen liegen. Zudem behandelte die alte Methode die „Reihe“ und die „Spalte“ als gleich wichtig, aber die Autoren fanden heraus, dass das Betrachten der Reihen tatsächlich mehr hilft als das Betrachten der Spalten.

2. Die Lösung: CRePE (Der „2D-Nachbarschafts“-Bibliothekar)

Die Autoren entwickelten CRePE, einen klügeren Bibliothekar, der einen 2D-Nachbarschafts-Ansatz verwendet.

Das Umfeld betrachten: Anstatt nur nach oben, unten, links und rechts zu schauen, betrachtet CRePE das gesamte kleine Quadrat von Büchern, das ein bestimmtes Buch umgibt (wie ein 3x3- oder 5x5-Gitter). Es versteht, dass der Wert eines Buches durch seine gesamte lokale Nachbarschaft beeinflusst wird, nicht nur durch eine Kreuzform.
Adaptive Gewichte: CRePE erkennt auch, dass manche Richtungen wichtiger sind als andere. Es verwendet „verstellbare Knöpfe“ (Koeffizienten), um zu entscheiden, wie sehr es der Reihe, der Spalte und den diagonalen Nachbarn vertraut. Es behandelt sie nicht alle gleich; es lernt, welche Richtung am kritischsten ist, um das Wissen der Bibliothek intakt zu halten.

Das Ergebnis: Durch diesen klügeren 2D-Blick bewahrt CRePE die Intelligenz der Bibliothek viel besser als die alten Methoden, selbst nachdem die Hälfte der Bücher weggeworfen wurde.

3. Das Geschwindigkeitsproblem: Der „Geschmackstest“-Engpass

Es gab einen Haken. Um die perfekten Einstellungen für diese „verstellbaren Knöpfe“ zu finden, musste der alte Weg die Bibliothek tatsächlich schrumpfen, testen, wie gut sie funktioniert (indem man ein Testbuch liest), und dann erneut versuchen.

Der alte Weg: Dieser „Geschmackstest“ dauerte etwa 11 Stunden für eine große Bibliothek. Das macht das Ziel, schnell und effizient zu sein, zunichte!

4. Die Lösung: PHO (Die „Kristallkugel“-Abkürzung)

Um das Geschwindigkeitsproblem zu lösen, erfanden die Autoren PHO (Proxy-basierte Hyperparameter-Optimierung).

Die Erkenntnis: Sie entdeckten eine Metrik namens „Kristallkugel“, den Gini-Koeffizienten. Anstatt die ganze Bibliothek zu testen, betrachteten sie nur den allerersten Abschnitt des ersten Regals (die erste Schicht des Modells).
Die Magie: Sie fanden heraus, dass die „Ungleichmäßigkeit“ der Werte in diesem winzigen Abschnitt (der Gini-Koeffizient) fast perfekt mit der Leistung der gesamten Bibliothek korreliert (eine 95%ige Übereinstimmung).
Das Ergebnis: Anstatt den 11-stündigen vollständigen Test durchzuführen, führt PHO eine schnelle Simulation an nur diesem einen winzigen Abschnitt durch. Es findet die besten Einstellungen in etwa 20 Minuten. Das ist eine 30-fache Beschleunigung.

5. Funktioniert es überall?

Die Autoren haben CRePE auf vielen verschiedenen „Bibliotheken“ (Modelle wie LLaMA, Qwen, Phi und DeepSeek) und verschiedenen Arten der Schrumpfung (zufälliges Schneiden vs. strukturierte 2:4-Muster) getestet.

Beständiger Gewinner: CRePE schlug konsequent die bisher besten Methoden.
Mix und Match: Es funktioniert wie ein Universaladapter. Sie können CRePE mit anderen Tricks kombinieren (wie dem Ändern der Reihenfolge der Bücher oder dem späteren Neu-Schneiden der Bibliothek), um es noch besser zu machen.
Eine Suche, viele Modelle: Wenn Sie die perfekten Einstellungen für eine kleine Bibliothek (LLaMA-7B) finden, funktionieren dieselben Einstellungen auch hervorragend für eine größere Bibliothek (LLaMA-13B), ohne dass Sie erneut suchen müssen.

Zusammenfassung

CRePE ist eine intelligentere Art zu entscheiden, welche Teile einer KI beschnitten werden sollten, indem es die 2D-Nachbarschaft der Daten betrachtet anstatt nur einer Kreuzform.
PHO ist ein schnelles Suchwerkzeug, das einen winzigen „Proxy-Test“ nutzt, um die besten Einstellungen in 20 Minuten statt in 11 Stunden zu finden.
Zusammen machen sie das Schrumpfen von KI-Modellen schneller und smarter, indem sie das „Gehirn“ der KI intakt halten, während sie sie viel kleiner machen.

Technisches Resümee: CRePE und PHO für Post-Training-Pruning

Problemstellung
Die Bereitstellung von Large Language Models (LLMs) verursacht erhebliche Speicher- und Rechenkosten. Post-Training-Pruning (PTP) bietet eine trainingsfreie Lösung, indem Gewichte ohne erneutes Training entfernt werden. Während jüngste Methoden wie RIA (Relative Importance) durch die Normalisierung von Gewichten über Zeilen- und Spaltensummen eine SOTA-Genauigkeit (State-of-the-Art) erreicht haben, leiden sie unter zwei fundamentalen Einschränkungen:

1D-Limitierung: RIA stützt sich ausschließlich auf 1D-kreuzförmige (Zeilen/Spalten) Richtungsinformationen und ignoriert die inhärente 2D-Struktur von Gewichtmatrizen, bei der diagonale Nachbarn ebenfalls zur Wichtigkeit beitragen.
Einheitliche Gewichtung: RIA behandelt Zeilen- und Spaltenbeiträge als gleichwertig. Vorläufige Experimente zeigen, dass diese Richtungen asymmetrisch zur Pruning-Qualität beitragen (z. B. liefert die zeilenweise RI eine niedrigere Perplexität als die spaltenweise RI bei LLaMA-2-7B), was eine einheitliche Behandlung suboptimal macht.

Zusätzlich erfordert die Optimierung der Hyperparameter für verbesserte Scoring-Methoden typischerweise eine umfangreiche Suchzeit. Ein naiver PPL-basierter Hill-Climbing-Ansatz zur Findung optimaler Koeffizienten benötigt etwa 11 Stunden, was den Effizienzvorteil von PTP untergräbt.

Methodik
Das Paper schlägt CRePE (Convolution-aware Relative Importance in Post-training Pruning with Efficient Search) und PHO (Proxy-based Hyperparameter Optimization) vor.

1. CRePE: Verbessertes Importance-Scoring
CRePE erweitert den RIA-Scoring-Mechanismus auf zwei Arten:

2D-Nachbarschaftskontext: Es führt einen Nachbarschaftsterm $N^{(k)}_{ij}$ ein, der den lokalen 2D-Kontext um jedes Gewicht $W_{ij}$ erfasst und dabei die kreuzförmigen Nachbarn ausschließt, die bereits durch RIA abgedeckt sind. Dieser Term wird effizient mittels einer 2D-Konvolution der absoluten Gewichtstabelle mit einem maskierten Kernel berechnet.
Adaptive Koeffizienten: Es weist den Zeilen-, Spalten- und Nachbarschaftstermen jeweils distinkte, lernbare Koeffizienten ( $\alpha, \beta, \gamma$ ) zu. Dies ermöglicht es dem Modell, die asymmetrischen Beiträge dieser Komponenten explizit zu berücksichtigen.
Formel: Der endgültige Importance-Score wird berechnet als:
$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$
Wenn $\alpha=\beta=1$ und $\gamma=0$ , reduziert sich CRePE auf RIA.

2. PHO: Effiziente Hyperparameter-Suche
Um die prohibitiven Kosten einer PPL-basierten Suche für die Hyperparameter ( $k, \alpha, \beta, \gamma$ ) zu vermeiden, schlagen die Autoren PHO vor:

Proxy-Entdeckung: Durch eine Spearman-Korrelationsanalyse über diverse Modelle hinweg fanden die Autoren heraus, dass der Gini-Koeffizient der Importance-Scores der geprunten Gewichte im ersten Layer des $q\_proj$ -Moduls ( $Gini_{pruned}$ ) eine starke positive Korrelation mit der PPL aufweist ( $\rho = 0,953$ ).
Such-Framework: PHO nutzt $Gini_{pruned}$ $G in i_{p r u n e d}$ als Ersatzzielgröße (Surrogate Objective). Es verwendet einen zweistufigen Prozess:
1. Proxy-Screening: Ein CMA-ES (Covariance Matrix Adaptation Evolution Strategy) Sampler generiert 60 Kandidaten, die ausschließlich auf Basis von $Gini_{pruned}$ evaluiert werden (ca. 6 Sekunden pro Kandidat).
2. PPL-Verifizierung: Das vollständige Modell-Pruning und die PPL-Evaluierung werden nur für die Top-10-Kandidaten durchgeführt (ca. 90 Sekunden pro Kandidat).
Effizienz: Dies reduziert die gesamte Suchzeit von ~11 Stunden auf ~20 Minuten (eine 30-fache Beschleunigung).

Wesentliche Beiträge

CRePE: Eine neue Scoring-Methode, die 2D-Nachbarschaftskontext und adaptive Koeffizienten integriert, um die differenzielle Wichtigkeit von Zeilen-, Spalten- und Nachbarschaftstermen zu modellieren.
PHO: Ein effizientes Optimierungs-Framework, das den Gini-Koeffizienten der geprutten Gewichte als Proxy für die PPL nutzt und die Hyperparameter-Suchzeit drastisch reduziert.
Generalisierung: Demonstrierte konsistente Verbesserungen gegenüber Baselines (SparseGPT, Wanda, RIA) über diverse Modelle (LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek) und Sparsity-Einstellungen (unstructured, 2:4, 4:8) hinweg.
Orthogonalität: Verifiziert wurde, dass CRePE mit bestehenden Techniken kombiniert werden kann, einschließlich Channel Permutation, nicht-uniformer Sparsity-Allokation (OWL, AlphaPruning, DLP) und Re-Pruning-Methoden (DSnoT).

Experimentelle Ergebnisse

Perplexität: CRePE erzielt konsistent eine niedrigere Perplexität als RIA. Beispielsweise erreicht CRePE bei LLaMA-2-7B mit 50 % Unstructured Pruning eine PPL von 6,74 im Vergleich zu 6,81 bei RIA. Unter 2:4 Structured Pruning vergrößert sich die Differenz (10,74 vs. 11,29), was darauf hindeutet, dass verfeinertes Scoring besonders unter strengeren strukturellen Constraints vorteilhaft ist.
Zero-Shot-Performance: Bei LLaMA-2-7B erreicht CRePE die höchste durchschnittliche Zero-Shot-Genauigkeit (62,18 %) über sechs Aufgaben hinweg und übertrifft damit RIA (61,14 %).
Hyperparameter-Transferierbarkeit: Die durch PHO auf LLaMA-2-7B gefundenen optimalen Hyperparameter lassen sich effektiv auf LLaMA-2-13B übertragen, ohne ein erneutes Tuning zu benötigen, wobei die Leistungssteigerungen über verschiedene Modellskalen hinweg erhalten bleiben.
Kombinationen: In Kombination mit Channel Permutation (LSA CP) oder nicht-uniformer Allokation (DLP) bewirkt CRePE eine weitere Reduktion der Perplexität, was die Orthogonalität zu diesen Techniken bestätigt.

Bedeutung und Limitierungen
Das Paper behauptet, dass CRePE eine praktische, trainingsfreie Methode bietet, um die Pruning-Genauigkeit von LLMs signifikant zu verbessern, während die Effizienz von Scoring-only-Ansätzen beibehalten wird. Die Einführung von PHO stellt sicher, dass die notwendige Hyperparameter-Optimierung den Zeitvorteil von PTP nicht zunichtemacht.

Die Autoren weisen auf mehrere Limitierungen hin:

Bei extremen Sparsity-Leveln (>70 %) verringert sich der Leistungsunterschied zwischen CRePE und RIA, was darauf hindeutet, dass Importance-Scoring allein möglicherweise nicht ausreicht und eine Gewicht-Rekonstruktion erforderlich sein könnte.
Die starke Korrelation zwischen $Gini_{pruned}$ und PPL ist empirisch; eine rigorose theoretische Analyse bleibt eine offene Frage.
Die Methode ist derzeit auf dichte lineare Schichten beschränkt und wurde bisher nicht auf strukturierte Komponenten wie Mixture-of-Experts (MoE) Routing ausgeweitet.
Die Auswirkungen der zusätzlichen Konvolutionsoperation auf unterschiedliche Hardware-Umgebungen wurden bisher nicht systematisch evaluiert.