🤖 machine learning

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

CoCurve ist eine trainingsfreie Methode zur strukturierten Pruning von LLMs, die die Entfernung von Attention- und FFN-Einheiten gemeinsam optimiert, indem sie eine Taylor-Expansion zweiter Ordnung nutzt, um querschnittliche Modulabhängigkeiten durch eine Fisher-Matrix zu erfassen, was eine effiziente, label-freie Kompression mittels eines Single-Shot-quadratischen Programms ohne Fine-Tuning ermöglicht.

Ursprüngliche Autoren: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Veröffentlicht 2026-07-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein riesiges, superintelligentes Robotergehirn aus Milliarden winziger Zahnräder und Federn. Dies ist ein Large Language Model (LLM), eine Art von KI, die Geschichten schreiben, mathematische Probleme lösen und sogar Software programmieren kann. Aber hier ist der Haken: Diese Gehirne sind so groß und schwer, dass sie unglaublich teuer im Betrieb und langsam im Denken sind. Um sie für den alltäglichen Gebrauch nutzbar zu machen, müssen Wissenschaftler sie verkleinern, so wie man eine riesige Bibliothek in ein taschengroßes Buch packt. Dieser Prozess wird „Pruning“ (Beschneiden) genannt.

Betrachten Sie Pruning wie das Bearbeiten eines langen Films. Sie wollen die langweiligen Szenen herausschneiden, um den Film kürzer und schneller anzusehen zu machen, aber Sie wollen dabei nicht die Handlung ruinieren. Lange Zeit dachten Editoren (Wissenschaftler), dass der beste Weg hierfür darin besteht, jede Szene einzeln zu betrachten. Wenn eine Szene für sich allein betrachtet langweilig aussah, wurde sie geschnitten. Sie nahmen an, dass man durch das Schneiden vieler langweiliger Szenen den Film nur etwas kürzer machen würde, während die Geschichte unverändert bleibt. Sie behandelten den Film wie eine einfache Liste unabhängiger Clips.

CoCurve: Der Detektiv, der die Verbindungen kartiert

Die Forscher hinter dieser Arbeit, von der Nanyang Technological University, führten eine neue Methode namens CoCurve (Cross-Module Co-Pruning Curvature) ein. Anstatt nur nach jedem einzelnen Zahnrad zu schauen, um zu sehen, ob es schwach ist, agiert CoCurve wie ein Detektiv, der kartiert, wie jedes Zahnrad mit jedem anderen Zahnrad verbunden ist.

So sind sie dabei vorgegangen, unter Verwendung einer einfachen Analogie: Stellen Sie sich das KI-Gehirn als eine riesige Stadt mit zwei Arten von Gebäuden vor: Attention Towers (die der KI helfen, sich auf bestimmte Wörter zu konzentrieren) und FFN Factories (die diese Wörter verarbeiten und verstehen).

Der alte Weg (Der „Node-First“-Fehler): Traditionelle Methoden würden durch die Stadt gehen, jedes Gebäude einzeln prüfen und sagen: „Dieser Turm sieht etwas leer aus, lassen Sie uns ihn abreißen“ oder „Diese Fabrik scheint langsam zu sein, lassen Sie uns sie schließen.“ Sie nahmen an, dass das Abreißen einiger leerer Gebäude die Stadt nicht schaden würde. Aber sie übersahen, dass einige „leere“ Türme tatsächlich die einzigen Brücken waren, die zwei geschäftige Fabriken miteinander verbanden. Das Abreißen dieser Türme verursachte Verkehrsstaus, die die gesamte Stadt zum Stillstand brachten.
Der CoCurve-Weg: CoCurve prüft nicht nur die Gebäude; es prüft die Brücken zwischen ihnen. Es verwendet einen cleveren mathematischen Trick (eine Taylor-Entwicklung zweiter Ordnung einer „KL-Divergenz“, was nur eine schicke Art ist zu messen, wie sehr sich die Antworten der KI ändern, wenn man einen Teil von ihr verbirgt), um eine Karte der Stadt zu zeichnen.
- Auf dieser Karte zeigt die Diagonale, wie wichtig ein einzelnes Gebäude für sich allein ist (wie bei der alten Methode).
- Die Off-Diagonal-Linien zeigen die „Co-Pruning-Krümmung“. Dies ist der zusätzliche Schaden, der entsteht, wenn man zwei spezifische Gebäude zusammen abreißt. Es offenbart, dass zwei schwache Gebäude manchmal ein superstarkes Team bilden und man beide behalten muss.

Der magische Trick: Kein Training erforderlich

Normalerweise erfordert das Herausfinden dieser Verbindungen viel Schwerstarbeit, wie das Retraining der KI oder das Durchführen von Millionen von Tests. Aber CoCurve ist eine „training-freie“ Methode. Es ist wie ein ein einmaliger Zaubertrick.

Die Forscher nehmen eine kleine, unbeschriftete Textprobe (wie ein paar Seiten eines Buches).
Sie lassen die KI durch diesen Text laufen, aber sie „maskieren“ (verbergen) dabei ein Gebäude nach dem anderen, um zu sehen, wie die Antworten der KI schwanken.
Unter Verwendung einer cleveren mathematischen Abkürzung (einem Grame-Produkt) können sie die gesamte Verbindungskarte allein aus diesen Einzeltests berechnen. Sie müssen nicht jedes mögliche Paar von Gebäuden testen (was ewig dauern würde), noch müssen sie die Gewichte der KI aktualisieren. Es wird alles in einem Schritt erledigt.

Was sie herausgefunden haben

Das Team hat CoCurve an vier verschiedenen KI-Modellen getestet, die von 3 Milliarden bis 24 Milliarden Parametern reichen. Sie haben es mit neun anderen populären Pruning-Methoden verglichen.

Die Ergebnisse: CoCurve war konsistent besser als die anderen. Es hielt die KI intelligenter und fähiger, insbesondere bei schwierigen Aufgaben wie dem Schreiben von Code oder dem Lösen von Matheaufgaben, bei denen andere Methoden die KI oft zum „Zusammenbruch“ brachten und sie völlig versagen ließen.
Der große Sieg: Bei einem massiven 24-Milliarden-Parameter-Modell, als sie 40 % des Gehirns weggepruntet hatten, war CoCurve bei der Vorhersage des nächsten Wortes (ein Maß namens Perplexity) 14,5-mal besser als die nächstbeste Methode.
Die Entdeckung der „Brücke“: Das Paper bewies, dass die Gewinne nicht einfach daraus resultierten, die „besten“ Gebäude zu finden und zu behalten. Die Gewinne kamen spezifisch aus den Cross-Module Edges – den Verbindungen zwischen den Attention Towers und den FFN Factories. Als sie diese Verbindungen aus der Mathematik entfernten, verschlechterte sich die Methode deutlich, was bewies, dass diese verborgenen Brücken das Geheimrezept sind.

Wann es funktioniert?

Die Forscher fanden auch eine Regel dafür, wann diese Detektivarbeit am nützlichsten ist. Wenn ein Modell zu viele redundante Gebäude hat (wie eine Stadt mit 100 identischen Fabriken, die alle das Gleiche tun), wird die Karte der Verbindungen verrauscht und verwirrend. In diesen Fällen hat CoCurve einen „Sicherheitsschalter“ (einen Dämpfungsfaktor), der die komplexe Brücken-Kartierung ausschaltet und statisch zur einfachen Methode des „Einzelprüfung der Gebäude“ zurückkehrt. Dies stellt sicher, dass es niemals schlechter macht, selbst bei Modellen, bei denen die Verbindungen nicht so kritisch sind.

Das Fazit

CoCurve verändert die Spielregeln, indem es uns lehrt, dass man in einem komplexen KI-Gehirn nicht nur die Knoten (die Teile) prunen kann, sondern auch die Kanten (die Verbindungen). Indem es die verborgene Teamarbeit zwischen den verschiedenen Teilen der KI respektiert, erschafft CoCurve kleinere, schnellere Modelle, die ihre Intelligenz nicht verlieren. Es ist eine intelligentere Art, den Film zu bearbeiten, um sicherzustellen, dass die Handlung intakt bleibt, selbst wenn die Laufzeit halbiert wird.

Technisches Resümee: CoCurve

Problemstellung

Strukturiertes Pruning komprimiert Large Language Models (LLMs), indem es ganze Recheneinheiten wie Attention-Heads oder Feed-Forward-Network (FFN)-Kanalgruppen entfernt. Trainingsfreie Methoden werden bevorzugt, da sie keine Daten- und Rechenanforderungen haben, leiden jedoch typischerweise unter einem kritischen blinden Fleck: sie bewerten entnehmbare Einheiten unabhängig voneinander.

Die meisten bestehenden Ansätze gehen davon aus, dass der Verlust durch das Pruning einer Menge von Einheiten die Summe der individuellen Verluste dieser Einheiten ist ( $\Delta L(S) \approx \sum \Delta L(u)$ ). Diese Annahme versagt in Transformer-Architekturen, in denen Sublayer durch einen gemeinsamen Residual-Stream gekoppelt sind. Folglich können zwei Einheiten, die einzeln schwach erscheinen (geringe Salienz), gemeinsam unverzichtbar sein. Unabhängiges Scoring ist blind gegenüber dieser Kopplung und entfernt oft solche „Brückeneinheiten“ zusammen mit den Einheiten, die sie unterstützen, was die generativen Fähigkeiten des Modells überproportional schädigt, insbesondere bei Code- und Mathematikaufgaben.

Methodik: CoCurve

Die Autoren führen CoCurve (Cross-Module Co-Pruning Curvature) ein, eine rein kalibrierungsbasierte, trainingsfreie Methode, die Attention- und FFN-Einheiten durch die Modellierung ihrer Interaktionen gemeinsam prunt.

1. Pruning-Risiko als Second-Order Self-Distillation

Die Methode definiert das Pruning-Risiko als die Token-level Kullback-Leibler-Divergenz (KL-Divergenz) zwischen dem eingefrorenen Vollmodell (Lehrer) und seiner maskierten Kopie (Schüler) über unbeschrifteten Text.

Nullte und erste Ordnung: Bei Null-Pruning fallen die Verteilungen zusammen, sodass das Risiko und sein Gradient verschwinden.
Zweite Ordnung: Der führende Term der Taylor-Entwicklung ist rein quadratisch: $R(s) \approx \frac{1}{2} s^\top H s$ .
Die Fisher-Matrix ( $H$ ): Diese einzelne Matrix $H$ $H$ enthält:
- Diagonale ( $H_{uu}$ ): Klassische Knoten-Salienz (ähnlich wie Optimal Brain Damage).
- Off-Diagonale ( $H_{uv}$ ): Co-Pruning-Krümmungskanten, welche die zusätzliche Verzerrung darstellen, die entsteht, wenn die Einheiten $u$ und $v$ gemeinsam entfernt werden.

2. Praktische Schätzung via Single-Unit Ablation

Die Berechnung einer vollständigen $M \times M$ Interaktionsmatrix erfordert typischerweise $O(M^2)$ paarweise Ablationen. CoCurve umgeht dies, indem es einen geschlossenen Schätzer herleitet:

Die Off-Diagonal-Einträge $H_{uv}$ sind als Gram-Produkt von Single-Unit Logit-Perturbationsmerkmalen nachweisbar.
Durch Durchführung von lediglich $M$ Single-Unit Ablation-Durchläufen (einen pro Einheit) und der Berechnung der Fisher-gewichteten Skalarprodukte ihrer Logit-Verschiebungen kann die vollständige Interaktionsmatrix rekonstruiert werden.
Dies erfordert keine Gradienten, keine Hessian-Vektor-Produkte und keine paarweisen Sweeps.

3. One-Shot Greedy Solver

Das Pruning wird als budgetiertes binäres quadratisches Programm formuliert. Die Autoren verwenden einen kosten-normalisierten Greedy-Solver, der:

Einheiten basierend auf dem marginalen Risiko auswählt, welches sowohl die Knotensalienz als auch die akkumulierte Interaktion mit bereits ausgewählten Einheiten umfasst.
Unter einem gemeinsamen Budget für Attention- und FFN-Einheiten operiert, wodurch die Optimierung die optimale Aufteilung bestimmt, anstatt diese manuell festzulegen.
Einen Trust-Region-Skalar ( $\lambda$ ) beinhaltet, um den Edge-Term bei hohen Pruning-Raten zu dämpfen, wenn die Approximation zweiter Ordnung degradiert. Dieser $\lambda$ wird durch eine label-freie Regel basierend auf der FFN-Kanal-Redundanz des Modells bestimmt.

4. Kompensation (Optional)

Für aggressive Verhältnisse kann ein geschlossener Kompensationsschritt die Ausgaben der verbleibenden FFN-Gruppen neu skalieren, um die durch entfernte Einheiten verursachte Verschiebung des Residual-Streams aufzufangen. Dieser Schritt ist ebenfalls gradientenfrei und nutzt dieselben Edge-Blöcke, die während der Selektion berechnet wurden.

Zentrale Beiträge

Ein Node-to-Edge Objective: Ableitung eines quadratischen Pruning-Risikos, bei dem die Off-Diagonal-Terme die Cross-Module Co-Pruning Krümmung zwischen Attention und FFN erfassen und somit über die unabhängige Knoten-Rangfolge hinausgehen.
Ein praktischer Schätzer und Solver: Nachweis, dass die vollständige Interaktionsmatrix ein Gram-Produkt von Single-Unit Ablation-Merkmalen ist, das in $O(M)$ Durchläufen rekonstruierbar ist. Die Methode löst das Selektionsproblem in einem einzigen Schritt ohne Gewichts-Updates oder Rekonstruktion.
Ein interpretierbarer Mechanismus: Die Methode schützt explizit „Brückeneinheiten“ (geringe Salienz, aber hohe Konnektivität), die durch Node-First-Methoden verworfen würden. Sie ordnet das strukturierte Pruning auf einem Kontinuum mit klassischen Second-Order-Methoden (OBD/OBS) ein.
Eine prädiktive Regel: Eine einzige Kalibrierungsstatistik (FFN-Kanal-Redundanz) sagt a priori voraus, wann der Edge-Term vertrauenswürdig ist oder gedämpft werden sollte, wodurch eine empirische Beobachtung in eine Architektur-Regel verwandelt wird.

Ergebnisse

Die Autoren evaluierten CoCurve auf vier dichten LLMs (3B–8B) sowie eine Scaling-Studie auf einem 24B-Modell und verglichen es mit neun trainingsfreien Baselines über 14 Benchmarks (einschließlich Sprachmodellierung, Common Sense, Wissen, Mathematik und Code).

Performance: CoCurve übertrifft konsistent starke trainingsfreie Baselines. Beim Hauptmodell (Llama-3.1-8B-Instruct) bei 20 % Pruning erzielt es die besten Werte in den Bereichen Sprachmodellierung, Weltwissen und Codegenerierung sowie den höchsten Durchschnitt bei Common-Sense-Aufgaben.
Fragile Aufgaben: Die Methode zeigt die größten Gewinne bei fragilen generativen Aufgaben (Code und Mathematik), bei denen andere Methoden oft kollabieren. Bei 40 % Pruning auf dem 24B-Modell erreicht CoCurve eine 14,5-fach geringere Perplexität als die stärkste valide Baseline.
Ablationen:
- Das Entfernen des Off-Diagonal-Edge-Terms reduziert die Performance auf die eines rein diagonalen (OBD-Stil) Selektors, was bestätigt, dass die Edges den Gewinn treiben.
- Gemeinsames Attention-FFN-Pruning übertrifft das Pruning eines Moduls allein.
- Der Nutzen der Edges korreliert invers mit der FFN-Kanal-Redundanz; die Methode enthält ein Gate, um Edges auf hoch-redundanten Modellen (z. B. Qwen2.5-32B) zu dämpfen, um Degradation zu verhindern.

Bedeutung und Ansprüche

Das Paper definiert das strukturierte LLM-Pruning neu: „Prune the edges, not just the nodes.“

Mechanismus: Die Autoren behaupten, dass das Scheitern bestehender Methoden darauf beruht, dass die Kopplung zwischen heterogenen Modulen (Attention und FFN) über den Residual-Stream ignoriert wird. CoCurve erfasst diese Kopplung durch eine abgeleitete Fisher-Krümmungsmatrix.
Effizienz: Die Methode ist strikt trainingsfrei und benötigt keine Labels, kein Fine-Tuning und keine iterative Re-Estimation. Sie ist recheneffizient und erfordert lediglich Forward-Passes für Single-Unit Ablations.
Robustheit: Der Ansatz bietet ein „Graceful Fallback“. Bei hoch-redundanten Modellen, in denen Edges irreführend sein könnten, kehrt die Methode automatisch zu einem starken diagonalen (OBD-Stil) Selektor zurück und stellt sicher, dass sie niemals schlechter als eine starke klassische Baseline abschneidet.
Umfang: Die Autoren positionieren CoCurve als Lösung für moderate Kompressionsregime (bis zu ca. 30–40 %). Sie räumen ein, dass die Methode bei extremen Verhältnissen ohne Rekonstruktion superlinear degradiert, aber sie erweitert die nutzbare Kompressionsgrenze im Vergleich zu unabhängigen Ranking-Methoden signifikant.

Das Paper schließt mit der Feststellung, dass Cross-Module-Interaktionen nicht bloß dekorativ, sondern funktional tragend (load-bearing) für den Erhalt der erforderlichen komplexen Generierung sind und dass die Modellierung dieser Interaktionen für effektives strukturiertes Pruning essenziell ist.