💬 NLP

Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model

Dieses Paper schlägt eine trainingsfreie, batchweise adaptive Pruning-Methode für Large Reasoning Models vor, die eine periodische Top-k-Selektion und einen Aktivierungsgedächtnis-Mechanismus nutzt, um die Genauigkeitsdegradierung bestehender Methoden bei der Batch-Inferenz zu überwinden und dabei signifikante Beschleunigungen bei gleichbleibend hoher Reasoning-Leistung zu erzielen.

Ursprüngliche Autoren: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Veröffentlicht 2026-08-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein wirklich schwieriges Rätsel zu lösen, wie zum Beispiel ein komplexes mathematisches Problem oder ein kniffliges Logikrätsel. Sie haben einen brillanten, aber sehr hungrigen Assistenten (ein Large Reasoning Model), der in der Lage ist, die Schritte durchzudenken, um die Antwort zu finden. Der Haken dabei ist: Dieser Assistent ist so gründlich, dass er vor der eigentlichen Antwort ein massives, schrittweises Tagebuch seiner Gedanken niederschreibt. Während dieser „Gedankengang“ (Chain of Thought) den Assistenten unglaublich intelligent macht, führt er auch dazu, dass er langsam und teuer im Betrieb ist – so als würde man versuchen, einen Supercomputer mit einer einzelnen AA-Batterie zu betreiben.

Um diesen Assistenten schneller zu machen, versuchen Wissenschaftler oft, ihn zu „beschneiden“ (Pruning) – im Grunde sagen sie dem Assistenten, er solle bestimmte Teile seines Gehirns (Neuronen) ignorieren, die er in diesem Moment anscheinend nicht benötigt. Denken Sie an einen Koch, der bei der Zubereitung eines riesigen Banketts beschließt, das Schneiden von Gemüse für Gerichte einzustellen, die noch gar nicht bestellt wurden. Das Problem ist: Wenn man für ein ganzes Publikum kocht (Batch-Inferenz), bricht die alte Methode der Entscheidung, was zu schneiden ist, zusammen. Sie verwenden eine feste Regel, die für eine einzelne Person funktioniert, aber verwirrt ist, wenn sie auf eine Gruppe angewendet wird. Dies führt dazu, dass der Assistent vergisst, wie man denkt, und anfängt, Unsinn zu wiederholen. Dieses Paper stellt eine neue, intelligentere Methode vor, um zu entscheiden, was zu schneiden ist, damit der Assistent auch dann scharf bleibt, wenn er eine Menge serviert.

Das Problem: Der „Einheitsgröße“-Fehler

Stellen Sie sich vor, Sie sind ein Dirigent, der ein Orchester leitet. Wenn Sie nur einen Geiger haben, können Sie ihm leicht sagen: „Spiele jetzt laut, dann spiele später leise.“ Aber wenn Sie eine ganze Geigensektion haben, die zusammen spielt (ein Batch), und Sie allen exakt dieselbe Anweisung geben, die man normalerweise einem einzelnen Geiger geben würde, kann die Musik in ein Chaos ausarten.

Genau das passiert mit aktuellen KI-Modellen, wenn sie versuchen, mehrere Anfragen gleichzeitig zu verarbeiten. Bestehende Methoden, um diese Modelle zu beschleunigen, nutzen eine „Schwellenwert“-Regel. Es ist wie zu sagen: „Wenn die Aktivität eines Neurons über 5 liegt, behalte es; wenn sie unter 5 liegt, schalte es aus.“ Das funktioniert gut, wenn die KI alleine denkt. Aber wenn man ihr einen Batch aus verschiedenen Fragen füttert, vermischen sich die „Aktivitätslevel“ der Neuronen, was den Durchschnitt verschiebt. Die alte Regel (der Schwellenwert von 5) passt dann nicht mehr zur neuen Realität. Das Ergebnis? Die KI schaltet versehentlich die falschen Neuronen aus, ihr „Gehirn“ wird matschig und sie beginnt, bei Denkaufgaben zu versagen. Das Paper zeigt, dass herkömmliche Methoden, wenn man versucht, diese Modelle mit einem Batch von 4 Anfragen auszuführen, fast all ihre Intelligenz verlieren und die Genauigkeit massiv einbrechen lassen (manchmal um über 50 Punkte).

Die Lösung: Eine periodische „Top-K“-Strategie mit einem Gedächtnis

Die Autoren schlagen eine neue Methode namens Batch-wise Adaptive Pruning vor. Anstatt eine starre „Bestanden/Nicht bestanden“-Linie zu verwenden, nutzen sie einen klügeren, flexibleren Ansatz mit zwei Haupttricks.

Erstens hören sie auf, eine feste Linie zu verwenden, und nutzen stattdessen eine „Top-K“-Auswahl. Stellen Sie sich vor, Sie haben eine Gruppe von 100 Läufern (Neuronen) und haben nur Platz für 50 im Bus. Anstatt zu sagen: „Nur rennen, wenn du schneller als 10 Sekunden bist“, sagen Sie einfach: „Die 50 Schnellsten steigen in den Bus.“ Das spielt keine Rolle, ob die Läufer heute allgemein schneller oder langsamer sind; Sie wählen immer die Besten aus. Dies löst das Problem der „verschiebenden Verteilung“, das die alten Methoden zerstört hat.

Zweitens haben sie erkannt, dass wichtige Neuronen nicht nur einmal feuern und dann verschwinden; sie haben einen Rhythmus. Das Paper beobachtete, dass sich die wichtigsten Neuronen während langer Denkaufgaben in einem regelmäßigen Muster „wieder entzünden“ (aufwachen und Arbeit verrichten), etwa alle 22,8 Token (Textblöcke). Um diesen Rhythmus einzufangen, aktualisiert die neue Methode ihre Pruning-Maske nur periodisch (alle 20 Schritte) statt bei jedem einzelnen Wort. Das spart Zeit, da der Computer nicht bei jedem winzigen Moment anhalten und neu berechnen muss, welche Neuronen er behalten soll.

Aber der cleverste Teil ist: Sie haben ein Aktivierungsgedächtnis hinzugefügt. Denken Sie an dies als ein „Highlight-Reel“ oder eine Notiz. Wenn ein Neuron in der ersten Phase der Gedanken extrem wichtig war, behält das Gedächtnis eine Aufzeichnung davon. Selbst wenn das Neuron für ein paar Schritte ruhig ist, stellt das Gedächtnis sicher, dass es nicht aus dem Bus geworfen wird, nur weil es ein kurzes Nickerchen gemacht hat. Auf diese Weise behält die KI die Neuronen, die über die Zeit hinweg konsistent wichtig sind, und verhindert so, dass sie die Logik, mit der sie begonnen hat, vergisst.

Die Ergebnisse: Schnell, intelligent und bereit für die Menge

Die Autoren testeten diese neue Methode an leistungsstarken Reasoning-Modellen (speziell DeepSeek-R1-Distill-Qwen-7B und DeepSeek-R1-Distill-Llama-8B) unter Verwendung schwieriger Mathe- und Wissenschafts-Benchmarks. Die Ergebnisse waren beeindruckend.

Beim Ausführen mit einer Batch-Größe von 4 (Verarbeitung von vier Fragen gleichzeitig) und dem Ziel, die Modellgröße um 50 % zu reduzieren:

Die alte beste Methode (TEAL) brach zusammen und erreichte nur etwa 14,3 % durchschnittliche Genauigkeit.
Die neue Methode hielt eine starke durchschnittliche Genauigkeit von 54,0 %.
Dies ist eine massive Verbesserung um 39,7 Prozentpunkte.

Darüber hinaus machte die neue Methode die Modelle tatsächlich schneller. Durch das Weglassen der unnötigen Arbeit erreichte sie eine 1,40-fache Beschleunigung im Vergleich zum Ausführen des vollständigen, unbeschnittenen Modells. Das Paper stellt fest, dass diese Beschleunigung besonders hilfreich ist, wenn der Computer ausgelastet ist (compute-bound), was passiert, wenn man viele Anfragen gleichzeitig verarbeitet.

Was das bedeutet

Die Autoren weisen vorsichtig darauf hin, dass diese Methode „training-free“ ist, was bedeutet, dass sie das Modell nicht neu lehren muss; sie passt lediglich an, wie das Modell in Echtzeit läuft. Sie weisen auch darauf hin, dass andere Methoden bei einfachen Aufgaben funktionieren mögen, aber bei komplexem Reasoning im Batch spektakulär scheitern. Dieser neue Ansatz, der durch eine periodische Aktualisierung und ein Gedächtnis dafür sorgt, was wichtig ist, hält die Argumentation der KI scharf und macht sie gleichzeitig effizient genug, um reale Arbeitslasten zu bewältigen, bei denen viele Nutzer gleichzeitig Fragen stellen. Es ist eine praktische Lösung, die es diesen riesigen, intelligenten Modellen ermöglicht, schneller zu laufen, ohne ihre Fähigkeit zu verlieren, tiefgründig zu denken.

Technisches Resümee: Batch-weise adaptive Pruning-Verfahren für Large Reasoning Models

Problemstellung
Large Reasoning Models (LRMs) erzielen eine hohe Leistungsfähigkeit bei komplexen Aufgaben durch ausgedehnte Chain-of-Thought-Generierung, verursachen jedoch erhebliche Rechenkosten. In Produktionsumgebungen erfordert hoher Durchsatz Batch-Inferenz (die gleichzeitige Verarbeitung mehrerer Stichproben). Bestehende trainingsfreie adaptive Pruning-Methoden wie TEAL und CATS versagen jedoch in diesem Regime signifikant.

Der Kern des Versagens ist zweifach:

Distributionsverschiebung (Distribution Shift): Bestehende Methoden verwenden eine einzige Pruning-Maske für den gesamten Batch. Sie aggregieren pro-Stichprobe-Aktivierungen (z. B. über den Mittelwert) und wenden einen offline kalibrierten Schwellenwert auf Einzel-Stichproben-Verteilungen an. Diese Aggregation verschiebt die Aktivierungsverteilung, was dazu führt, dass der Schwellenwert nicht mehr zu den Daten passt, was wiederum zu einer Drift im realisierten Sparsitätsverhältnis und einem Zusammenbruch der Denkgenauigkeit führt.
Statisch-dynamischer Zielkonflikt (Static vs. Dynamic Trade-off): Statische Pruning-Methoden (feste Muster) können die sich entwickelnden Aktivierungsmuster während langer Denkketten nicht verfolgen. Umgekehrt ist die Auswahl einer neuen Maske bei jedem Token-Schritt rechentechnisch zu aufwendig, was den Geschwindigkeitsvorteil zunichtemacht.

Methodik
Die Autoren schlagen Batch-weise adaptives Pruning vor, eine trainingsfreie Methode, die speziell für die Batch-Inferenz in LRMs entwickelt wurde. Der Ansatz stützt sich auf zwei primäre Komponenten:

Periodische Top-k-Selektion:
- Anstatt einen kalibrierten Schwellenwert zu verwenden (der empfindlich gegenüber Distributionsverschiebungen ist), nutzt die Methode die Top-k-Selektion auf aggregierten Wichtigkeitswerten. Die Top-k-Selektion hängt nur von der relativen Ordnung der Werte ab, was sie robust gegenüber den durch Batch-Aggregation verursachten Distributionsverschiebungen macht.
- Um den Rechenaufwand einer Maskenaktualisierung bei jedem Token-Schritt zu vermeiden, wird die Pruning-Maske periodisch (alle $T_{trans}$ Schritte) aktualisiert, anstatt bei jedem Dekodierungsschritt.
- Batch-Aggregation: Für einen Batch von $B$ Stichproben werden die pro-Stichprobe-Wichtigkeitswerte mittels eines elementweisen Maximums (statt eines Mittelwerts) in einen einzigen Vektor aggregiert. Dieser konservative Ansatz stellt sicher, dass ein Neuron, das für mindestens eine Stichprobe kritisch ist, einen hohen Wert behält, wodurch verhindert wird, dass es aufgrund niedriger Aktivierung in anderen Stichproben desselben Batches geprunt wird.
Aktivierungsgedächtnis (Activation Memory):
- Beobachtungen der LLM-Aktivierungsmuster zeigen, dass wichtige Neuronen während langer Denk-Generationen eine periodische Re-Aktivierung aufweisen (z. B. alle ~22 Token mit einer Re-Aktivierungsrate von ~76 %).
- Um dies zu erfassen, pflegt die Methode ein Aktivierungsgedächtnis, das Wichtigkeitswerte über Aktualisierungsphasen hinweg akkumuliert. Das Gedächtnis wird mittels eines elementweisen Maximums aktualisiert ( $m_n \leftarrow \max(m_{n-1}, s_n)$ ).
- Dies stellt sicher, dass Neuronen, die in früheren Phasen als wichtig identifiziert wurden, Kandidaten für die Beibehaltung bleiben, selbst wenn ihre Aktivierung vorübergehend sinkt, wodurch die Maske in der Lage ist, sich an evolvierende Muster anzupassen, ohne kritische Komponenten zu verlieren.

Algorithmus-Ablauf
Die Methode operiert in drei Phasen während der autoregressiven Generierung:

Input-Phase: Verarbeitet den initialen Prompt, um initiale Wichtigkeitswerte zu berechnen.
Dichte Explorationsphase: Führt eine festgelegte Anzahl dichter Schritte ( $T_{init}$ ) durch, um die Denkrichtung zu etablieren und kontextspezifische Aktivierungsstatistiken zu sammeln. Das Gedächtnis wird aktualisiert und die erste Pruning-Maske wird generiert.
Periodische adaptive Pruning-Phase: Wechselt zwischen spärlicher Berechnung ( $T_p$ Schritte) und dichter Exploration ( $T_E$ Schritte). Am Ende jeder dichten Explorationsphase wird das Aktivierungsgedächtnis aktualisiert und eine neue Top-k-Maske basierend auf dem akkumulierten Gedächtnis erstellt.

Wesentliche Beiträge

Empirische Identifikation des Batch-Zusammenbruchs: Die Arbeit ist die erste, die empirisch nachweist, dass bestehende adaptive Pruning-Methoden (sowohl statisch als auch adaptiv) bei der Batch-Inferenz auf Denkaufgaben massiv an Genauigkeit verlieren. Insbesondere verlieren adaptive Methoden wie TEAL bei einer Batch-Größe von 4 im Vergleich zu dichten Modellen 58,4 bis 67,7 Prozentpunkte an durchschnittlicher Genauigkeit.
Robustes Batch-Pruning-Framework: Die Autoren führen eine Methode ein, die die Genauigkeit in Batch-Settings beibehält, indem sie die schwellenwertbasierte Selektion durch periodische Top-k-Selektion ersetzt und ein Aktivierungsgedächtnis integriert, um wiederkehrende Neuron-Wichtigkeiten zu verfolgen.
Kalibrierungsfreie Operation: Im Gegensatz zu Methoden, die eine Offline-Kalibrierung auf externen Korpora erfordern (z. B. Wanda, TEAL), basiert diese Methode ausschließlich auf Laufzeit-Aktivierungen, was sie kalibrierungsfrei macht.

Experimentelle Ergebnisse
Die Experimente wurden auf DeepSeek-R1-Distill-Qwen-7B und DeepSeek-R1-Distill-Llama-8B über fünf Reasoning-Benchmarks (GSM8K, MATH500, MINERVA, AMC23, GPQA-DIAMOND) durchgeführt.

Genauigkeit: Bei einer Ziel-Sparsität von 50 % und einer Batch-Größe von 4 übertrifft die vorgeschlagene Methode den bisherigen Stand der Technik (TEAL) bei der durchschnittlichen Genauigkeit auf dem Qwen-7B Modell um 39,7 Prozentpunkte (54,0 % vs. 14,3 %) und auf dem Llama-8B Modell um 24,1 Punkte.
Stabilität: Im Gegensatz zu TEAL, das bei einer Batch-Größe von 1 eine hohe Leistung zeigt, aber mit steigender Batch-Größe kollabiert, behält die vorgeschlagene Methode eine konsistente Leistung über alle Batch-Größen hinweg bei (1, 4, 8, 16).
Beschleunigung (Speedup): Die Methode erreicht einen 1,40× Speedup gegenüber dichter Inferenz bei 50 % tatsächlicher Sparsität auf dem Qwen-7B Modell. Der Speedup ist in Batch-Settings ausgeprägter, da die Methode strukturell die Dimensionen der Gewichtmatrizen reduziert und so direkt die Berechnung senkt, während Methoden, die darauf basieren, Null-Aktivierungen zu überspringen, weniger effektiv werden, wenn sich die Arbeitslast von speichergebundenen zu rechengebundenen Aufgaben verschiebt.
Hohe Sparsität: Die Methode hält auch bei hohen Sparsitätsgraden eine starke Leistung aufrecht (z. B. 71,0 % Genauigkeit bei 50 % Ziel-Sparsität), während Baselines jenseits von 40 % Sparsität stark abfallen.

Bedeutung und Behauptungen
Das Paper behauptet, dass seine Methode ein kritisches Hindernis beim Einsatz von Large Reasoning Models adressiert: die Inkompatibilität bestehender adaptiver Pruning-Techniken mit der Batch-Inferenz. Durch die Lösung des Problems der Distributionsverschiebung, das der Batch-Aggregation inhärent ist, und durch die Nutzung der periodischen Natur der Neuron-Re-Aktivierung ermöglicht die Methode eine effiziente, hochperformante Inferenz ohne den Leistungszusammenbruch, der bei früheren Ansätzen auftritt. Die Autoren betonen, dass ihre Gewinne durch die periodische Top-k-Selektion und das Aktivierungsgedächtnis getrieben werden und nicht durch die spezifische Wahl des Aggregationsoperators (Max vs. Mean), der nur marginale Unterschiede in der Leistung zeigte.

Technisches Resümee: Batch-weise adaptive Pruning-Verfahren für Large Reasoning Models

Mehr davon