🤖 machine learning

RAP: Runtime Adaptive Pruning for LLM Inference

Dieser Beitrag stellt RAP vor, ein durch Reinforcement Learning angetriebenes Framework, das LLM-Inferenz-Pruning-Strategien in Echtzeit dynamisch anpasst, indem es Modellgewichte und KV-Cache-Erhaltung gemeinsam optimiert, um den Nutzen unter variierenden Speicherbudgets und Arbeitslastbedingungen zu maximieren.

Ursprüngliche Autoren: Huanrong Liu, Chunlin Tian, Xuyang Wei, Qingbiao Li, Li Li

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Huanrong Liu, Chunlin Tian, Xuyang Wei, Qingbiao Li, Li Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, unglaublich intelligenten Bibliotheksassistenten (ein Large Language Model, oder LLM), der Geschichten schreiben, Fragen beantworten und Probleme lösen kann. Doch es gibt einen Haken: Dieser Assistent ist so massiv, dass er ein Lagerhaus voller Regale (Speicher) und ein riesiges Team von Arbeitern (Rechenleistung) benötigt, nur um ihn am Laufen zu halten.

Versuchen Sie, diesen Assistenten auf einem kleinen Gerät wie einem Smartphone oder einem Laptop laufen zu lassen, stürzt er häufig ab, weil der Platz ausgeht oder er zu langsam wird.

Das Problem: Der Fehler „Ein Maß für alle"

Derzeit versuchen die meisten Menschen, diesen riesigen Assistenten zu verkleinern, indem sie Teile davon dauerhaft entfernen, etwa indem sie Regale wegnehmen oder Arbeiter entlassen, basierend auf einer festen Regel. Sie sagen: „Okay, wir schneiden immer 30 % der Bibliothek weg."

Die Arbeit argumentiert, dass dies eine schlechte Idee ist, weil die Bedürfnisse der Bibliothek sich jeden Tag ändern.

Szenario A: Ein Nutzer stellt eine sehr kurze Frage. Der Assistent benötigt nur einen winzigen Raum, um das Gespräch zu merken.
Szenario B: Ein Nutzer bittet den Assistenten, einen Roman mit 10.000 Wörtern zu schreiben. Der Assistent benötigt plötzlich eine massive Menge an Platz, nur um den „Notizblock" (genannt KV-Cache) zu halten, in dem er den bisherigen Verlauf der Geschichte verfolgt.

Wenn Sie dauerhaft 30 % des Gehirns des Assistenten abschneiden, damit er auf ein Telefon passt, könnten Sie ihn kaputt machen, wenn jemand eine lange Frage stellt. Wenn Sie nichts abschneiden, passt er gar nicht auf das Telefon. Bestehende Methoden sind wie eine starre Rüstung: Sie ist entweder zu schwer zu tragen, oder wenn Sie sie zuschneiden, um sie leichter zu machen, sind Sie ungeschützt.

Die Lösung: RAP (Runtime Adaptive Pruning)

Die Autoren schlagen RAP vor, was dem Assistenten einen intelligenten, elastischen Anzug verleiht, der sich in Echtzeit verändert.

Anstatt den Assistenten ein für alle Mal zu beschneiden, nutzt RAP einen Reinforcement-Learning-Agenten (RL-Agenten). Stellen Sie sich diesen Agenten als hochqualifizierten Verkehrsleiter oder Bühnenmanager vor.

Er beobachtet die Menge: Bevor der Assistent mit der Arbeit beginnt, betrachtet der Agent die spezifische Anfrage. Ist es eine kurze Frage? Eine lange Geschichte? Ist der Speicher des Telefons voll, weil eine andere App läuft?
Er trifft sofortige Entscheidungen: Basierend auf dem, was er sieht, entscheidet der Agent jetzt sofort, was er vorübergehend verstecken soll.
- Wenn die Anfrage kurz ist und der Speicher knapp, könnte er einige der schweren „Denk"-Teile (FFN-Schichten) verstecken, um Platz zu sparen.
- Wenn die Anfrage lang ist und der Speicher voll, könnte er einige der „Aufmerksamkeits"-Teile (MHA-Schichten) verstecken, die benötigt werden, um die lange Geschichte zu verfolgen.
Er bewahrt die besten Teile: Der Agent weiß, dass nicht alle Teile des Gehirns gleich wichtig sind. Manche Schichten sind für bestimmte Aufgaben wichtiger. Er verwendet einen speziellen „Wichtigkeits-Scanner" (genannt Greedy Sequential Importance), um genau herauszufinden, welche Teile sicher weggeräumt werden können, ohne die Antwort zu ruinieren.

Wie es funktioniert (Die Analogie)

Stellen Sie sich vor, Sie packen einen Koffer für eine Reise, kennen aber das Wetter noch nicht.

Alter Weg: Sie entscheiden, Ihren schweren Wintermantel und Ihre Badehose immer zu Hause zu lassen. Wenn es regnet, werden Sie nass. Wenn es sonnig ist, haben Sie keine Badesachen.
RAP-Weg: Sie haben einen intelligenten Roboter-Assistenten.
- Sie sagen ihm: „Ich habe einen kleinen Koffer (Speicherlimit) und ich gehe an einen Strand (lange Konversation)."
- Der Roboter tauscht sofort Ihren schweren Mantel gegen ein leichtes T-Shirt aus und behält die Badehose.
- Sie sagen ihm: „Ich habe einen kleinen Koffer und ich gehe in die Berge (kurze Konversation)."
- Der Roboter tauscht die Badehose gegen eine warme Mütze aus.

Der Roboter lernt durch Erfahrung (Reinforcement Learning), jedes Mal den perfekten Tausch vorzunehmen, sodass Sie in den Koffer passen, aber dennoch genau das haben, was Sie für die spezifische Reise benötigen.

Was sie herausfanden

Die Arbeit testete diesen „intelligenten Roboter" an mehreren beliebten KI-Modellen (wie Llama und Qwen).

Bessere Ergebnisse: Wenn der Speicher knapp war, hielt RAP die KI viel besser am Laufen als die alten „festen Beschneidungs"-Methoden. Sie stürzte nicht ab, und die Antworten waren immer noch intelligent.
Flexibilität: Sie bewältigte verschiedene Arten von Anfragen (kurz vs. lang), ohne dass ein Mensch sie neu justieren musste.
Geschwindigkeit: Der „Roboter", der die Entscheidungen traf, war so schnell und klein, dass er den Prozess überhaupt nicht verlangsammte. Er fügte der Konversation fast keine zusätzliche Zeit hinzu.

Das Fazit

RAP ist eine neue Art, große KI-Modelle auf kleineren Geräten laufen zu lassen. Anstatt Teile der KI dauerhaft abzuschneiden, formt sie die KI dynamisch im laufenden Betrieb um und behält nur die Teile bei, die für die spezifische Aufgabe und den verfügbaren Platz benötigt werden. Es ist der Unterschied zwischen dem Tragen eines starren, schweren Anzugs und dem Tragen eines intelligenten, dehnbaren Anzugs, der sich an das anpasst, was Sie an diesem Tag tun.

Technischer Überblick: RAP (Runtime Adaptive Pruning für LLM-Inferenz)

Problemstellung

Large Language Models (LLMs) sehen sich aufgrund ihres enormen Rechen- und Speicherbedarfs erheblichen Hürden bei der Bereitstellung gegenüber. Zwar bieten Techniken zur Modelloptimierung (Pruning, Quantisierung, Distillation) Lösungen, doch leiden bestehende Methoden unter kritischen Einschränkungen:

Statische Heuristiken: Die meisten aktuellen Pruning-Strategien basieren auf festen, einmaligen Heuristiken, die statische Arbeitslasten voraussetzen. Sie versagen bei der Anpassung an Laufzeit-Speicheränderungen, die durch schwankende Benutzeranfragen verursacht werden (z. B. variierende Batch-Größen und Sequenzlängen).
Vernachlässigung des KV-Cache: Traditionelles Pruning konzentriert sich primär auf die Reduzierung statischer Modellgewichte (Parameter). Bei der autoregressiven Inferenz wächst der Key-Value (KV) Cache-Speicher jedoch linear mit der Batch-Größe und der Sequenzlänge und übersteigt oft den statischen Parameterspeicher. Feste Pruning-Verhältnisse können den dynamischen Wechsel von speicherlimitierenden Faktoren, die durch Parameter dominiert werden, zu solchen, die durch den KV-Cache dominiert werden, nicht bewältigen.
Systemweite Variabilität: Reale Edge- und Cloud-Umgebungen erfahren stochastische Speicherverfügbarkeit aufgrund parallel laufender Anwendungen und Interferenzen, was Annahmen über feste Budgets ungültig macht.

Die zentrale Herausforderung besteht darin, eine optimale LLM-Pruning-Richtlinie auszuwählen, die sich dynamisch an heterogene, sich zeitlich verändernde Anfrage-Arbeitslasten anpasst, während sie schwankende Speicherbudgets einhält, ohne die Ausgabequalität zu beeinträchtigen.

Methodik: Das RAP-Framework

Die Autoren schlagen RAP (Runtime Adaptive Pruning) vor, ein elastisches Pruning-Framework, das durch Reinforcement Learning (RL) angetrieben wird und Kompressionsstrategien basierend auf Echtzeit-Systemzuständen dynamisch anpasst.

1. Greedy Sequential Importance (GSI)

Um die Einschränkungen des „one-shot"-Prunings zu adressieren (das Inter-Layer-Abhängigkeiten ignoriert und zu Leistungsverschlechterung führt), setzt RAP auf Greedy Sequential Importance (GSI).

Mechanismus: Anstatt alle Blöcke einmal zu bewerten, entfernt GSI iterativ den Block, dessen Ausschluss die geringste Verschlechterung der Modellleistung bewirkt (gemessen an der Perplexität).
Neukalibrierung: Nach jeder Entfernung werden die Wichtigkeitswerte der verbleibenden Blöcke innerhalb der neuen, kontrahierten Architektur neu bewertet. Dieser schrittweise Prozess kontrolliert die Fehlerakkumulation und berücksichtigt die dynamische Sensitivität der Schichten, wenn sich die Modellstruktur ändert.

2. Formulierung als Reinforcement Learning

RAP fasst die Auswahl der Pruning-Richtlinie als sequenzielles Entscheidungsproblem (Markov-Entscheidungsprozess) auf, bei dem ein RL-Agent lernt, Speichereffizienz und Modelltreue in Einklang zu bringen.

Zustand ( $S_t$ ): Der Agent beobachtet bei jedem Inferenzschritt $t$ $t$ einen zusammengesetzten Zustand:
- Anfrage-Charakteristika: Batch-Größe ( $R_{bs}$ ) und Sequenzlänge ( $R_{sql}$ ).
- Modellkonfiguration: Wichtigkeitswerte aller Multi-Head-Attention (MHA) und Feed-Forward Network (FFN) Blöcke, abgeleitet aus GSI.
- Systemzustand: Aktueller verfügbarer Systemspeicher ( $Sys_{avail}$ ) und geschätzter Speicher-Overhead ( $Sys_{req}$ ) für die vorgeschlagene Aktion.
Aktion ( $A_t$ ): Der Agent wählt eine Pruning-Richtlinie, indem er entscheidet, ob bestimmte MHA- und FFN-Blöcke beibehalten oder entfernt werden sollen. Um die kombinatorische Explosion des Aktionsraums ( $2^{2N}$ ) zu bewältigen, wird die Entscheidung in sequenzielle Einzelblock-Auswahlen zerlegt.
Belohnung ( $R_t$ ): Eine einheitliche Belohnungsfunktion balanciert zwei Ziele:
- Perplexität ( $R_{ppl}$ ): Fördert die Erhaltung der Sprachmodellierungsleistung.
- Speicher-Strafe ( $R_{mem}$ ): Bestraft den Spitzen-Speicherverbrauch während der Inferenz.
- Die Belohnung ist eine gewichtete Summe: $R_t = \sum (At)_i (\alpha R_{ppl, i} - \beta R_{mem, i})$ , wobei Hyperparameter $\alpha$ und $\beta$ den Trade-off zwischen Genauigkeit und Speicherbedarf justieren.

3. Ausführungsablauf

Der RL-Agent beobachtet die Echtzeit-Umgebung (Eingabelänge, Batch, Speicherverfügbarkeit).
Er wählt eine Pruning-Aktion (welche Blöcke zu entfernen sind) basierend auf dem aktuellen Zustand.
Das Basismodell führt die Inferenz auf der geprunten Architektur aus.
Der Agent erhält eine Belohnung basierend auf dem resultierenden Speicherverbrauch und der Perplexität und aktualisiert seine Richtlinie, um zukünftige Entscheidungen zu optimieren.

Hauptbeiträge

Laufzeit-adaptives Framework: RAP ist das erste Framework, das Modellgewichte und KV-Cache-Speicher „on the fly" gemeinsam betrachtet und die Sparsitätsgrade dynamisch basierend auf der instantanen Arbeitslast und dem Gerätezustand anpasst.
RL-gesteuerte Richtlinie: Die Autoren formulieren Pruning als RL-Problem und trainieren einen Agenten, eine optimale Richtlinie zu erlernen, die Speichereinsparungen mit Generierungstreue ausbalanciert und dabei statische heuristische Baselines übertrifft.
GSI für strukturelles Pruning: Die Einführung von Greedy Sequential Importance adressiert das Problem der Inter-Layer-Abhängigkeit beim Transformer-Pruning und bietet eine robustere Methode zur Bestimmung der Blockwichtigkeit unter aggressiver Kompression.
Empirische Validierung: Umfassende Experimente zeigen, dass RAP konsistent fortschrittliche statische Pruning-Baselines (z. B. LLM-Pruner, SliceGPT, ShortGPT) über diverse Modelle (Llama2, Llama3, Qwen) und Speicherbeschränkungen hinweg übertrifft.

Experimentelle Ergebnisse

Experimente wurden mit Llama2-7B, Llama3-8B, Qwen1.5-7B und Qwen2.5-7B unter einheitlichen Speicherbudgets von 80 % und 60 % (abdeckend sowohl Parameter als auch KV-Cache) durchgeführt.

Generationsfähigkeit: RAP zeigte die geringste Perplexitätsdrift. Bei Llama2-7B mit einem 80 %-Budget erhöhte RAP die Perplexität nur um +6,33 (WikiText2) und +21,47 (PTB) und übertraf die zweitbeste Methode deutlich mit Margen von 22,95 bzw. 146,93.
Downstream-Aufgaben: Beim Zero-Shot-Commonsense-Reasoning behielt RAP unter einem 80 %-Budget 86 % der Genauigkeit des dichten Modells bei und übertraf führende Baselines um +8,2 % (Llama2-7B) bzw. +11,5 % (Llama3-8B).
Resilienz: Unter schweren 60 %-Speicherbeschränkungen war RAP die einzige Methode, die über 60 % der Leistung des dichten Modells beibehielt, während andere Methoden katastrophale Verschlechterungen erlitten.
Ablationsstudien:
- Das Entfernen von GSI (unter Verwendung statischer one-shot-Bewertung) führte zu einem Rückgang der durchschnittlichen Commonsense-Genauigkeit um 13,17 %.
- Das Entfernen des RL-Agents (unter Verwendung zufälligen Block-Droppings) resultierte im Vergleich zur gelernten Richtlinie in einem massiven Anstieg der Perplexität (+301,71 auf WikiText2) und unterstreicht die Notwendigkeit adaptiver Entscheidungsfindung.
Overhead: Der RL-Controller fügt einen vernachlässigbaren Laufzeit-Overhead hinzu (<1 % Latenzzunahme) aufgrund seiner kompakten Architektur (18K Parameter), während die Offline-GSI-Berechnung eine einmalige Kostenstelle darstellt, die über die Bereitstellung amortisiert wird.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RAP die Lücke zwischen statischen Kompressionstechniken und dynamischen Szenarien der realen Bereitstellung schließt. Durch die Abkehr von „one-size-fits-all"-Heuristiken ermöglicht RAP:

Skalierbare Edge-Bereitstellung: Es erlaubt LLMs, sich bei engen, schwankenden Speicherbeschränkungen auf Geräten zu platzieren, indem es bei Bedarf erhebliche Gewichte prunt, während es bei ausreichenden Ressourcen die volle Kapazität beibehält.
Effizienz ohne Qualitätsverlust: Es erzielt überlegene Speichereinsparungen und schnellere Inferenz mit minimalen Auswirkungen auf die Ausgabequalität und navigiert effektiv durch die Trade-offs zwischen parameterlastigen und KV-Cache-lastigen Engpässen.
Generalisierbarkeit: Das Framework erweist sich als architekturagnostisch und funktioniert gut über verschiedene Modellfamilien (Llama, Qwen) und Generationen hinweg.

Die Autoren positionieren RAP als einen flexiblen, kontextbewussten Kompressionsmechanismus, der die LLM-Inferenz in heterogenen Umgebungen machbar macht, in denen feste Strategien versagen.