💬 NLP

Experience-Driven Dynamic Exits for LLMs with Reinforcement Learning

Das Papier schlägt LEDE vor, ein Framework, das Offline-Reinforcement-Learning nutzt, um Exit-Layer und Spekulationslängen in Large Language Models dynamisch zu optimieren, wodurch signifikante Beschleunigungen der Inferenz gegenüber sowohl dem standardmäßigen autoregressiven Decoding als auch statischen spekulativen Baselines erzielt werden.

Ursprüngliche Autoren: Yanyu Zhu, Hoilam Pao, Niu Hu, Wei Guo, Shaoxiong Zhan, Boyu Lai, Zitai Wang, Yongqin Zeng, Hai-Tao Zheng

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanyu Zhu, Hoilam Pao, Niu Hu, Wei Guo, Shaoxiong Zhan, Boyu Lai, Zitai Wang, Yongqin Zeng, Hai-Tao Zheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen ein sehr langes, komplexes Buch, das von einer superintelligenten KI geschrieben wurde. Jedes Mal, wenn die KI das nächste Wort schreiben möchte, muss sie einen gewaltigen mentalen Marathon absolvieren und jedes einzelne Kapitel ihres internen „Gehirns“ prüfen, um sicherzustellen, dass das Wort perfekt ist. So funktionieren aktuelle KI-Modelle: Sie durchlaufen diesen gesamten Prozess für jedes einzelne Wort, was sie langsam und energiehungrig macht.

Das Paper stellt ein neues System namens LEDE (Learning-based Dynamic Exit) vor, das wie ein intelligenter Coach für diese KI fungiert und sie lehrt, wie sie Abkürzungen nimmt, ohne an Genauigkeit zu verlieren.

So funktioniert es, erklärt durch einfache Analogien:

Das Problem: Der „Einheitsmarathon“

Derzeit nutzen KI-Modelle eine Methode namens Speculative Decoding. Stellen Sie sich das so vor, als hätte die KI einen „Entwurfsassistenten“ (eine kleinere, schnellere Version ihrer selbst), der die nächsten paar Wörter errät. Die Haupt-KI prüft dann diese Vermutungen.

Die aktuelle Art und Weise der Umsetzung ist jedoch starr. Es ist wie ein Coach, der dem Assistenten sagt: „Egal, was der Satz ist, rate immer genau 4 Wörter und höre immer nach Schicht 5 des Gehirns mit dem Prüfen auf.“

Das Problem: Manche Wörter sind einfach (wie „der“ oder „und“). Die KI muss dafür keinen Marathon laufen, um sie vorherzusagen. Andere Wörter sind schwer (wie komplexe Mathematik oder Programmierung). Die KI muss tief nachdenken.
Das Ergebnis: Das starre System verschwendet Energie bei einfachen Wörtern und überstürzt manchmal bei schwierigen Wörtern, was zu Fehlern oder verpassten Geschwindigkeitspotenzialen führt.

Die Lösung: Der „Intelligente Coach“ von LEDE

LEDE verändert das Spiel, indem es Reinforcement Learning (eine Art von KI-Training, bei dem man durch Versuch und Irrtum lernt, wie ein Hund, der Tricks gegen Leckerlis lernt) verwendet.

Anstatt einer festen Regel trainiert LEDE einen „Intelligenten Coach“ (einen Agenten), um Entscheidungen in Echtzeit zu treffen. Hier ist die Analogie:

Der Zustand (Der Kontrollpunkt): Während die KI ein Wort schreibt, durchläuft sie verschiedene Schichten ihres Gehirns. An jeder Schicht prüft der Intelligente Coach das „Vertrauen“ der KI.
- Analogie: Stellen Sie sich vor, die KI geht einen Hügel hinauf. An jedem Schritt fragt der Coach: „Bist du sicher, dass du den Weg vor dir kennst?“ Wenn die KI sehr zuversichtlich ist, sagt der Coach: „Super, bleib hier stehen!“ Wenn die KI verwirrt ist, sagt der Coach: „Geh weiter den Hügel hoch, um eine bessere Aussicht zu bekommen.“
Die Aktion (Die Entscheidung): Der Coach hat an jedem Schritt zwei Möglichkeiten:
- Exit (Ausstieg): „Stopp hier! Wir haben genug Informationen, um das Wort zu erraten.“ (Dies spart Zeit).
- Continue (Fortfahren): „Geh tiefer in das Gehirn hinein, um eine bessere Vermutung zu bekommen.“ (Dies sichert die Genauigkeit).
Die Belohnung (Das Leckerli): Der Coach lernt, indem er Punkte erhält.
- Wenn er früh stoppt und die Vermutung korrekt ist, erhält er eine große Belohnung (weil er Zeit gespart hat).
- Wenn er früh stoppt und die Vermutung falsch ist, erhält er eine Strafe (weil er Zeit durch die Korrektur des Fehlers verschwendet hat).
- Wenn er weitergeht, obwohl er es nicht musste, erhält er eine kleine Strafe (weil er Energie verschwendet hat).

Wie es lernt (Offline-Training)

Bevor die KI jemals mit einem Menschen spricht, übt der Intelligente Coach in einer Simulation. Er durchläuft tausende Beispiele und probiert verschiedene Strategien aus.

Er versucht früh zu stoppen, dann später, dann wieder früher.
Er führt ein „Notizbuch“ (Replay Buffer), in dem steht, was funktioniert hat und was nicht.
Mit der Zeit lernt er eine perfekte Strategie: „Für einfache Sätze: Stoppe bei Schicht 3. Für schwierige Programmieraufgaben: Gehe bis zu Schicht 8.“

Die Ergebnisse: Die Beschleunigung der KI

Das Paper hat dies an mehreren KI-Modellen getestet (wie Llama-2 und Llama-3) und festgestellt, dass LEDE viel schneller ist als die alten starren Methoden.

Geschwindigkeit: Es machte die KI 2,0- bis 2,7-mal schneller als die standardmäßige langsame Methode.
Effizienz: Selbst im Vergleich zu anderen „intelligenten“ Methoden, die feste Regeln verwenden, war LEDE 17 % schneller.
Qualität: Die KI machte nicht mehr Fehler; sie hat lediglich gelernt, wann sie aufhören muss zu denken und anfangen muss zu schreiben.

Zusammenfassung

Betrachten Sie die alte KI als einen Schüler, der jedes einzelne Kapitel eines Lehrbuchs liest, bevor er eine einfache Frage beantwortet wie „Was ist 2+2?“.
LEDE ist wie ein Schüler, der gelernt hat zu erkennen: „Oh, das ist eine einfache Frage, die Antwort kenne ich sofort, also schreibe ich sie einfach auf.“ Aber wenn die Frage schwer ist, weiß der Schüler, dass er das ganze Kapitel lesen muss.

Indem LEDE die KI lehrt, flexibel zu sein – also genau zu wissen, wann sie aufhören und wann sie weitermachen soll – macht es große Sprachmodelle signifikant schneller und effizienter, ohne die Struktur des Gehirns des Modells selbst ändern zu müssen.

Technisches Resümee: LEDE – Erfahrungsorientierte dynamische Exits für LLMs mittels Reinforcement Learning

1. Problemstellung

Große Sprachmodelle (LLMs) leiden unter signifikanter Latenz während der autoregressiven Inferenz, da jedes generierte Token den gesamten Stapel von Transformer-Schichten durchlaufen muss. Während Self-Speculative Decoding (SSD) vorgeschlagen wurde, um diesen Prozess zu beschleunigen, indem die eigenen frühen Schichten eines Modells als interner „Entwurfsschritt“ (Drafter) genutzt werden, um Kandidaten-Token parallel zu generieren, sind aktuelle SSD-Methoden fundamental durch statische Konfigurationen begrenzt.

Bestehende Ansätze verlassen sich auf feste Entwurfstiefen und feste Spekulationslängen, die einheitlich über den gesamten Generierungsprozess angewendet werden. Diese Starrheit berücksichtigt nicht die kontextuelle Sparsamkeit, bei der die Schwierigkeit der Vorhersage von Token je nach lokalem Kontext erheblich variiert. Folglich können statische Methoden das Gleichgewicht zwischen Entwurfsqualität (Akzeptanzrate) und Spekulationsgeschwindigkeit nicht optimal ausbalancieren, was zu einer suboptimalen Inferenzleistung führt.

2. Methodik: Das LEDE-Framework

Die Autoren schlagen LEDE (Learning-based Dynamic Exit) vor, ein Framework, das die dynamische Steuerung von SSD als Markov-Entscheidungsprozess (MDP) umformuliert. Anstatt starre, vordefinierte Regeln zu verwenden, nutzt LEDE Offline-Reinforcement Learning (RL), um eine Policy zu trainieren, die sowohl den optimalen Exit-Layer als auch die Spekulationslänge basierend auf dem lokalen Kontext der generierten Sequenz dynamisch auswählt.

2.1 Formulierung des Markov-Entscheidungsprozesses

Das Framework modelliert den Entscheidungsprozess während eines einzelnen Generierungsschritts als MDP mit den folgenden Komponenten:

Zustandsraum ( $S$ ): Der Agent beobachtet einen Zustandsvektor $s_l$ $s_{l}$ an jedem Kandidaten-Layer $l$ $l$ . Dieser Vektor wird aus der internen Token-Verteilung des Modells abgeleitet und umfasst:
- Token-Konfidenz ( $C_k^l$ ): Die durchschnittliche negative Log-Wahrscheinlichkeit der Top- $k$ Token.
- Token-Entropie ( $H^l$ ): Die Unsicherheit der Next-Token-Vorhersageverteilung.
- Durchschnittlicher Trace der Token-Konfidenz ( $C_{trace}$ ): Die durchschnittliche negative Log-Wahrscheinlichkeit des Top-1 Tokens über ein gleitendes Fenster vorangegangener Schritte.
Aktionsraum ( $A$ ): An jedem Kandidaten-Layer entscheidet die Policy (ein Q-Netzwerk) zwischen zwei Aktionen:
- Fortfahren (Continue, $a=0$ ): Zum nächsten Kandidaten-Layer fortfahren.
- Beenden (Exit, $a=1$ ): Den aktuellen Layer als optimalen Exit-Layer ( $l^*$ ) für die Entwurfsphase festlegen.
Belohnungsfunktion ( $R$ ): Entwickelt zur Optimierung der Ineffizienz.
- Positive Belohnung: Wird vergeben, wenn das Entwurfs-Token akzeptiert wird ( $x_t^{l^*} = x_t^L$ ), skaliert mit der eingesparten Tiefe ( $1 + \frac{L-l^*}{L}$ ).
- Negative Belohnung: Wird vergeben, wenn das Entwurfs-Token abgelehnt wird ( $-2 + \frac{L-l^*}{L}$ ).
- Strafe (Penalty): Eine kleine Strafe ($-0,01$) wird für das Fortfahren angewendet, um frühe Exits, wenn angemessen, zu fördern.

2.2 Policy-Optimierung via Offline-RL

LEDE nutzt ein Deep Q-Network (DQN), das offline unter Verwendung eines Replay-Buffers vergangener Inferenz-Erfahrungen trainiert wird:

Datenerfassung: Eine initiale Explorationsphase sammelt diverse Erfahrungstupel $(s_t, a_t, r_t, s_{t+1})$ , bei denen der Agent mit der Umgebung interagiert.
Offline-Training: Das Q-Netzwerk wird durch Minimierung des n-Schritt-Temporal-Difference (TD)-Fehlers trainiert. Der Zielwert wird unter Verwendung eines stabilen Target-Netzwerks berechnet, welches die unmittelbare Belohnung eines frühen Exits gegen den langfristigen Wert des Zustands abwägt.
Dual-Control-Mechanismus: Während der Online-Inferenz führt der trainierte Agent zwei adaptive Kontrollen durch:
- Dynamische Auswahl des Exit-Layers: Er bestimmt die optimale Tiefe $l^*$ für den Beginn des Entwurfs.
- Adaptive Entwurfslänge: Nach der Auswahl von $l^*$ evaluiert der Agent den Zustand nach jedem Entwurfs-Token neu. Eine „Exit“-Aktion setzt den Entwurf fort (Indikation hoher Konfidenz), während eine „Continue“-Aktion (Indikation niedriger Konfidenz) den Entwurf sofort zur Verifizierung beendet.

3. Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

MDP-Formulierung: Es ist die erste Arbeit, welche die dynamische Steuerung von Entwurfstiefe und Spekulationslänge in SSD als MDP-Problem formuliert und Reinforcement Learning anwendet, um eine Steuerungs-Policy abzuleiten.
LEDE-Framework: Das Design und die Implementierung eines Frameworks, das Offline-RL und Experience Replay nutzt, um eine kontextsensitive Policy zu erlernen und so die Einschränkungen sowohl statischer Konfigurationen als auch einfacher heuristischer Methoden zu überwinden.
Empirische Validierung: Umfassende Experimente, die signifikante Beschleunigungen gegenüber der autoregressiven Generierung und beträchtliche Effizienzgewinne gegenüber statischen Baselines demonstrieren.

4. Experimentelle Ergebnisse

Das Framework wurde auf Llama-2 (7B, 13B) und Llama-3 (1B) sowie auf CodeLLaMA (7B, 34B) über diverse Aufgaben hinweg evaluiert, einschließlich Instruction Following, Summarization, Language Modeling und Code Generation.

Beschleunigungsleistung (Speedup):
- LEDE erreicht eine durchschnittliche Beschleunigung von 2,32× gegenüber dem Standard-Autoregressive Decoding.
- Spitzenbeschleunigungen erreichen 2,72× (z. B. bei Llama-2-7B für Language Modeling).
- LEDE bietet eine zusätzliche 17%ige Beschleunigung gegenüber der besten statischen Spekulations-Baseline (LayerSkip).
Vergleich mit Baselines:
- LayerSkip (Statisch): Die Performance ist hochsensibel gegenüber festen Konfigurationen und generalisiert nicht gut über Aufgaben hinweg.
- Regelbasierte Methoden (LITE, Draft & Verify): Durch vordefinierte Schwellenwerte begrenzt, was zu suboptimalen Trade-offs zwischen Tiefe und Akzeptanzraten führt.
- LEDE: Durch das Erlernen einer feingranularen Steuerungs-Policy übertrifft es alle Baselines konsistent in der Geschwindigkeit, während es eine vergleichbare Generierungsqualität (gemessen an Rouge-L) beibehält.
Ablationsstudie: Das Entfernen entweder der dynamischen Auswahl des Exit-Layers oder der adaptiven Entwurfslänge verschlechtert die Performance signifikant (Abfall der Beschleunigung auf ~2,0×), was bestätigt, dass beide Mechanismen synergetisch und essenziell sind.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass LEDE eine konzeptionelle Verschiebung von starrer, heuristikgetriebener Inferenz hin zu adaptiver, policygesteuerter Inferenz darstellt. Durch das Erlernen der Co-Optimierung von Rechentiefe und Spekulationslänge basierend auf dem Echtzeit-Kontext ermöglicht das Framework ein robusteres und effizienteres Decoding über diverse Modelle und Aufgaben hinweg.

Die Autoren positionieren diese Arbeit als einen Schritt hin zum Aufbau intelligenterer und recheneffizienterer LLM-Systeme. Sie merken an, dass sich zukünftige Arbeiten darauf konzentrieren werden, diese Vorteile auf größere Modelle (70B-Skala und darüber hinaus) zu skalieren, aber der aktuelle Beitrag etabliert die Lebensfähigkeit des Einsatzes von Offline-Reinforcement Learning zur dynamischen Verwaltung der Inferenz-Pipeline großer Sprachmodelle.