💬 NLP

When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding?

Dieser Beitrag stellt KVShot vor, ein Diagnoseframework, das zeigt, wie die Wiederverwendung von Ziel-KV-Caches durch Entwurfsmodelle den langfristigen Genauigkeitsverlust beim spekulativen Decodieren mindert, und gleichzeitig strukturelle Engpässe in aktuellen Trainingspipelines aufdeckt, die einen Übergang zu blockweisen Trainingsparadigmen erforderlich machen.

Ursprüngliche Autoren: Tianyu Liu, Yuhao Shen, Xinyi Hu, Baolin Zhang, Hengxin Zhang, Jun Dai, Jun Zhang, Shuang Ge, Lei Chen, Yue Li, MingCheng Wan

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianyu Liu, Yuhao Shen, Xinyi Hu, Baolin Zhang, Hengxin Zhang, Jun Dai, Jun Zhang, Shuang Ge, Lei Chen, Yue Li, MingCheng Wan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den nächsten Satz in einer Geschichte vorherzusagen. Sie haben einen superintelligenten Autor (das Zielmodell), der die Geschichte perfekt schreibt, aber sehr langsam ist, da er Wort für Wort schreibt. Um die Geschwindigkeit zu erhöhen, stellen Sie einen schnellen Assistenten (das Entwurfsmodell) ein, der die nächsten paar Wörter für den Autor erraten soll, damit dieser sie überprüft. Wenn der Assistent richtig liegt, bestätigt der Autor sie einfach, was Zeit spart. Wenn der Assistent falsch liegt, muss der Autor von vorne beginnen.

Die Arbeit stellt eine einfache Frage: Wie können wir dem schnellen Assistenten helfen, besser zu raten, insbesondere für Wörter weiter unten in der Sequenz?

Das Problem: Der „unscharfe Foto"-Effekt

Derzeit erhalten die besten Assistenten ihre Hinweise aus den „Gedanken" des Autors (sogenannte versteckte Zustände).

Die Analogie: Stellen Sie sich vor, der Autor betrachtet eine lange Liste von Hinweisen, um das nächste Wort zu schreiben. Um eine Entscheidung zu treffen, blinzelt er und fasst die gesamte Liste zu einem einzigen, unscharfen Foto zusammen. Dieses Foto ist perfekt geeignet, um das sehr nächste Wort zu bestimmen.
Das Problem: Wenn der Assistent versucht, das fünfte oder sechste Wort im Voraus zu erraten, betrachtet er dasselbe unscharfe Foto. Doch das Foto wurde zusammengedrückt, um das erste Wort zu lösen. Wichtige Details, die für das erste Wort ignoriert wurden (weil sie noch nicht relevant waren), könnten für das fünfte Wort entscheidend sein. Bis der Assistent versucht, weit im Voraus zu raten, wurden die Hinweise, die er benötigt, aus dem Foto „herauskomprimiert". Je weiter er versucht zu raten, desto unschärfer und ungenauer wird er. Dies wird als „Langstrecken-Decay" bezeichnet.

Die vorgeschlagene Lösung: Der „vollständige Aktenschrank"

Die Autoren schlagen einen anderen Ansatz vor: Statt dem Assistenten das „geblinzelte Foto" (versteckter Zustand) des Autors zu geben, geben Sie ihm den gesamten Aktenschrank mit Hinweisen (den KV-Cache).

Die Analogie: Der Aktenschrank enthält jeden einzelnen Hinweis, perfekt erhalten, ohne zu blinzeln oder zusammenzufassen.
Der neue Job: Jetzt muss der Assistent nicht erraten, wie die Hinweise waren. Er hat alle Hinweise direkt vor sich. Seine einzige Aufgabe besteht darin, herauszufinden, welche Hinweise er für das zukünftige Wort betrachten muss. Es ist, als würde man ihm eine Bibliothek geben und ihn bitten, das richtige Buch für ein zukünftiges Kapitel zu finden. Sie haben alle Informationen; Sie müssen nur wissen, wie Sie danach suchen.

Das Experiment: „KVShot"

Die Forscher bauten einen Testbereich namens KVShot, um drei Methoden zu vergleichen, wie man dem Assistenten hilft:

Der alte Weg (nur versteckte Zustände): Geben Sie dem Assistenten das unscharfe Foto. (Das ist es, was aktuelle Systeme tun).
Der neue Weg (nur KV): Geben Sie dem Assistenten den vollständigen Aktenschrank, aber kein Foto.
Der hybride Weg: Geben Sie dem Assistenten das unscharfe Foto plus den Aktenschrank, damit er den Schrank nutzen kann, um Fehler im Foto zu korrigieren.

Was sie fanden

Der Aktenschrank hilft (schließlich): Wenn der Assistent versucht, Wörter weit im Voraus zu erraten (Schritte 3, 4, 5+), ist der Ansatz mit dem „vollständigen Aktenschrank" viel besser als das unscharfe Foto. Er verliert Informationen nicht so schnell.
Aber es ist schwer zu lernen: Der Ansatz mit dem „Aktenschrank" hat einen Haken. Der Assistent ist ein sehr kleines, einfaches Modell. Es hat Schwierigkeiten zu lernen, wie man den Schrank effektiv durchsucht. Es ist, als würde man einem Kind eine riesige Bibliothek geben und es bitten, ein bestimmtes Buch für eine Geschichte zu finden, die es noch nicht geschrieben hat; es wird überwältigt.
- Als sie den Assistenten etwas schlauer machten (tiefer), wurde er besser darin, den Schrank zu nutzen, aber er konnte die Methode mit dem „unscharfen Foto" immer noch nicht für das sehr erste Wort schlagen.
Der Hybrid gewinnt (leicht): Das beste Ergebnis kam vom hybriden Ansatz. Der Assistent nutzte das unscharfe Foto für das unmittelbar nächste Wort (wo es großartig ist) und den Aktenschrank, um sich für die späteren Wörter zu korrigieren.
Die Geschwindigkeitsfalle: Obwohl der hybride Assistent im Labor mehr Wörter korrekt erraten hat, verbesserte sich die Gesamtgeschwindigkeit in der realen Welt nicht wesentlich.
- Warum? Die Methode mit dem „Aktenschrank" erfordert, dass der Assistent zusätzliche Mathematik betreibt, um die Hinweise zu durchsuchen. Diese zusätzliche Arbeit verlangsamte den Assistenten gerade genug, um die durch das korrektere Erraten von mehr Wörtern gewonnene Zeit aufzuheben.

Die Ursache: Das Trainings-Mismatch

Die Arbeit kommt zu dem Schluss, dass das Problem nicht der „Aktenschrank" selbst ist, sondern wie der Assistent trainiert wird.

Derzeit wird der Assistent trainiert, ein Wort nach dem anderen zu erraten, nacheinander (wie ein langsamer, sequenzieller Prozess).
Um den „Aktenschrank" effektiv zu nutzen, muss der Assistent jedoch viele Wörter gleichzeitig sehen, um zu lernen, wie man sucht.
Da die Trainingsmethode zu langsam und sequenziell ist, lernt der Assistent nie, die volle Kraft der Hinweise zu nutzen. Es ist, als würde man jemanden versuchen, ein Rennauto zu fahren zu lehren, indem man ihm nur erlaubt, mit 5 Meilen pro Stunde auf einem Parkplatz zu fahren.

Das Fazit

Die Arbeit beweist, dass das Beibehalten der „vollständigen Hinweise" (KV-Cache) ein besserer Weg ist, Informationen für lange Vorhersagen zu bewahren, als die Verwendung von „zusammengefassten Gedanken" (versteckte Zustände). Allerdings sind unsere aktuellen Trainingsmethoden zu ungeschickt, um dem Assistenten beizubringen, wie man diese Hinweise effizient nutzt. Um dies in der realen Welt funktionsfähig zu machen, müssen wir ändern, wie wir diese Modelle trainieren, weg von „ein Wort nach dem anderen" hin zu „Wortblöcken auf einmal".

1. Problemstellung

Langstrecken-Zerfall beim spekulativen Decodieren:
Das spekulative Decodieren beschleunigt die Inferenz von Large Language Models (LLM), indem ein leichtgewichtiges „Drafter"-Modell mehrere Token vorschlägt, die von einem größeren „Ziel"-Modell verifiziert werden. Aktuelle State-of-the-Art-Drafter (z. B. EAGLE-3, MTP) verlassen sich auf die Wiederverwendung von Hidden States, indem sie die internen Hidden States des Zielmodells in den Drafter einspeisen.

Das Problem: Diese Systeme leiden unter Langstrecken-Zerfall: Die Genauigkeit des Entwurfs nimmt progressiv ab, je größer der spekulative Schritt $k$ wird.
Bestehende Erklärung: Die Community führt dies auf ein Train-Inference-Mismatch zurück (der Drafter konditioniert während der Inferenz auf seine eigenen driftenden Hidden States, anders als beim Training). Obwohl Test-Time Training (TTT) dies mildert, persistiert der Zerfall.
Die Lücke: Das Paper argumentiert, dass das Train-Inference-Mismatch nicht die alleinige Ursache ist. Das fundamentale Problem liegt in der Erhaltung von Kontextinformationen. Hidden States fungieren als eine „verzerrte Kontextkompression", die für das unmittelbare nächste Token optimiert ist und Informationen verwirft, die für zukünftige spekulative Schritte relevant sind.

2. Kernhypothese und theoretische Analyse

Die Autoren schlagen die KV-Reuse-Hypothese vor: Die Wiederverwendung des KV-Caches (Key-Value-Paare) des Zielmodells anstelle von nur Hidden States kann einen reichhaltigeren Kontext für das Langstrecken-Drafting bewahren.

Wiederverwendung von Hidden States (Verzerrte Kompression):
- Ziel-Hidden States sind das Ergebnis einer Attention-Aggregation: $h_t = \sum \alpha_i v_i$ .
- Die Gewichte $\alpha_i$ sind darauf optimiert, das aktuelle Token $x_{t+1}$ vorherzusagen.
- Token, die für $x_{t+1}$ nur schwach relevant sind, erhalten nahezu Null-Gewichte und werden in $h_t$ effektiv verworfen.
- Konsequenz: Für spätere spekulative Schritte ( $x_{t+k}$ ) muss der Drafter Informationen wiederherstellen, die durch den Attention-Mechanismus des Ziels unterdrückt wurden – ein schlecht konditioniertes „Informations-Wiederherstellungs"-Problem.
KV-Wiederverwendung (Expliziter Kontext):
- Der KV-Cache behält den vollständigen Satz von $(k_i, v_i)$ -Paaren vor der Aggregation bei.
- Der Drafter kann eine Re-Attention durchführen, indem er seine eigenen geschätzten zukünftigen Queries gegen den vollständigen Prefix-KV-Cache verwendet.
- Konsequenz: Es wird keine Information vor der Verarbeitung durch den Drafter verworfen. Die Schwierigkeit verschiebt sich von „verlorene Informationen wiederherstellen" zu „zukünftige Queries genau schätzen" (ein Funktionsapproximationsproblem).

3. Methodik: Das KVShot-Framework

Um diese Hypothese zu testen, stellen die Autoren KVShot vor, ein diagnostisches Framework, das drei Wiederverwendungs-Paradigmen unter demselben Autoregressiven Test-Time Training (TTT)-Pipeline (wie bei EAGLE-3 verwendet) vergleicht:

Nur-Hidden-Reuse: Standard-EAGLE-3/MTP-Ansatz (Verkettung der Ziel-Hidden States).
Nur-KV-Reuse: Der Drafter erhält den Ziel-KV-Cache via Cross-Attention und ersetzt Hidden States vollständig.
Hybrider Reuse: Ein gated-Fusionsmechanismus, bei dem der Hidden State den Hauptanker liefert und der KV-Cache eine „gated Delta-Korrektur" für Langstreckenschritte bereitstellt.

Experimenteller Aufbau:

Zielmodell: Qwen3-8B.
Datensätze: ShareGPT und UltraChat (skaliert von 70.000 auf 280.000 Samples).
Metriken: Schrittweise Akzeptanzraten ( $\alpha_k$ ), Mittlere Akzeptierte Token (MAT) und End-to-End (E2E) Speedup-Proxy-Werte.

4. Wichtige Ergebnisse

A. Validierung der Vorhersagen (Schrittweise Analyse)

Die Experimente bestätigten drei theoretische Vorhersagen:

Langstrecken-Vorteil: Die Nur-KV-Wiederverwendung verschlechtert sich mit steigendem $k$ weniger stark als die Nur-Hidden-Wiederverwendung. Beim Schritt $k=6$ übertraf ein 4-lagiger Nur-KV-Drafter die EAGLE-3-Baseline ( $\alpha_6 = 0,495$ vs. $0,469$).
Query-Schätzung als Engpass: Die Leistung der Nur-KV-Wiederverwendung hängt stark von der Tiefe des Drafters ab. Ein 1-lagiger Drafter schnitt schlecht ab (MAT 1,84), da er komplexe Ziel-Queries nicht approximieren kann. Eine Erhöhung der Tiefe auf 2 Lagen ergab einen massiven Sprung (MAT 2,23), aber 4 Lagen brachten abnehmende Grenzerträge und blieben in der Gesamteffizienz hinter der 1-lagigen EAGLE-3-Baseline (MAT 2,37) zurück.
Nachteil bei Kurzstrecke: Bei $k=0$ oder $1$ übertrifft die Wiederverwendung von Hidden States die Nur-KV-Wiederverwendung, da Hidden States reichhaltigere semantische Inhalte tragen als die rohen Embeddings, die für die KV-Re-Attention verwendet werden.

B. Hybride Leistung

Der Hybride Drafter (Kombination beider Signale) erzielte die besten schrittweisen Ergebnisse:

MAT: 2,54 (vs. 2,37 für die EAGLE-3-Baseline).
Retention: Verbesserung des Langstrecken-Retentionsverhältnisses von 73,5 % auf 77,3 %.
Mechanismus: Die gated-Delta-Regel ermöglichte es dem KV-Pfad erfolgreich, den Hidden-State-Pfad bei längeren Horizonten zu korrigieren, ohne die Kurzstreckengenauigkeit zu stören.

C. Der End-to-End-Realitätscheck

Trotz schrittweiser Verbesserungen war der End-to-End (E2E) Speedup marginal:

HF-gemessenes MAT: Stieg nur von 5,01 (EAGLE-3) auf 5,04 (Hybrid).
Latenz: Der zusätzliche Cross-Attention-Pfad führte zu einer 5–10 % höheren Drafting-Latenz.
Fazit: Die aktuelle autoregressive TTT-Pipeline kann das KV-Signal nicht effizient nutzen, um die zusätzlichen Rechenkosten zu kompensieren.

5. Identifizierte strukturelle Engpässe

Das Paper identifiziert drei spezifische Gründe, warum die aktuelle Pipeline schrittweise Gewinne nicht in E2E-Speedups übersetzt:

Schwierigkeit der Query-Schätzung: Die Schätzung zukünftiger Ziel-Queries erfordert die Nachbildung der mehrschichtigen nichtlinearen Transformationen des Zielmodells. Flache Drafter (1–2 Lagen) verfügen nicht über die Kapazität, diese Queries genau zu approximieren.
Spärliche Gradientensignale: Beim autoregressiven TTT werden die KV-Projektionen auf der Draft-Seite ( $W_K, W_V$ ) nur durch die wenigen vom Drafter generierten Token (z. B. 7 Token) pro Schritt aktualisiert, während der Prefix-KV kopiert wird. Dies führt zu extrem spärlichen und unausgewogenen Gradienten für den KV-Pfad.
Gate-induzierte Gradientenverhungrung: Im hybriden Modell neigt das Gate, das die KV-Korrektur steuert, dazu, früh im Training auf nahe Null zu kollabieren (da der zufällig initialisierte KV-Zweig zunächst als Rauschen beginnt). Sobald es geschlossen ist, blockiert das Gate Gradienten zum KV-Zweig und verhindert, dass dieser lernt, nützlich zu sein. Dies erzeugt einen „selbstverstärkenden Zustand geringer Injektion".

6. Bedeutung und zukünftige Richtungen

Konzeptueller Wandel: Das Paper neu rahmt den Langstrecken-Zerfall nicht nur als Train-Inference-Mismatch, sondern als ein Informations-Erhaltungsproblem. Es beweist, dass Hidden States eine verlustbehaftete Kompression für Langhorizont-Aufgaben darstellen.
Diagnose-Tool: KVShot bietet einen grundlegenden Testboden, um Repräsentationseffekte von Trainingsartefakten zu isolieren.
Fahrplan für Architektur der nächsten Generation: Die Ergebnisse deuten darauf hin, dass autoregressives TTT für KV-bewusstes Decodieren unzureichend ist. Um das Potenzial der KV-Wiederverwendung zu realisieren, muss die Branche zu Block-weise Trainings-Paradigmen (z. B. DFlash) übergehen.
- Block-weise Training generiert viele Draft-Token parallel und liefert dichte Gradientensignale für KV-Projektionen.
- Es ermöglicht tiefere Draft-Modelle, die eine genaue Query-Schätzung ohne sequenzielle Latenzstrafen ermöglichen.

Zusammenfassung: Während KV-Caches theoretisch ein überlegenes Signal für das Langstrecken-spekulative Decodieren bieten, indem sie den Kontext bewahren, scheitern aktuelle autoregressive Trainingspipelines daran, dies aufgrund von Limitierungen bei der Query-Schätzung und Gradientenverhungrung zu nutzen. Der Weg nach vorne liegt in blockweisen, parallelen Trainingsarchitekturen.