💬 NLP

Beyond the Target: From Imitation to Collaboration in Speculative Decoding

Dieser Beitrag stellt Collaborative Speculative Decoding (CoSpec) vor, ein neuartiges Framework, das den herkömmlichen auf Imitation basierenden Ansatz durch eine durch Bestärkendes Lernen gesteuerte Arbitrierungsrichtlinie ersetzt, wodurch ein kleineres Entwurfsmodell selektiv Token beisteuern kann, selbst wenn diese mit dem größeren Zielmodell nicht übereinstimmen, und somit sowohl erhebliche Beschleunigungen der Inferenz als auch eine überlegene finale Genauigkeit erreicht werden.

Ursprüngliche Autoren: Jinze Li, Yixing Xu, Guanchen Li, Jinfeng Xu, Shuo Yang, Yang Zhang, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum

Veröffentlicht 2026-05-26

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jinze Li, Yixing Xu, Guanchen Li, Jinfeng Xu, Shuo Yang, Yang Zhang, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Rätsel zu lösen, wie etwa ein komplexes mathematisches Problem oder eine knifflige Programmieraufgabe. Sie haben zwei Personen, die Ihnen helfen:

Der Experte (Zielmodell): Ein brillanter, hochqualifizierter Professor, der fast alles weiß, aber sehr langsam ist. Er nimmt sich Zeit, um jeden einzelnen Schritt zu überdenken, bevor er ihn aufschreibt.
Der Praktikant (Entwurfsmodell): Ein schneller, energiegeladener, aber weniger erfahrener Assistent. Er kann sehr schnell denken und schreiben, macht jedoch häufiger Fehler.

Der alte Weg: „Der strenge Supervisor"

Bei der traditionellen Methode (genannt Spekulative Dekodierung) versucht der Praktikant, die nächsten Schritte der Lösung zu erraten und schreibt sie schnell auf. Anschließend prüft der Experte sie.

Die Regel: Wenn die Vermutung des Praktikanten exakt mit dem Gedanken des Experten übereinstimmt, sagt der Experte: „Großartig, machen Sie weiter!" und sie gehen gemeinsam voran.
Das Problem: Wenn der Praktikant auch nur ein Wort anders rät, sagt der Experte sofort: „Nein, das ist falsch", streicht es durch und schreibt seine eigene Version. Die Arbeit des Praktikanten wird verworfen, selbst wenn der Praktikant in diesem spezifischen Teil eigentlich recht hatte!

Die Arbeit argumentiert, dass dies verschwenderisch ist. Manchmal hat der Praktikant eine brillante Idee, die der Experte übersehen hat, weil der Experte in einer bestimmten Denkweise feststeckt. Indem das System die abweichenden Ideen des Praktikanten blind ablehnt, verpasst es gute Lösungen.

Der neue Weg: „Das kollaborative Team" (CoSpec)

Die Autoren stellen ein neues System namens Kollaborative Spekulative Dekodierung (CoSpec) vor. Anstatt dass der Experte der alleinige Chef ist, fügen sie einen klaren Vermittler (eine Arbitrierungsrichtlinie) hinzu.

So funktioniert es:

Das Setup: Der Praktikant schreibt immer noch schnell einen Block von Ideen auf. Der Experte prüft sie parallel (gleichzeitig).
Die Übereinstimmung: Wenn sie sich einig sind, großartig! Sie kommen schnell voran.
Die Meinungsverschiedenheit: Wenn Praktikant und Experte bei einem Schritt nicht übereinstimmen, greift der Vermittler ein.
- Der Vermittler betrachtet den Kontext, die Idee des Praktikanten und die Idee des Experten.
- Er fragt: „Welcher dieser beiden Wege führt mit größerer Wahrscheinlichkeit zur korrekten Endergebnis?"
- Wenn der Vermittler der Ansicht ist, dass die abweichende Idee des Praktikanten tatsächlich die bessere Wahl ist, sagt er: „Behalten Sie die Idee des Praktikanten!"
- Wenn der Praktikant eindeutig falsch liegt, sagt er: „Gehen Sie mit dem Experten."

Warum das wichtig ist

Stellen Sie es sich wie eine Sportmannschaft vor. Im alten System würde der Trainer (Experte) den Star-Spieler (Praktikant) sofort von der Bank holen, sobald dieser einen anderen Spielzug als den im Trainerbuch vorgeschriebenen versuchte, selbst wenn dieser andere Spielzug der siegreiche Zug gewesen wäre.

Im neuen System hört der Trainer auf den Assistenztrainer. Wenn der Assistent einen anderen Spielzug vorschlägt, der das Spiel gewinnen könnte, probiert das Team ihn aus.

Die Ergebnisse:

Schneller: Da das Team mehr gute Vermutungen des Praktikanten akzeptiert, müssen sie nicht so oft anhalten und neu schreiben. Sie lösen das Rätsel viel schneller.
Intelligenter: Da sie manchmal die „abweichenden" Ideen des Praktikanten beibehalten, lösen sie tatsächlich mehr Rätsel korrekt, als der Experte allein hätte lösen können.

Das Fazit

Diese Arbeit zeigt, dass wir durch die Behandlung des schnellen, kleineren Modells als Partner und nicht nur als Kopierer KI sowohl schneller als auch genauer machen können. Die „Fehler" oder Unterschiede zwischen den beiden Modellen sind nicht immer Irrtümer; manchmal sind sie Gelegenheiten, eine bessere Lösung zu finden, die das große Modell allein übersehen hätte.

Technische Zusammenfassung: Über das Ziel hinaus: Von der Imitation zur Zusammenarbeit beim spekulativen Decodieren

1. Problemstellung

Spekulatives Decodieren (SPD) ist eine Standardtechnik zur Beschleunigung der Inferenz von Large Language Models (LLM). Dabei wird ein kleineres „Entwurf"-Modell eingesetzt, um eine Sequenz zukünftiger Token vorzuschlagen, die anschließend parallel von einem größeren „Ziel"-Modell verifiziert werden. Das vorherrschende Paradigma im SPD basiert auf Imitation: Das Entwurf-Modell wird so trainiert, dass es die Verteilung des Ziel-Modells approximiert, und ein Entwurf-Token wird nur akzeptiert, wenn es exakt mit der Vorhersage des Ziel-Modells übereinstimmt.

Die Autoren argumentieren, dass dieses Paradigma suboptimal ist, da es implizit davon ausgeht, das Ziel-Modell sei an jeder Token-Position die alleinige Autorität. In der Realität ist das Ziel-Modell zwar insgesamt überlegen, aber nicht bei jeder lokalen Entscheidung gleichmäßig besser. Bei Aufgaben wie logischem Schlussfolgern und Code-Generierung deutet eine Diskrepanz zwischen Entwurf und Ziel nicht notwendigerweise auf einen Fehler des Entwurfs hin; sie kann einen nützlichen alternativen Pfad darstellen, der einen Fehler des Ziel-Modells vermeidet. Aktuelle SPD-Methoden verwerfen diese „nicht-verschachtelten" Stärken des Entwurf-Modells und beschränken das System somit auf die Leistungsgrenze des Ziel-Modells allein.

2. Methodik: Kollaboratives Spekulatives Decodieren (CoSpec)

Die Arbeit stellt Kollaboratives Spekulatives Decodieren (CoSpec) vor, ein Framework, das die Beziehung zwischen Entwurf- und Ziel-Modell von reiner Imitation zu aktiver Zusammenarbeit verschiebt. Anstatt Diskrepanzen als Verifikationsfehler zu behandeln, betrachtet CoSpec sie als Chancen, den Zweig (Entwurf oder Ziel) auszuwählen, der den finalen Nutzen der Aufgabe maximiert.

Kernarchitektur

CoSpec behält die standardmäßige Rechenstruktur von SPD bei:

Entwurf: Das Entwurf-Modell schlägt einen Block von $K$ Token vor.
Verifikation: Das Ziel-Modell verifiziert den Block in einem einzigen parallelen Durchlauf.
Arbitrierung: An Positionen, an denen Entwurf und Ziel nicht übereinstimmen (Diskrepanzen), entscheidet eine erlernte Arbitrierungsrichtlinie, ob das Entwurf-Token akzeptiert oder auf das Ziel-Token zurückgegriffen wird.

Die Arbitrierungsrichtlinie

Die Arbitrierungsrichtlinie ( $\pi_\theta$ ) ist ein leichtgewichtiges Modell (unter Verwendung von LoRA-Adaptern auf dem Entwurfs-Rückgrat), das Folgendes beobachtet:

Den Eingabe-Prompt und das verifizierte Präfix.
Den Entwurf-Block.
Die Verifikations-Token des Ziels.

Sie nutzt eine hybride Aufmerksamkeitsmaske: Der Kontext attendiert kausal, während der Entwurf-Ziel-Bereich bidirektionale Aufmerksamkeit zur Vergleichung der Kandidaten verwendet. Die Richtlinie gibt eine Wahrscheinlichkeit für die Akzeptanz des Entwurf-Token bei jeder Diskrepanz aus.

Training durch Bestärkendes Lernen

Die Richtlinie wird in einer zweistufigen Pipeline trainiert:

Überwachtes Warm-up: Initialisierung mittels bewerteter Präferenzen auf herkömmlichen SPD-Läufen.
Bestärkendes Lernen (RL): Optimierung mittels Group Relative Policy Optimization (GRPO) auf vollständigen CoSpec-Läufen.

Reward-Formung:
Die Reward-Funktion ist darauf ausgelegt, den finalen Nutzen der Aufgabe (z. B. Richtigkeit der Antwort) zu maximieren, anstatt die Verteilung zu bewahren.

Korrekte Läufe: Rewards sind proportional zur Länge des akzeptierten Bereichs über die erste Diskrepanz hinaus ( $\rho_r$ ), was die Richtlinie ermutigt, nützliche Entwurf-Fortsetzungen zu akzeptieren.
Falsche Läufe: Es werden Strafen verhängt für:
- Die Akzeptanz von Entwurf-Token, die unter der Zielverteilung höchst unwahrscheinlich sind (Risikoregularisierung).
- Die Ablehnung einer Diskrepanz und den Rückgriff auf einen Ziel-Zweig, der letztlich zu einem Fehler führt (Verhinderung, dass die Richtlinie den Rückgriff als „sichere" Standardoption behandelt).
Normalisierung: Vorteile werden innerhalb von Prompt-Gruppen normalisiert, mit spezifischer Skalierung für gemischte Gruppen korrekter und falscher Läufe, um die Magnitude positiver und negativer Signale auszugleichen.

3. Hauptbeiträge

Paradigmenwechsel: Die Arbeit formuliert ein generalisiertes SPD-Paradigma, das von „zielbegrenzter Imitation" zu „kollaborativem Decodieren" übergeht und es dem Entwurf-Modell ermöglicht, beizutragen, wenn seine Fortsetzung für das Endergebnis der Aufgabe nützlicher ist.
CoSpec-Framework: Die Einführung einer erlernten Arbitrierungsrichtlinie, die Entwurf-Token bei Diskrepanzen selektiv akzeptiert und die komplementären Stärken beider Modelle nutzt.
Theoretische Grundlage: Proposition 3.1 etabliert eine „lokale Komplementaritätslücke" und beweist, dass ein Orakel-Arbitrierer einen ziel-treuen Verifizierer strikt übertreffen kann, sobald der Entwurf-Zweig auf einer nicht-leeren Teilmenge von Diskrepanzzuständen einen höheren erwarteten Nutzen aufweist.
Empirische Validierung: Umfangreiche Experimente zeigen, dass CoSpec sowohl in Bezug auf Geschwindigkeit als auch Aufgabengenauigkeit über mehrere Benchmarks hinweg State-of-the-Art-Leistung erzielt.

4. Experimentelle Ergebnisse

Die Autoren bewerteten CoSpec mit LLaMA-3.3-70B/8B- und Qwen3-32B/4B-Paaren bei mathematischem Schlussfolgern (GSM8K, MATH-500), Code-Generierung (HumanEval, MBPP) und allgemeinen Wissensaufgaben.

Leistung im Vergleich zum Ziel-Modell allein: CoSpec übertrifft konsistent die Eigenleistung des Ziel-Modells.
- LLaMA-70B (Greedy): Der mittlere Score verbesserte sich von 90,05 (Ziel-Modell allein) auf 91,73 bei einer 3,96×-Beschleunigung.
- Qwen3-32B (Greedy): Der mittlere Score verbesserte sich von 83,84 auf 86,46 bei einer 2,05×-Beschleunigung.
Vergleich mit Baselines: CoSpec übertrifft ziel-erhaltende Methoden (SpS, REST, EAGLE-3) in der Genauigkeit sowie locker verifizierte Methoden (FLy) sowohl in der Geschwindigkeit als auch in der Genauigkeit. Es übertrifft zudem nutzwertsteigernde Baselines wie AASD.
Komplementaritätsanalyse: Experimente zeigen, dass das Ziel-Modell zwar insgesamt mehr Beispiele löst, die „Orakel-Vereinigung" (von einem der beiden Modelle gelöste Beispiele) jedoch konsistent höher ist als das Ziel-Modell allein. CoSpec gewinnt etwa 50–65 % dieser nicht-verschachtelten Erfolge zurück.
Generalisierung: Der trainierte Arbitrierer generalisiert auf ungesehene Domänen (Dialog, faktische QA, mehrsprachiges Schlussfolgern) ohne aufgabenspezifisches Nachtraining, was darauf hindeutet, dass die Arbitrierungsrichtlinie Interaktionsmuster und nicht aufgabenspezifischen Inhalt lernt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CoSpec eine neue Perspektive auf das spekulative Decodieren bietet, indem es die Rolle des Entwurf-Modells neu definiert. Anstatt lediglich als Beschleuniger zu dienen, der das Ziel approximiert, fungiert das Entwurf-Modell als komplementärer Vorschlagender.

Die Autoren betonen, dass dieser Ansatz besonders für Aufgaben relevant ist, bei denen Ausgaben nach der Richtigkeit der Antwort bewertet werden (z. B. Mathematik, Code, faktische QA) und nicht nach strikter Einhaltung der Zielverteilung. Durch die Verschiebung des Ziels von „Verteilungserhaltung" zu „finaler Aufgabennützlichkeit" zeigt CoSpec, dass es möglich ist, die Leistungsgrenze des Ziel-Modells zu durchbrechen, während erhebliche Inferenz-Beschleunigungen beibehalten werden. Die Arbeit legt nahe, dass zukünftige Systeme für spekulatives Decodieren sich darauf konzentrieren sollten, nicht-verschachtelte Modellstärken durch erlernte Arbitrierung und nicht durch strikte Imitation auszuschöpfen.