💬 NLP

RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding

Das Paper stellt RACER vor, eine leichte und trainingsfreie Methode, die abgerufene exakte Muster mit logitgesteuerten Vorhersagen kombiniert, um die Inferenzgeschwindigkeit von Large Language Models durch spekulatives Decodieren um mehr als das Doppelte zu steigern.

Ursprüngliche Autoren: Zihong Zhang, Zuchao Li, Lefei Zhang, Ping Wang, Hai Zhao

Veröffentlicht 2026-04-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zihong Zhang, Zuchao Li, Lefei Zhang, Ping Wang, Hai Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein großes Sprachmodell (wie ein sehr kluger Roboter) muss einen Text schreiben. Normalerweise arbeitet es wie ein sehr vorsichtiger Schreiber: Es denkt sich ein Wort aus, schreibt es hin, überlegt sich dann das nächste Wort, schreibt es hin, und so weiter. Das ist sehr genau, aber auch langsam, weil es immer nur einen Schritt auf einmal macht.

Die Forscher in diesem Papier haben eine Methode namens RACER entwickelt, um diesen Prozess zu beschleunigen. Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

Das Problem: Der einsame Wanderer

Stell dir den Roboter als einen Wanderer vor, der einen Pfad durch einen dichten Wald (den Text) sucht.

Normaler Weg: Der Wanderer macht einen Schritt, schaut sich um, macht den nächsten Schritt, schaut sich wieder um. Das kostet viel Zeit.
Das Ziel: Wir wollen, dass der Wanderer mehrere Schritte auf einmal macht, ohne den Wald zu verlassen.

Die alte Lösung: Der falsche Freund

Bisher gab es zwei Arten, das zu versuchen:

Der Sucher (Retrieval): Dieser schaut in ein riesiges Buch mit alten Pfadmarkierungen. Wenn er eine Markierung findet, die genau passt ("Hier war schon mal 'Hallo'"), springt er sofort weiter.
- Das Problem: Wenn im Buch nichts Exaktes steht, ist er ratlos und muss wieder langsam weitergehen.
Der Ratgeber (Logits): Dieser schaut sich die Wahrscheinlichkeiten an, was als Nächstes wahrscheinlich kommt. Er sagt: "Ich glaube, das nächste Wort ist 'Apfel'."
- Das Problem: Er hat keine feste Orientierung. Er rät oft falsch, besonders wenn der Kontext komplex ist.

Die neue Lösung: RACER (Der perfekte Teamplayer)

RACER ist wie ein Wanderer mit einem erfahrenen Guide und einer Landkarte. Er kombiniert die Stärken beider alten Methoden, ohne extra trainiert werden zu müssen.

Hier ist, wie RACER arbeitet, Schritt für Schritt:

1. Der "Spiegel-Trick" (Logits Tree)

Stell dir vor, der Wanderer hat einen magischen Spiegel. Wenn er gerade das Wort "Hallo" gesagt hat, schaut er in den Spiegel und sieht nicht nur "Hallo", sondern auch, was ähnliche Wanderer in der Vergangenheit gesagt haben, als sie "Hallo" sagten.

Die Idee: Wenn das Wort "Hallo" schon mal in einem ähnlichen Satz vorkam, dann sind die folgenden Wörter wahrscheinlich auch ähnlich.
Der Clou: RACER nutzt diese "Spiegelbilder" (Logits), um eine ganze Baumstruktur von möglichen nächsten Wörtern aufzubauen. Es ist, als würde der Wanderer nicht nur einen Weg gehen, sondern sich gleichzeitig drei oder vier mögliche Pfade ausmalen.

2. Der "Schatzsucher" (Retrieval Tree)

Parallel dazu hat RACER einen Schatzsucher, der in einem riesigen Archiv (dem bisherigen Text) nach exakten Mustern sucht.

Die Idee: Wenn der Wanderer gerade "Der Hund bellt..." sagt, sucht der Schatzsucher im Archiv: "Haben wir das schon mal gelesen? Ja! Danach kam 'laut'."
Der Clou: Wenn der Schatzsucher einen Treffer hat, ist das ein garantiert richtiger Schritt. Das ist wie ein festes Brett, das über einen Bach gelegt wurde.

3. Die Kombination: Der "Baum-Plan"

Jetzt passiert das Magische. RACER baut einen Baum aus Möglichkeiten:

Die festen Bretter (vom Schatzsucher) sind die sicheren, exakten Sprünge.
Die Wipfel des Baumes (vom Spiegel) sind die kreativen, wahrscheinlichen Sprünge.

Der Roboter (das Zielmodell) prüft dann diesen ganzen Baum auf einmal. Er sagt: "Okay, dieser Pfad hier (vom Schatzsucher) ist perfekt, und dieser Pfad dort (vom Spiegel) sieht auch gut aus."

Das Ergebnis: Statt nur 1 Wort pro Sekunde zu schreiben, kann RACER oft 3 bis 4 Wörter auf einmal bestätigen und schreiben.

Warum ist das so cool? (Die Vorteile)

Kein extra Training nötig: Stell dir vor, du willst ein Auto schneller machen. Die alten Methoden brauchten einen neuen Motor (ein extra trainiertes Modell), der teuer und schwer ist. RACER ist wie ein Tuning-Kit, das du einfach auf dein bestehendes Auto schraubst. Es funktioniert sofort mit jedem Modell (wie LLaMA, Qwen, Vicuna).
Es ist schlau: Wenn der Schatzsucher nichts findet, springt der Spiegel-Trick ein. Wenn der Spiegel unsicher ist, wartet der Schatzsucher auf ein sicheres Muster. Sie helfen sich gegenseitig.
Platzsparend: Es braucht nicht viel extra Speicherplatz, weil es keine riesigen neuen Modelle lädt, sondern nur kleine Listen und Muster im Gedächtnis hält.

Das Ergebnis im echten Leben

In Tests hat RACER gezeigt, dass es die Schreibgeschwindigkeit von Sprachmodellen verdoppelt oder sogar verdreifacht (2x bis 3x schneller), ohne dass die Qualität des Textes schlechter wird.

Zusammengefasst:
RACER ist wie ein Super-Assistent, der einem langsamen Schreiber hilft, indem er ihm gleichzeitig eine Landkarte (für sichere Schritte) und eine gute Vorhersage (für kreative Schritte) gibt. So muss der Schreiber nicht mehr bei jedem Wort stehenzubleiben und nachdenken, sondern kann flüssig und schnell weiterschreiben.

1. Problemstellung

Large Language Models (LLMs) leiden unter hoher Inferenz-Latenz, da sie das autoregressive Decodierungsparadigma verwenden, bei dem pro Schritt nur ein Token generiert wird. Diese sequenzielle Abhängigkeit führt dazu, dass die Inferenzzeit linear mit der Sequenzlänge und der Modellgröße skaliert.

Speculative Decoding (SD) wurde als Lösung vorgeschlagen, die eine „Raten-und-Verifizieren"-Strategie nutzt, um mehrere Token parallel vorzuschlagen und zu verifizieren. Bestehende SD-Ansätze weisen jedoch erhebliche Nachteile auf:

Modellbasierte Ansätze: Benötigen zusätzliche, oft trainierte Hilfsmodelle (Draft Models), was Speicher- und Trainingskosten sowie Integrationsaufwand erhöht.
Modellfreie Ansätze (Retrieval-basiert): Nutzen exakte Übereinstimmungen aus gespeicherten Texten (z. B. PLD, REST). Diese scheitern jedoch, wenn keine exakte Fortsetzung im Kontext gefunden wird.
Modellfreie Ansätze (Logits-basiert): Nutzen die Wahrscheinlichkeitsverteilungen (Logits) des Zielmodells für Vorhersagen. Ihnen fehlt jedoch die strukturelle Führung durch externe Muster, was zu suboptimalen Vorhersagen führt.

Es besteht ein Bedarf an einer leichten, training-freien Methode, die die Stärken beider Welten vereint: die Zuverlässigkeit von exakten Mustern und die Flexibilität von logit-gesteuerten Extrapolationen.

2. Methodik: RACER

RACER (Retrieval-Augmented Contextual Rapid Speculative Decoding) ist eine training-freie, „Plug-and-Play"-Methode, die zwei Hauptkomponenten in einem einheitlichen Cache-ähnlichen Modul integriert:

A. Logits Tree (Logits-Baum)

Anstatt nur den nächsten Token basierend auf den aktuellen Logits zu wählen, erweitert RACER die Vorhersage rekursiv:

Copy-Logit Strategie: Anstatt die Logits des unmittelbar vorherigen Schritts zu wiederverwenden (Last-Logit), nutzt RACER die Logits der letzten Vorkommensstelle desselben Tokens im Kontext. Experimente zeigen, dass identische Token in ähnlichen Kontexten ähnliche semantische Tendenzen aufweisen. Dies führt zu einer „heavy-tail"-Verteilung, bei der akzeptierte Token stark auf den Top-Rängen konzentriert sind.
Breiten-Pruning: Der Baum wird nicht vollständig expandiert. Basierend auf der Beobachtung, dass nützliche Kandidaten sich im Kopf der Verteilung konzentrieren, wird die Breite der Knoten in tieferen Schichten halbiert (Breite = $\lfloor b_{parent} / 2 \rfloor$ ). Dies sorgt für eine aggressive Expansion in den oberen Schichten und ein progressives Pruning in tieferen Schichten, um die Rechenkosten zu kontrollieren.

B. Retrieval Tree mit LRU-Eviction (Aho-Corasick Automaton)

RACER nutzt einen Aho-Corasick (AC) Automaten, um n-Gramme aus dem aktuellen Kontext effizient zu speichern und abzurufen:

Struktur: Der Automat ermöglicht schnelles String-Matching und nutzt Failure-Links für effiziente Rückverfolgung.
LRU-Eviction (Least Recently Used): Da der Kontext dynamisch ist und der Speicher begrenzt ist, wird ein LRU-Mechanismus implementiert. Wenn die Kapazität erreicht ist, werden die am längsten nicht genutzten Blattknoten (n-Gramme) verworfen und durch neue Muster ersetzt. Dies stellt sicher, dass der Automat auf den aktuellsten und relevantesten Mustern basiert.
Erweiterungsregel: Es werden alle Match-Zustände mit einer Tiefe $\ge 2$ betrachtet. Die häufigsten Fortsetzungen über alle Border hinweg werden als Kandidaten für den Retrieval-Teil des Entwurfsbaums ausgewählt.

C. Integrationsstrategie

Für eine feste Kapazität $C$ (Anzahl der Draft-Token pro Schritt):

Zuerst werden Kandidaten aus dem Retrieval Tree generiert (da sie strukturell zuverlässig sind).
Die verbleibende Kapazität wird mit Kandidaten aus dem Logits Tree aufgefüllt (für Extrapolation über den aktuellen Kontext hinaus).
Die beiden Mengen werden in einem einheitlichen Entwurfsbaum zusammengeführt und vom Zielmodell parallel verifiziert.

3. Wichtige Beiträge

Einheitliche Architektur: RACER ist der erste Ansatz, der Retrieval-basierte exakte Muster und Logit-basierte Vorhersagen nahtlos in einem training-freien Framework kombiniert.
Copy-Logit Entdeckung: Die Arbeit identifiziert und validiert die „Copy-Logit"-Strategie als überlegene Methode zur Expansion von Logits im Vergleich zur herkömmlichen Last-Logit-Nutzung, insbesondere aufgrund der heavy-tail-Eigenschaft der Akzeptanzverteilung.
Dynamisches Retrieval: Die Einführung eines LRU-gesteuerten AC-Automaten ermöglicht eine adaptive und speichereffiziente Nutzung von Kontextmustern ohne statische, große Trainingsdatenbanken.
Plug-and-Play: Die Methode erfordert kein zusätzliches Training, keine Hilfsmodelle und ist direkt auf bestehende LLMs anwendbar.

4. Ergebnisse

Die Methode wurde auf Benchmarks wie Spec-Bench, HumanEval (Code-Generierung) und MGSM-ZH (mathematisches Reasoning auf Chinesisch) mit verschiedenen Modellen (Vicuna, LLaMA3.1, OpenPangu, Qwen3) getestet.

Beschleunigung: RACER erreicht konsistent eine 2-fache bis 2,7-fache Beschleunigung (Speedup) im Vergleich zur reinen autoregressiven Decodierung.
Vergleich mit State-of-the-Art:
- RACER übertrifft reine Retrieval-Methoden (PLD, REST) und reine Logit-Methoden (Token Recycling, LogitSpec) in fast allen Szenarien.
- Im Vergleich zu modellbasierten Methoden (wie EAGLE-3) erzielt RACER oft eine höhere End-to-End-Beschleunigung, da es keine zusätzlichen Inferenzkosten für ein Draft-Modell verursacht.
- Besonders stark ist RACER in Aufgaben mit langen Kontexten und Reasoning-Aufgaben (z. B. MGSM-ZH), wo die Kombination aus Mustern und Logits entscheidend ist.
Stabilität: Die Methode zeigt eine hohe Robustheit über verschiedene Modellgrößen (7B bis 33B) und Aufgaben hinweg.

5. Bedeutung und Ausblick

RACER adressiert das fundamentale Problem der Inferenz-Effizienz bei LLMs, ohne die Komplexität durch zusätzliche Trainingsphasen oder Modelle zu erhöhen.

Skalierbarkeit: Da RACER keine zusätzlichen Modelle benötigt, skaliert es besser mit der Modellgröße und ist für ressourcenbeschränkte Umgebungen geeignet.
Generalisierung: Die Fähigkeit, sowohl „gesehene" Informationen (durch Retrieval) als auch „ungesehene" Informationen (durch Logits) zu nutzen, macht die Methode universell einsetzbar, von Code-Generierung bis hin zu mehrsprachigem Reasoning.
Zukunft: Die Arbeit legt den Grundstein für weitere Forschung zur Integration komplexerer Retrieval-Strukturen und zur Anwendung auf multimodale Aufgaben.

Zusammenfassend bietet RACER eine effiziente, robuste und leichtgewichtige Lösung, die den Trade-off zwischen Geschwindigkeit und Genauigkeit bei der Inferenz von Large Language Models signifikant verbessert. Der Quellcode ist öffentlich verfügbar.