💬 NLP

SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification

Das Papier schlägt SelfJudge vor, eine selbstüberwachte Methode, die Verifizierer für Urteile mit dem Zielmodell selbst trainiert, um Kandidaten für spekulatives Decodieren auf der Grundlage semantischer Erhaltung zu verifizieren und dadurch eine schnellere und generalisierbarere Inferenz von LLMs ohne Rückgriff auf menschliche Annotationen oder Grundwahrheit ermöglicht.

Ursprüngliche Autoren: Kanghoon Yoon, Minsub Kim, Sungjae Lee, Joonhyung Lee, Sunghyeon Woo, Yeonjun In, Se Jung Kwon, Chanyoung Park, Dongsoo Lee

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kanghoon Yoon, Minsub Kim, Sungjae Lee, Joonhyung Lee, Sunghyeon Woo, Yeonjun In, Se Jung Kwon, Chanyoung Park, Dongsoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine lange, komplexe Geschichte zu schreiben, aber Sie haben es eilig. Sie haben einen Meisterautor (eine riesige, leistungsstarke KI), der perfekte Geschichten schreibt, aber sehr langsam ist, weil er sorgfältig über jedes einzelne Wort nachdenkt, bevor er es niederschreibt. Sie haben auch einen Schnellen Assistenten (eine kleinere, schnellere KI), der die nächsten paar Wörter sehr schnell erraten kann, aber manchmal kleine Fehler macht oder eine leicht andere Formulierung verwendet.

Der alte Weg: Der strenge Redakteur
In der Vergangenheit ließen Sie, um Dinge zu beschleunigen, den Schnellen Assistenten einen ganzen Absatz im Voraus schreiben. Dann prüfte ihn der Meisterautor. Der Meisterautor war jedoch ein strenge Redakteur. Wenn der Assistent „Die Katze saß auf der Matte" schrieb und der Meisterautor dachte „Die Katze saß auf der Matte", lehnte der strenge Redakteur den ganzen Satz ab und ließ den Assistenten von vorne beginnen. Das kostete viel Zeit, weil die Bedeutung genau gleich war, obwohl die Wörter leicht unterschiedlich waren.

Die „Richter"-Idee: Ein flexiblerer Redakteur
Forscher versuchten kürzlich, dies zu beheben, indem sie einen „Richter" einstellten. Dieser Richter würde die Wörter des Assistenten ansehen und entscheiden: „Ist dies in der Bedeutung dem Stil des Meisters nahe genug?" Wenn ja, würde er es akzeptieren. Das war großartig, aber es gab einen Haken: Um diesen Richter zu trainieren, benötigte man einen Menschen, der sich hinsetzte und manuell Tausende von Sätzen mit „Ja, dieses Wort ist in Ordnung" oder „Nein, dieses Wort ist falsch" kennzeichnete. Das war langsam, teuer und funktionierte nur gut für Aufgaben mit klaren richtigen oder falschen Antworten (wie Mathematik oder Programmieren). Es funktionierte nicht gut für kreatives Schreiben oder allgemeine Fragen, bei denen es keine einzelne „korrekte" Antwort gibt.

Die neue Lösung: SelfJudge (Der selbstlernende Richter)
Diese Arbeit stellt SelfJudge vor, eine neue Methode, um den Richter ohne menschliche Hilfe zu trainieren.

So funktioniert es, anhand einer einfachen Analogie:

Der Selbsttest: Anstatt einen Menschen um Hilfe zu bitten, agiert der Meisterautor (das Zielmodell) als sein eigener Lehrer.
Das „Was-wäre-wenn"-Spiel: Das System nimmt einen Satz, den der Meisterautor geschrieben hat, und tauscht ein Wort gegen ein anderes Wort aus, das der Schnelle Assistent vorgeschlagen hat.
- Original: „Die Katze saß auf der Matte."
- Getauscht: „Die Katze saß auf der Matte."
Der Vertrauens-Check: Der Meisterautor fragt sich dann selbst: „Verändert dies die Bedeutung meiner Geschichte? Habe ich immer noch Vertrauen in den Rest des Satzes?"
- Wenn der Meisterautor sagt: „Nein, die Bedeutung ist die gleiche, ich bin immer noch zuversichtlich", markiert das System diesen Worttausch als Akzeptabel.
- Wenn der Meisterautor sagt: „Wow, das verändert die Bedeutung", markiert er ihn als Ablehnen.
Training des Richters: Indem dies Tausende Male automatisch durchgeführt wird, erstellt das System einen riesigen Datensatz mit „akzeptablen" und „inakzeptablen" Wörtern. Anschließend wird ein winziger, superschneller „Richter" trainiert, um diese Muster zu erkennen.

Das Ergebnis
Wenn nun der Schnelle Assistent schreibt, kann dieser winzige Richter sofort sagen: „Ja, dieses Wort ist in Ordnung, auch wenn es nicht genau das ist, das der Meisterautor gewählt hätte, weil die Bedeutung erhalten bleibt."

Warum das wichtig ist

Es ist universell: Im Gegensatz zu früheren Methoden, die nur für Mathematik oder Programmieren funktionierten (wo man die Endantwort überprüfen kann), funktioniert SelfJudge für alles – kreatives Schreiben, Zusammenfassen von Nachrichten oder Beantworten allgemeiner Fragen –, weil es auf der Bedeutung beruht, nicht nur auf einer „korrekten" Antwort.
Es ist schnell: Der winzige Richter ist so leicht, dass er dem Prozess kaum Zeit hinzufügt.
Es ist genau: Die Arbeit zeigt, dass diese Methode den Schreibprozess erheblich beschleunigt (mehr Wörter vom Assistenten werden akzeptiert), ohne die finale Geschichte zu verschlechtern.

Kurz gesagt, lehrt SelfJudge die KI, ihrer eigenen Intuition darüber zu vertrauen, welche Wörter sich „richtig" anfühlen, sodass sie den langsamen, strengen Prüfprozess überspringen und viel schneller schreiben kann, ohne an Qualität zu verlieren.

Technische Zusammenfassung: SelfJudge: Schnellere spekulative Dekodierung durch selbstüberwachte Richter-Verifikation

1. Problemstellung

Large Language Models (LLMs) weisen aufgrund des autoregressiven Generierungsprozesses, der für jeden Vorwärtsdurchgang den Zugriff auf alle Modellparameter erfordert, erhebliche Inferenz-Latenzen auf. Spekulative Dekodierung (SD) adressiert dies, indem ein kleineres „Draft"-Modell verwendet wird, um Kandidaten-Token vorzuschlagen, die parallel vom größeren „Target"-Modell verifiziert werden.

Allerdings stützt sich die Standard-SD auf eine ausrichtungsbezogene Verifikation (z. B. Ablehnungsstichproben), die Draft-Token nur akzeptiert, wenn ihre Wahrscheinlichkeit unter dem Target-Modell die des Draft-Modells erreicht oder überschreitet. Dieser Ansatz ist übermäßig konservativ; er verwirft Token, die semantisch kohärent sind, aber geringfügige lexikalische Abweichungen (z. B. „It's" vs. „It is") von der spezifischen Ausgabeverteilung des Target-Modells aufweisen.

Neuere „Judge Decoding"-Methoden versuchen, diese Kriterien zu lockern, indem sie einen lernbaren Verifizierer verwenden, um semantisch kompatible Token zu akzeptieren. Dennoch stoßen bestehende Ansätze auf kritische Einschränkungen:

Abhängigkeit von menschlicher Annotation: Methoden wie JudgeDecoding erfordern subjektive menschliche Labels für die Token-Akzeptanz, was zu Verzerrungen und Skalierungsproblemen führt.
Abhängigkeit von Ground Truth: Automatisierte Methoden wie AutoJudge verlassen sich auf aufgaben-spezifische, überprüfbare Ground Truths (z. B. Endantworten in Mathematik oder Code). Wie in der Arbeit gezeigt, generalisieren diese Methoden nicht auf offene Aufgaben (z. B. MMLU, Zusammenfassung), bei denen es keine einzelne korrekte Antwort gibt, was zu einer erheblichen Leistungsverschlechterung in allgemeinen NLP-Domänen führt.

2. Methodik: SelfJudge

Die Autoren stellen SelfJudge vor, ein Framework, das eine Richter-Verifikation über diverse NLP-Aufgaben hinweg ohne menschliche Aufsicht oder überprüfbare Ground Truths ermöglicht. Die Kerninnovation ist ein selbstüberwachtes Trainingsparadigma, bei dem das Target-Modell selbst die Trainingsdaten für den Verifizierer generiert.

2.1. Semantische Erhaltung von Token-Labels

Anstatt die Richtigkeit der Antwort zu prüfen, misst SelfJudge die semantische Erhaltung. Der Prozess umfasst drei Schritte:

Identifikation von Fehlabstimmungstoken: Das Target-Modell generiert eine Antwort $y$ . Die Vorhersagen des Draft-Modells werden mit der Ausgabe des Target-Modells verglichen. Token, bei denen die Top-Vorhersage des Draft-Modells ( $z_i$ ) vom Token des Target-Modells ( $y_i$ ) abweicht, werden als Kandidaten für eine gelockerte Verifikation identifiziert.
Berechnung des semantischen Erhaltungswertes: Für jedes fehlabstimmende Token berechnet das System einen Wert $s(y, z_i)$ , der angibt, wie gut der Ersatz die Bedeutung der ursprünglichen Antwort bewahrt. Dies wird als Differenz der Log-Likelihood zwischen der ursprünglichen Antwort und der token-substituierten Antwort unter der Verteilung des Target-Modells definiert:
$s(y, z_i) = \log P(z_i | y_{<i}, y_{>i}) - \log P(y_i | y_{<i}, y_{>i})$
Entscheidend ist, dass dieser Wert bidirektionale Kontexte (sowohl Präfix $y_{<i}$ als auch Suffix $y_{>i}$ ) einbezieht. Die Autoren argumentieren, dass die Berücksichtigung des Suffixes im Vergleich zu reinen Präfix-Ansätzen die Unsicherheit bezüglich der Akzeptanz von Token reduziert.
Labeling: Wenn der semantische Erhaltungswert einen Schwellenwert $\tau$ überschreitet, wird das ersetzte Token als „akzeptabel" gelabelt. Dies ermöglicht dem System, automatisch hochwertige Trainingsdaten über jede Aufgabendomäne hinweg zu generieren, einschließlich offener Generierung.

2.2. Training des Verifizierers

Der generierte Datensatz besteht aus Paaren versteckter Repräsentationen des Target-Modells und ihren entsprechenden Akzeptanz-/Ablehnungs-Labels. Ein leichter logistischer Regressions-Klassifikator wird auf diesen Daten trainiert, um als Richter-Verifizierer zu fungieren. Während der Inferenz arbeitet dieser Verifizierer parallel zur Standard-ausrichtungsbezogenen Verifikation; ein Token wird akzeptiert, wenn entweder die Ausrichtungsprüfung oder der Richter-Verifizierer ihn genehmigt.

3. Hauptbeiträge

Selbstüberwachtes Framework: Die Arbeit stellt SelfJudge vor, den ersten Richter-Verifikationsansatz, der Verifizierer unter Verwendung des eigenen semantischen Verständnisses des Target-Modells trainiert und damit die Notwendigkeit menschlicher Annotationen oder aufgabenspezifischer Ground Truths eliminiert.
Kriterium der semantischen Erhaltung: Die Autoren schlagen eine neue Metrik für die Token-Akzeptanz vor, die auf der Likelihood-Differenz von token-substituierten Antworten basiert und die automatische Generierung von Aufsicht für offene Aufgaben ermöglicht.
Analyse bidirektionaler Kontexte: Die Methode nutzt Suffix-Informationen (zukünftige Token), um semantische Erhaltungswerte zu berechnen, was theoretisch die Unsicherheit bei der Tokenauswahl im Vergleich zu reinen Präfix-Baselines reduziert.
Generalisierung: Der Ansatz ist so konzipiert, dass er über diverse NLP-Aufgaben hinweg generalisiert, einschließlich mathematischer Schlussfolgerungen, Code-Generierung, Zusammenfassung und allgemeinem Wissens-QA.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SelfJudge mit den Modellfamilien Llama-3 und Qwen-2.5 über fünf Benchmarks hinweg: GSM8K, MATH-500, MMLU, CNN/DailyMail und LiveCodeBench.

Abwägung zwischen Genauigkeit und Effizienz: SelfJudge schnitt bei den Baselines (Standard-SD, Top-k und AutoJudge) konsistent besser ab.
- Bei GSM8K und MATH-500 erreichte SelfJudge längere akzeptierte Token-Längen als Standard-SD bei minimalem Genauigkeitsverlust (z. B. +2,17 akzeptierte Token mit nur -1,6 % durchschnittlichem Genauigkeitsabfall).
- Bei MMLU und CNN/DailyMail, wo AutoJudge keine Geschwindigkeitssteigerungen lieferte (oder die Leistung erheblich verschlechterte), behielt SelfJudge konsistente Leistungssteigerungen bei.
Wall-Clock-Geschwindigkeitssteigerung: In vLLM implementiert, zeigte SelfJudge erhebliche Verbesserungen des realen Durchsatzes. Bei MMLU mit Llama-3.1-8B erreichte SelfJudge eine Geschwindigkeitssteigerung von 46,3 % gegenüber Standard-SD und eine Verbesserung von 42,7 % gegenüber AutoJudge-R, bei vergleichbarer Genauigkeit.
Skalierbarkeit: Experimente mit dem Llama-3.1-70B-Modell zeigten, dass SelfJudge effektiv skaliert und die akzeptierte Länge sowie die Geschwindigkeit verbessert, ohne die Generierungsqualität zu beeinträchtigen.
Effizienz der Datengenerierung: Der selbstüberwachte Prozess zur Datengenerierung ist erheblich schneller als die Ground-Truth-basierte Generierung von AutoJudge. Für 53.000 Labels bei einem 70B-Modell benötigte SelfJudge 8,5 Stunden im Vergleich zu den geschätzten 120 Stunden von AutoJudge.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SelfJudge einen Paradigmenwechsel in der Verifikation der spekulativen Dekodierung darstellt. Durch die Ablösung der Abhängigkeit von menschlichen Verzerrungen oder starren Ground Truths bietet es eine weit anwendbare Lösung zur Beschleunigung der LLM-Inferenz über das gesamte Spektrum der NLP-Aufgaben hinweg.

Die Autoren betonen, dass ihre Methode eine überlegene Abwägung zwischen Inferenzgeschwindigkeit und Aufgabenleistung erreicht. Im Gegensatz zu früheren Judge-Decoding-Methoden, die auf Domänen mit überprüfbaren Antworten beschränkt sind, ermöglicht SelfJudge eine effiziente spekulative Dekodierung für offene Aufgaben (wie kreatives Schreiben und Zusammenfassung), indem es das intrinsische semantische Verständnis des Target-Modells nutzt. Die Arbeit schließt, dass dieser Ansatz eine praktische und skalierbare Grundlage für eine effiziente LLM-Inferenz schafft und fortschrittliche Modelle durch die Reduzierung der Rechenkosten zugänglicher macht.