💬 NLP

K-Forcing: Joint Next-K-Token Decoding via Push-Forward Language Modeling

K-Forcing ist ein neuartiges Push-Forward-Sprachmodellierungs-Paradigma, das die autoregressive Textgenerierung beschleunigt, indem es ein Teacher-Modell in eine bedingte Abbildung destilliert, die in der Lage ist, mehrere zukünftige Token in einem einzigen Vorwärtspass gemeinsam zu dekodieren, wodurch unter Hochlast-Batch-Serving signifikante Inferenzbeschleunigungen bei nur moderater Qualitätsminderung erzielt werden.

Ursprüngliche Autoren: Zhiwei Tang, Yuanyu He, Yizheng Han, Wangbo Zhao, Jiasheng Tang, Fan Wang, Bohan Zhuang

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhiwei Tang, Yuanyu He, Yizheng Han, Wangbo Zhao, Jiasheng Tang, Fan Wang, Bohan Zhuang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben, aber Sie haben eine sehr strenge, brillante Redakteurin (das KI-Modell), die erlaubt, dass Sie immer nur ein Wort auf einmal schreiben.

Jedes Mal, wenn Sie ein Wort schreiben, müssen Sie aufhören, Ihr Papier der Redakteurin übergeben, warten, bis sie alles gelesen hat, über das nächste Wort nachdenkt und es Ihnen zurückgibt. Dann schreiben Sie das nächste Wort, hören auf, und wiederholen den Vorgang.

So funktioniert die heutige KI (genannt autoregressives oder „AR“-Modell). Sie ist unglaublich intelligent, aber sie ist langsam, weil sie in einem „Stopp-und-Geh“-Rhythmus feststeckt. Wenn Sie eine lange Geschichte schreiben wollen, müssen Sie tausende Male zum Schreibtisch der Redakteurin laufen.

Das Problem: Der „Ein-Wort-nach-dem-anderen“-Engpass

Das Paper argumentiert, dass dieser „ein Wort nach dem anderen“-Ansatz so ist, als würde man versuchen, einen Swimmingpool mit einem Teelöffel zu füllen. Selbst wenn der Löffel schnell ist, wird der Prozess durch die Anzahl der Wege begrenzt, die man machen kann. In Computerbegriffen wartet die KI auf den Speicher (den Pool), bevor sie ihre nächste Berechnung (den Löffel) durchführen kann. Dies macht sie ineffizient, besonders wenn viele Menschen gleichzeitig Text generieren wollen.

Die alten Lösungen: Warum sie nicht ganz funktionierten

Wissenschaftler versuchten, dies mit zwei Hauptideen zu beheben, aber beide hatten Mängel:

Die „Entwurf-und-Prüfen“-Methode (Speculative Decoding): Stellen Sie sich einen Studenten vor, der versucht, die nächsten paar Wörter zu erraten, und dann die Lehrerin, die diese überprüft. Wenn die Lehrerin zustimmt, großartig! Wenn nicht, muss der Student von vorne beginnen.
- Der Fehler: Manchmal rät der Student 5 Wörter, manchmal nur 1. Das bringt den Zeitplan durcheinander. Wenn man eine Menge von Menschen hat, die dies tun, gerät jeder aus dem Takt, und das System wird wieder langsam.
Die „Diffusion“-Meth Methode: Stellen Sie sich vor, Sie versuchen, ein Bild zu malen, indem Sie mit einer leeren Leinwand beginnen und Teile davon nach und nach enthüllen, aber versuchen, mehrere Teile gleichzeitig zu erraten.
- Der Fehler: Das Paper behauptet, dass das Erraten mehrerer Teile unabhängig voneinander (wie das Erraten des Himmels und des Grases separat) oft zu einem unordentlichen Bild führt, bei dem Himmel und Gras nicht zusammenpassen. Um ein perfektes Bild zu erhalten, muss man das Bild oft trotzdem Stück für Stück enthüllen, was den Zweck der Geschwindigkeit zunichtemacht.

Die neue Lösung: K-Forcing (Der „magische Bauplan“)

Die Autoren führen K-Forcing ein. Anstatt die Redakteurin nach einem Wort zu fragen, bringen sie der KI bei, auf einen magischen Bauplan zu schauen und mehrere Wörter gleichzeitig zu schreiben (sagen wir, 4 Wörter) in einem einzigen Durchgang.

So machen sie es, unter Verwendung einer einfachen Analogie:

1. Die „Vorwärts-Push“-Karte (Der Bauplan)
Stellen Sie sich vor, Sie haben eine Maschine, die eine Zufallszahl (wie das Würfeln eines Würfels) nimmt und sie sofort in einen spezifischen Satz verwandelt.

Der alte Weg: Sie würfeln einmal, erhalten eine „3“, und die Maschine sagt „Der“. Dann würfeln Sie erneut, erhalten eine „5“, und sie sagt „Katze“.
Der K-Forcing-Weg: Sie würfeln vier Würfel gleichzeitig. Die Maschine schaut auf den Bauplan und sagt: „Okay, diese vier Zahlen entsprechen der Phrase ‚Der Katze saß nieder‘.“ Sie gibt alle vier Wörter sofort aus.

2. Wie bekommen sie den Bauplan? (Progressive Self-Forcing)
Man kann den Bauplan nicht einfach erraten; er muss perfekt sein. Also nutzen sie ein „Lehrer-Schüler“-Spiel:

Schritt 1: Sie nehmen die langsame, perfekte „Lehrer“-KI. Sie geben ihr eine Zufallszahl und bitten sie, ein Wort zu schreiben. Sie zeichnen das Paar auf: „Zufallszahl 0,45“ = „Der“.
Schritt 2: Sie trainieren eine „Schüler“-KI, um diese Verbindung zu lernen.
Schritt 3 (Der magische Trick): Sobald der Schüler gut darin ist, 1 Wort zu schreiben, nutzt er sich selbst, um zu lernen, wie man 2 Wörter schreibt. Dann nutzt er das wiederum, um sich selbst beizubringen, wie man 4 Wörter schreibt.
Warum das wichtig ist: Anstatt zu versuchen, die ganze komplexe Regel auf einmal zu lernen, bauen sie sie Schritt für Schritt auf, wie beim Lernen des Fahrradfahrens mit Stützrädern, bevor man sie abnimmt.

3. Das Ergebnis: Die „Batching“-Superkraft
Weil K-Forcing immer eine feste Anzahl von Wörtern produziert (z. B. genau 4) jedes Mal, wenn es läuft, wird der Computer nicht verwirrt. Man kann 100 Leute aufreihen, und jeder bekommt seine 4 Wörter im exakt gleichen Moment.

Geschwindigkeit: Das Paper zeigt, dass dies die KI 2,4- bis 3,5-mal schneller macht, wenn sie viele Anfragen gleichzeitig bearbeitet.
Qualität: Der Text ist etwas weniger perfekt als der langsame „Lehrer“ (vielleicht ein Abfall der Qualität um 5 %), aber er ist immer noch sehr gut, und der Geschwindigkeitsgewinn ist gewaltig.

Zusammenfassung

Denken Sie an K-Forcing als ein Upgrade vom Lieferfahrer, der ein Paket nach dem anderen ausliefert, zu einem Lieferwagen, der eine ganze Palette an Paketen in einem einzigen Stopp ablädt. Es ändert nicht, was geliefert wird (die Wörter), aber es ändert, wie es geliefert wird, was das gesamte System für geschäftige Zeiten viel schneller und effizienter macht.

Das Paper beweist, dass wir, indem wir die Mathematik dahinter ändern, wie die KI über die Zukunft „denkt“ (indem sie einen Block von Wörtern statt eines einzelnen Wortes vorhersagt), einen massiven Geschwindigkeitsgewinn erzielen können, ohne neue Hardware zu benötigen.

Technisches Resümee: K-Forcing

Problemstellung

Die autoregressive (AR) Sprachmodellierung ist das dominante Paradigma für die Textgenerierung, leidet jedoch unter einem fundamentalen Effizienzengpass: der strikt sequenziellen, Token-für-Token-Dekodierung. Dieser Prozess ist speichergebunden und erfordert $L$ Vorwärtsläufe, um eine $L$ -Token-Sequenz zu generieren, was zu einer Unterauslastung von Hardware-Beschleunigern und hoher Latenz führt, insbesondere in Szenarien mit hoher Last im Batch-Serving.

Bestehende Beschleunigungsmethoden haben Schwierigkeiten, diesen Engpass in industriellen Skalierungs-Szenarien effektiv zu adressieren:

Spekulatives Dekodieren (Draft-then-Verify): Obwohl diese Methoden die Latenz für einzelne Anfragen effektiv reduzieren, erzeugen sie Ausgaben mit variabler Länge. Dies stört das reguläre Batching, verursacht Synchronisierungsprobleme (z. B. Ragged Tensors) und einen Overhead, der mit der Batch-Größe wächst, was die Durchsatzgewinne unter hoher Last oft zunichtemacht.
Diffusions-Sprachmodelle (DLMs): Diese Modelle dekodieren mehrere Token über iteratives Denoising. Standardformulierungen (z. B. Masked Diffusion Language Models) trainieren jedoch marginale Prädiktoren pro Position. Theoretische Analysen zeigen, dass das Sampling aus diesen unabhängigen Marginalverteilungen statt aus der gemeinsamen bedingten Verteilung zu distributionsbedingten Fehlern führt. Um die Qualität zu bewahren, benötigen sie oft viele Verfeinerungsschritte, wodurch sie die Anzahl der Vorwärtsbewertungen (NFEs) im Vergleich zu AR nicht signifikant reduzieren können.

Methodik: K-Forcing

Die Autoren schlagen K-Forcing vor, ein Push-Forward-Sprachmodellierungs-Paradigma, das für die gemeinsame Next- $k$ -Token-Dekodierung konzipiert ist. Das Kernziel besteht darin, eine bedingte Abbildung zu lernen, die unabhängige uniforme Rauschvariablen in eine gemeinsame Stichprobe von $k$ zukünftigen Token in einem einzigen Vorwärtslauf transformiert, wodurch feste Ausgabelängen und reguläres Batching gewahrt bleiben.

1. Push-Forward-Formulierung

Anstatt explizit die gemeinsame Verteilung $p(x_{t+1}, \dots, x_{t+k} | x_{\le t})$ zu modellieren (was für große Vokabulare rechnerisch unpraktikabel ist), lernt K-Forcing eine deterministische Abbildung $G_\theta: \mathcal{V}^t \times [0, 1]^k \to \mathcal{V}^k$ .

Input: Kontext $x_{\le t}$ und $k$ i.i.d. Rauschvariablen $z \sim \text{Uniform}(0, 1)^k$ .
Output: Eine gemeinsame Stichprobe von $k$ zukünftigen Token $(\hat{x}_{t+1}, \dots, \hat{x}_{t+k})$ .
Theoretische Basis: Das Paper beweist, dass eine geschlossene Push-Forward-Abbildung existiert, indem die inverse kumulative Verteilungsfunktion (CDF) eines AR-Oracles entrollt wird. Diese Abbildung kann theoretisch die exakte gemeinsame bedingte Verteilung des AR-Lehrers reproduzieren, ohne die gemeinsame Wahrscheinlichkeitstabelle explizit parametrisieren zu müssen.

2. Progressive Self-Forcing Distillation

Um diese Abbildung von einem vortrainierten AR-Lehrer zu lernen, führen die Autoren die Progressive Self-Forcing Distillation ein, welche zwei Schlüsselprobleme früherer Noise-Inversion-Baselines (Trainings-Inferenz-Mismatch und numerische Fragilität) adressiert:

Stufe 1 (Forward Distillation): Bootstrapping eines $k=1$ PFLM. Der AR-Lehrer generiert Targets, indem er Rauschen $z$ sampelt und seinen inversen-CDF-Sampler anwendet. Der Student lernt, $(x_{\le t}, z)$ auf den Token abzubilden. Dies stellt sicher, dass die Rauschverteilung der Inferenz entspricht (Uniform) und vermeidet die Invertierung enger CDF-Bins.
Stufe 2 (Self-Forcing Distillation): Um auf größere $k$ (z. B. $k=2 \to 4$ ) zu skalieren, fungiert das trainierte PFLM( $k$ ) als Lehrer für ein PFLM( $2k$ )-Modell. Der Lehrer generiert die ersten $k$ Token mittels $z_{1:k}$ und konditioniert dann auf diese generierten Token, um die nächsten $k$ Token mittels $z_{k+1:2k}$ zu generieren. Der Student lernt, die volle $2k$ -Sequenz in einem Durchgang unter Verwendung des vollständigen Rauschvektors vorherzusagen. Dieser Prozess verdoppelt das Vorhersagefenster rekursiv ( $1 \to 2 \to 4$ ).

3. Architekturdesign

Die Autoren schlagen eine vollständig kausale Architektur vor, die das AR-Backbone wiederverwendet:

Jede Rauschvariable wird wie ein separates Token in der Sequenz behandelt.
Ein gemeinsamer Prediction Head dekodiert zukünftige Token.
Kausale Attention stellt sicher, dass der $j$ -te zukünftige Token nur vom Kontext und den Präfix-Rauschvariablen $(z_1, \dots, z_j)$ abhängt, was die theoretische Inverse-CDF-Konstruktion widerspiegelt.
Dieses Design vermeidet den Informationsengpass, der entsteht, wenn alle stochastischen Entscheidungen durch ein einziges geteiltes latentes Token geroutet werden (wie bei Standard-Multi-Token-Prediction-Architekturen).

Zentrale Beiträge

Analyse bestehender Grenzen: Das Paper identifiziert, dass Draft-then-Verify-Methoden aufgrund variabler Ausgabelängen beim Batch-Serving scheitern und Diffusionsmodelle die NFEs nicht effektiv reduzieren können, da sie aus Marginalverteilungen statt aus der gemeinsamen Verteilung sampeln.
Push-Forward-Formulierung: K-Forcing ist als implizites generatives Modell formuliert, das uniformes Rauschen auf einen gemeinsamen Token-Block abbildet und somit die Anforderungen an feste Ausgabelängen und gemeinsames Sampling erfüllt.
Trainingsstrategie: Die Einführung der progressiven Self-Forcing Distillation, die den Trainings-Inferenz-Mismatch und die numerische Fragilität eliminiert, die mit der Rausch-Inversion verbunden sind.
Empirische Validierung: Demonstration, dass allein eine Änderung der statistischen Modellierung erhebliche Durchsatzgewinne beim Batch-Serving gegenüber der AR-Dekodierung erzielen kann.

Experimentelle Ergebnisse

Evaluierung auf LM1B und OpenWebText unter Verwendung eines Standard-Causal-Transformer-Backbones:

Durchsatz: Konfiguriert zur Generierung von $k=4$ Token pro Vorwärtslauf, erreicht K-Forcing einen 2,4–3,5-fachen Speedup über verschiedene Batch-Größen hinweg (4, 16, 128) im Vergleich zu AR.
Qualität: Es gibt eine moderate Verschlechterung der Generierungsqualität im Vergleich zum AR-Lehrer.
- Auf LM1B ergibt $k=4$ eine Win-Rate von ~42,9 % gegen AR in Pairwise-LLM-as-a-Judge-Evaluierungen.
- Auf OpenWebText ergibt $k=4$ eine Win-Rate von ~39,4 %.
- Kleinere $k$ -Werte (z. B. $k=2$ ) bieten einen glatteren Trade-off, wobei $k=2$ nahezu ununterscheidbar von AR ist (Win-Rates ~50 %) bei gleichzeitigem ~1,6× Speedup.
Vergleich mit SOTA: K-Forcing übertrifft MDLM (welches bei der Entfaltung mehrerer Token stark an Qualität verliert) und spekulatives Dekodieren-Baselines (Medusa, PTP) hinsichtlich des Qualitäts-NFE-Trade-offs. K-Forcing erreicht niedrigere Gen-PPL und höhere Win-Rates als MDLM bei äquivalenten NFEs und benötigt weniger Vorwärtsläufe als spekulatitive Methoden, um vergleichbare Qualität zu erreichen.

Bedeutung und Ansprüche

Das Paper behauptet, dass K-Forcing einen vielversprechenden Weg zur Beschleunigung der AR-Generierung unter realen Hochlast-Deployment-Bedingungen bietet.

Es adressiert den spezifischen Engpass des Batch-Servings unter hoher Last, wo bestehende Methoden aufgrund irregulärer Batching-Prozesse oft versagen.
Es demonstriert, dass gemeinsames Multi-Token-Sampling via einer Push-Forward-Abbildung eine praktikable Alternative zur sequenziellen Dekodierung darstellt, die die erforderliche feste Struktur für effizientes KV-Cache-Management und Continuous Batching wahrt.
Die Autoren positionieren diese Arbeit als ersten Schritt hin zu einer breiteren Forschungsrichtung für Push-Forward-Sprachmodelle. Sie räumen ein, dass eine nicht unerhebliche Qualitätslücke im Vergleich zu AR-Lehrern besteht, insbesondere bei größeren $k$ , und identifizieren zukünftige Forschungsrichtungen wie die Entwicklung spezialisierter Block-Sparse-Attention-Kernel zur Reduzierung der Trainingskosten sowie die Untersuchung von Trainingsparadigmen, die nicht auf einem vortrainierten AR-Lehrer basieren.