💬 NLP

MARS: Enabling Autoregressive Models Multi-Token Generation

Das Paper stellt MARS vor, eine leichte Feinabstimmungsmethode für autoregressive Modelle, die durch das Vorhersagen mehrerer Tokens pro Durchlauf die Durchsatzrate um das 1,5- bis 1,7-fache steigert, ohne die Architektur zu ändern oder die Genauigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Ziqi Jin, Lei Wang, Ziwei Luo, Aixin Sun

Veröffentlicht 2026-04-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziqi Jin, Lei Wang, Ziwei Luo, Aixin Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein KI-Sprachmodell ist wie ein sehr vorsichtiger Schreiber, der einen Satz Wort für Wort niederschreibt. Egal, ob das nächste Wort völlig offensichtlich ist (wie „Die Antwort ist...") oder ob er tief nachdenken muss, er macht immer genau einen Schritt pro Arbeitsgang. Das ist sicher, aber es ist auch langsam und verschwendet Energie, wenn er eigentlich drei Wörter auf einmal hätte schreiben können.

Die Forscher haben eine neue Methode namens MARS entwickelt, die diesem Schreiber beibringt, mutiger zu sein. Hier ist die Erklärung, wie das funktioniert, ohne technische Fachbegriffe:

1. Das Problem: Der zögerliche Schreiber

Stell dir vor, du schreibst einen Brief. Wenn du schreibst „Der Himmel ist...", weißt du fast zu 100 %, dass als nächstes „blau" kommt. Ein normaler KI-Modell würde trotzdem erst „blau" schreiben, dann den nächsten Arbeitsgang starten, um vielleicht „und" zu schreiben. Es ist wie ein Fahrer, der bei jeder Ampel (auch bei Grün) komplett anhält, den Motor ausmacht und wieder startet. Das kostet Zeit.

2. Die Lösung: MARS (Der mutige Schreiber)

MARS ist keine neue Maschine. Es ist derselbe Schreiber, dem man nur eine neue Fähigkeit beigebracht hat, indem man ihn ein wenig umtrainiert hat (ohne ihn neu zu bauen).

Der Trick: Man gibt dem Schreiber einen Text, bei dem die nächsten paar Wörter durch Lücken (wie [PLATZHALTER]) ersetzt sind. Man fragt ihn: „Kannst du diese Lücken füllen?"
Das Lernen: Der Schreiber lernt, dass er bei offensichtlichen Dingen (wie „blau") mehrere Wörter auf einmal rät. Bei schwierigen Dingen (wie einer komplexen Matheaufgabe) rät er nur ein Wort und überlegt dann weiter.
Das Ergebnis: Er wird nicht dümmer. Wenn man ihn bittet, nur ein Wort zu schreiben, tut er das genauso gut wie vorher. Aber wenn er sich sicher ist, schreibt er 1,5 bis 1,7 Mal so viele Wörter pro Arbeitsgang.

3. Warum andere Methoden scheitern (und MARS nicht)

Andere Versuche, KI schneller zu machen, waren wie:

Ein zweiter Schreiber: Man stellt einen schnellen, aber dummere Schreiber daneben, der Vorschläge macht, und einen klugen, der sie prüft. Das kostet aber doppelt so viel Platz und ist kompliziert zu organisieren.
Extra-Hüte: Man setzt dem Schreiber extra Hüte auf, damit er mehrere Dinge gleichzeitig sieht. Das macht ihn schwerfällig und teuer.

MARS ist anders: Es ist derselbe Schreiber, derselbe Hut, derselbe Platz. Er hat nur gelernt, wann er mutig sein darf. Man braucht keine extra Hardware und keine neuen Modelle.

4. Der „Sicherheitsgurt" (Warum er nicht dumm wird)

Ein großes Problem bei solchen Tricks ist, dass der Schreiber vergisst, wie man sorgfältig ein Wort nach dem anderen schreibt, wenn er zu viel auf einmal übt.
Die Forscher haben einen cleveren Trick gefunden: Sie lassen den Schreiber parallel zwei Dinge tun:

Er füllt die Lücken (das schnelle Training).
Er schreibt den normalen Text weiter (das sorgfältige Training).

Stell dir vor, er schreibt mit der linken Hand Lücken aus und mit der rechten Hand den normalen Text. So vergisst er nie, wie man vorsichtig ist. Das ist der Grund, warum MARS bei schwierigen Aufgaben (wie Mathe oder Programmieren) nicht an Qualität verliert.

5. Der Geschwindigkeits-Schalter (Für den Alltag)

Das Coolste an MARS ist, dass man die Geschwindigkeit in Echtzeit steuern kann, ohne das Modell neu zu starten.

Hohe Last (viele Nutzer): Der Server kann den Schalter auf „Mutig" stellen. Der Schreiber nimmt dann 3 oder 4 Wörter auf einmal mit, wenn er sich sicher ist. Das macht alles viel schneller.
Wichtige Aufgabe (z. B. medizinischer Rat): Der Schalter wird auf „Vorsichtig" gestellt. Der Schreiber nimmt nur ein Wort auf einmal. Die Qualität bleibt maximal hoch.

Zusammenfassung in einem Bild

Stell dir einen Zug vor, der normalerweise immer nur eine Wagon-Kupplung pro Sekunde macht.

Normale KI: Kupplung an, warten, Kupplung an, warten.
MARS: Der Lokführer hat gelernt, dass er bei geraden Gleisen (offensichtlichen Wörtern) drei Waggons auf einmal ankuppeln kann. Bei Kurven (schwierigen Wörtern) macht er es trotzdem nur einzeln.
Der Vorteil: Der Zug fährt im Durchschnitt viel schneller, braucht aber keine neue Lok und keinen neuen Schienenstrang.

Fazit: MARS macht KI schneller, ohne sie dümmer zu machen, ohne sie teurer zu bauen und ohne dass man sie austauschen muss. Es ist wie ein Upgrade-Software-Patch für die Intelligenz.

Problemstellung

Autoregressive (AR) Sprachmodelle generieren Text traditionell Token für Token. Dies bedeutet, dass für jeden einzelnen Token ein vollständiger Vorwärtsdurchlauf (Forward Pass) des Modells erforderlich ist, unabhängig davon, wie vorhersehbar der nächste Token ist. Dieser Ansatz ist rechnerisch ineffizient, da er keine Parallelisierung innerhalb einer einzigen Vorhersage erlaubt.

Bestehende Ansätze zur Mehr-Token-Generierung (Multi-Token Generation) haben jedoch erhebliche Nachteile:

Spekulative Dekodierung: Erfordert ein separates „Draft"-Modell, was den Speicherbedarf verdoppelt und die Orchestrierung komplex macht.
Multi-Head-Ansätze (z. B. Medusa, EAGLE): Fügen zusätzliche Vorhersageköpfe zur Architektur hinzu, was mehr Parameter und spezifisches Training erfordert.
Block-Maskierte Diffusion: Versucht, mehrere Token gleichzeitig vorherzusagen, führt aber oft zu einer signifikanten Qualitätsverschlechterung, insbesondere bei logischen Schlussfolgerungen und Coding-Aufgaben, da sie oft die kausale Struktur des AR-Modells verletzen.

Das Ziel von MARS ist es, ein AR-Modell so zu feinabstimmen, dass es optional mehrere Token pro Vorwärtsdurchlauf generieren kann, ohne die Architektur zu ändern, ohne zusätzliche Parameter hinzuzufügen und ohne die ursprüngliche AR-Leistung zu beeinträchtigen.

Methodik: MARS (Mask AutoRegreSsion)

MARS ist eine leichte Feinabstimmungsmethode, die ein instruction-tuned AR-Modell dazu bringt, mehrere Token pro Schritt vorherzusagen, während es als striktes AR-Modell erhalten bleibt.

1. Analyse der Lücken zwischen AR und Block-Diffusion:
Die Autoren identifizieren vier Unterschiede zwischen herkömmlichen AR-Modellen und block-maskierten Diffusionsansätzen, die für Qualitätsverluste verantwortlich sind:

(1) Token-Maskierung: Unvermeidbar für Parallelisierung (Zukunftstoken werden durch [MASK] ersetzt).
(2) Aufmerksamkeitsmuster: Diffusionsmodelle nutzen oft bidirektionale Aufmerksamkeit innerhalb eines Blocks. MARS behält strikt kausale (links-rechts) Aufmerksamkeit bei.
(3) Logits-Ausrichtung: AR-Modelle nutzen „Right-Shifted Logits" (Vorhersage von $x_{t+1}$ basierend auf Position $t$ ). MARS bewahrt diese Konvention.
(4) Generierungsreihenfolge: Diffusionsmodelle akzeptieren Token oft nicht in Reihenfolge. MARS akzeptiert Token strikt links-nach-rechts.

Durch das Schließen der Lücken (2) bis (4) bleibt das Modell funktional ein AR-Modell.

2. Trainingsprozess:

Dual-Stream-Ansatz: Das Modell verarbeitet zwei parallele Streams:
- Einen sauberen Stream (Original-Token), der mit Standard-AR-Next-Token-Prediction trainiert wird.
- Einen verrauschten Stream, in dem Blöcke von $B$ Token durch [MASK]-Platzhalter ersetzt sind. Das Modell muss diese Masken basierend auf dem sauberen Prefix vorheriger Blöcke vorhersagen.
Strukturierte Attention-Maske: Die Maske erlaubt kausale Aufmerksamkeit innerhalb des sauberen Streams, kausale Aufmerksamkeit innerhalb des Masken-Blocks (nur Positionsinfo) und Zugriff des Masken-Blocks auf saubere Token vorheriger Blöcke.
Kombinierter Loss: Ein entscheidender Beitrag ist die Beibehaltung des SFT-Loss (Supervised Fine-Tuning) auf dem sauberen Stream. Ohne diesen würde das AR-Signal mit zunehmender Blockgröße $B$ abnehmen (da immer mehr Token maskiert sind). Der kombinierte Loss ( $L = L_{mask} + L_{AR}$ ) stellt sicher, dass das Modell weiterhin Next-Token-Vorhersagen übt und seine AR-Kompetenz behält, auch bei großen Blöcken.

3. Inferenz (Schritt-für-Schritt):

Es werden $B$ [MASK]-Token an das aktuelle Prefix angehängt.
Das Modell führt einen Vorwärtsdurchlauf durch.
Token werden von links nach rechts akzeptiert, solange die Konfidenz ( $\max p(x_t)$ ) einen Schwellenwert $\tau$ überschreitet.
Akzeptierte Token werden zum Prefix hinzugefügt, und neue Masken werden angehängt.
Dynamische Anpassung: Der Schwellenwert $\tau$ kann zur Laufzeit angepasst werden. Ein hoher $\tau$ (nahe 1.0) führt zu 1 Token pro Schritt (reine AR-Leistung), ein niedrigerer $\tau$ erhöht den Durchsatz mit minimalem Qualitätsverlust.

4. Block-Level KV-Caching:
Um die Inferenzgeschwindigkeit in Batch-Szenarien zu maximieren, wurde eine Block-Level-KV-Caching-Strategie entwickelt. Statt den gesamten KV-Cache bei jedem Schritt neu zu berechnen, wird der Cache für den bereits generierten Block gespeichert und nur für die neuen Masken aktualisiert. Dies vermeidet die $O(T^2)$ -Komplexität einer vollständigen Neuberechnung.

Wichtige Beiträge

Architektur-Freiheit: MARS benötigt keine Änderungen an der Modellarchitektur, keine zusätzlichen Parameter und keine separaten Draft-Modelle. Es ist ein einzelnes Checkpoint-Modell.
Qualitätserhaltung: Das Modell ist ein striktes Superset des Original-AR-Modells. Im Ein-Token-Modus ( $\tau=1.0$ ) erreicht es die gleiche oder bessere Leistung als das Basis-AR-Modell.
Schlüssel zum Erfolg (SFT-Loss): Die Autoren zeigen, dass der SFT-Loss auf dem sauberen Stream entscheidend ist, um den Qualitätsverfall bei größeren Blockgrößen zu verhindern.
Dynamische Latenz-Qualitäts-Steuerung: Durch Anpassung des Konfidenzschwellenwerts kann das System den Durchsatz in Echtzeit an die Last anpassen, ohne das Modell neu zu laden.

Ergebnisse

Die Evaluation erfolgte auf Qwen2.5-Modellen (0.5B und 7B) über sechs Benchmarks (IFEval, BBH, MMLU-Pro, GPQA, GSM8K, HumanEval).

Qualität (Ein-Token-Modus): MARS übertrifft das AR-SFT-Baseline-Modell. Auf dem 7B-Modell wurde eine durchschnittliche Verbesserung von +1,5 Punkten erzielt (z. B. +4,5 Punkte auf GSM8K).
Durchsatz (Multi-Token-Modus): Bei Aktivierung der Mehr-Token-Generierung ( $\tau=0.95$ ) erreicht MARS einen Durchsatz von 1,5–1,7 Token pro Vorwärtsdurchlauf bei nur minimalem Qualitätsverlust (ca. 1–1,3 Punkte Abfall im Durchschnitt).
Wandzeit-Geschwindigkeit (Wall-Clock Speedup): Mit der Block-Level-KV-Caching-Strategie erreichte MARS auf Qwen2.5-7B eine 1,71-fache Beschleunigung gegenüber dem AR-Baseline mit KV-Cache bei Batch-Größe 4.
Robustheit: Im Gegensatz zu Block-Diffusion-Ansätzen, die bei komplexen Aufgaben (wie BBH) kollabieren, behält MARS die Reasoning-Fähigkeiten bei.

Bedeutung

MARS stellt einen Paradigmenwechsel dar, da es zeigt, dass Multi-Token-Generierung nicht zwingend komplexe Architekturen oder zusätzliche Modelle erfordert. Es bietet eine praktische, „opt-in"-Lösung für die Produktion:

Ein einziges Modell kann sowohl für hochpräzise Aufgaben (Ein-Token-Modus) als auch für latenzkritische Anwendungen (Multi-Token-Modus) eingesetzt werden.
Es eliminiert die Notwendigkeit von Draft-Modellen (wie bei spekulativer Dekodierung) und reduziert den Speicherbedarf.
Die Fähigkeit, den Durchsatz dynamisch über Konfidenzschwellen anzupassen, bietet Service-Providern ein neues Werkzeug zur Laststeuerung ohne Neustart oder Modellwechsel.

Zusammenfassend demonstriert MARS, dass durch sorgfältige Beibehaltung der kausalen Struktur und den Einsatz eines kombinierten Trainingsverlusts die Effizienz von AR-Modellen signifikant gesteigert werden kann, ohne deren Intelligenz oder Qualität zu opfern.