💬 NLP

LESS Is More: Mutual-Stability Sampling for Diffusion Language Models

Das Papier stellt \textsc{LESS} vor, einen trainingsfreien und modellagnostischen adaptiven Sampler, der die Effizienz und Genauigkeit von Diffusion Large Language Models durch die dynamische Bestimmung der Token-Commitment mittels einer gegenseitigen Stabilitätsregel signifikant verbessert und dadurch die Anzahl der Reversesteps im Vergleich zum Fixed-Budget-Decoding um 72,1 % reduziert.

Ursprüngliche Autoren: Amr Mohamed, Guokan Shang, Michalis Vazirgiannis

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amr Mohamed, Guokan Shang, Michalis Vazirgiannis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Editieren-während-des-Schreibens“-Problem

Stellen Sie sich vor, Sie schreiben eine Geschichte, aber anstatt ein Wort nach dem anderen von links nach nach rechts zu tippen (wie eine Standard-KI), beginnen Sie mit einer leeren Seite, auf der jedes Wort hinter einer Maske verborgen ist. Sie müssen gleichzeitig raten, was in jede dieser Masken gehört, und Ihre Vermutungen immer wieder verfeinern, bis die Geschichte Sinn ergibt.

So funktionieren Diffusion Language Models (dLLMs). Sie sind deshalb so leistungsfähig, weil sie den gesamten Satz auf einmal betrachten können (wie das Bearbeiten eines Entwurfs), anstatt nur das nächste Wort basierend auf dem vorherigen zu erraten.

Das Problem:
Die aktuelle Arbeitsweise dieser Modelle ist wie ein Schüler, der eine Prüfung ablegt und gezwungen ist, exakt 256 Minuten für die Prüfung aufzuwenden, selbst wenn er die Matheaufgaben in 10 Minuten und die Geschichtsprobleme in 5 Minuten erledigt hat.

Sie „überprüfen“ ständig Antworten, die bereits perfekt sind (Zeitverschwendung).
Manchmal legen sie sich zu früh auf eine falsche Antwort fest, weil der Timer sagt „Stopp“, obwohl die Antwort noch nicht gefestigt war.

Das Paper stellt eine neue Methode namens LESS (Mutual-Stability Sampling) vor, die wie ein intelligenter Aufseher fungiert. Sie erlaubt dem Schüler, mit der Arbeit an einer spezifischen Frage aufzuhören, in dem Moment, in dem er sicher ist, dass die Antwort richtig ist, anstatt zu warten, bis die Uhr abläuft.

Wie LESS funktioniert: Die „Drei-Check“-Regel

Das Paper argumentiert, dass man der „Konfidenz“ (der Sicherheit, die das Modell vorgibt) nicht einfach blind vertrauen sollte. Manchmal ist ein Modell sehr sicher, aber falsch, oder es ändert seine Meinung jede Sekunde.

Um zu entscheiden, wann das Verfeinern eines bestimmten Wortes (oder „Tokens“) gestoppt werden soll, nutzt LESS eine Joint Stability Rule (Gemeinsame Stabilitätsregel). Betrachten Sie dies als eine dreiteilige Sicherheitsprüfung, bevor man eine Antwort „festlegt“:

Der Konfidenz-Check: „Bist du sicher?“
- Das Modell muss eine hohe Konfidenz haben, dass seine Top-Vermutung die richtige ist.
Der Persistenz-Check: „Hast du deine Meinung in letzter Zeit geändert?“
- Das Modell muss in den letzten Prüfrunden das gleiche Top-Wort gewählt haben. Wenn es ständig zwischen „Katze“ und „Hund“ hin und her schwankt, ist es noch nicht stabil.
Der Bewegungs-Check: „Legt sich das Gesamtbild?“
- Dies ist die große Innovation des Papers. Es verwendet ein mathematisches Werkzeug namens Jensen-Shannon-Divergenz (JSD).
- Analogie: Stellen Sie sich vor, Sie betrachten ein verschwommenes Foto. Selbst wenn Sie zu 90 % sicher sind, dass es ein Hund ist, wenn sich das Foto im Hintergrund noch verschiebt und verschwimmt, sollten Sie sich nicht auf die Antwort festlegen. JSD misst, ob die „Unschärfe“ um die Antwort herum aufgehört hat, sich zu bewegen. Wenn sich die Verteilung der möglichen Wörter noch verschiebt, ist die Antwort nicht stabil.

Das Ergebnis: Ein Wort wird erst dann „entmaskiert“ (enthüllt und fixiert), wenn alle drei Bedingungen erfüllt sind.

Warum das eine große Sache ist

Das Paper testete LESS an drei verschiedenen KI-Modellen (Dream-7B, LLaDA-8B und LLaDA-1.5-8B) bei sieben verschiedenen Aufgaben, einschließlich Mathematik, Programmierung und Allgemeinwissen.

Die Ergebnisse:

Weniger Arbeit, gleiche (oder bessere) Qualität: LESS schaffte es, die „Prüfung“ mit 72 % weniger Schritten zu beenden als die Standardmethode.
Höhere Geschwindigkeit: Da die KI weniger „Nachprüfungen“ durchführt, erledigt sie Aufgaben viel schneller. In Tests wurde die Zeit zur Lösung eines Matheproblems von etwa 19 Sekunden auf nur 5 Sekunden reduziert.
Intelligentere Entscheidungen: Im Gegensatz zu anderen Methoden, die eine Antwort vielleicht festlegen, nur weil sie sicher aussieht, wartet LESS, bis die Antwort wirklich stabil ist. Dies verbesserte die Genauigkeit bei schwierigen Mathe- und Programmieraufgaben im Vergleich zu anderen „freien“ Methoden (die kein Retraining benötigen).

Die „Less is More“-Metapher

Betrachten Sie den Standard-Dekodierungsprozess einer KI wie einen Bildhauer, der einen Steinblock bearbeitet.

Der alte Weg: Dem Bildhauer wird gesagt, er solle genau 100 Mal meißeln, egal was passiert. Er könnte an einem Teil, der bereits glatt ist, 20 Mal meißeln (Aufwand verschwendet) oder an einem rauen Teil nach nur 50 Mal aufhören, weil er sein Limit erreicht hat (das Ergebnis bleibt unordentlich).
Der LESS-Weg: Der Bildhauer betrachtet jeden Teil der Statue. Sobald ein Teil glatt, stabil und der Meißel nicht mehr zum Wackeln bringt, hört er auf, an diesem spezifischen Teil zu arbeiten, und macht weiter. Er vollendet die gesamte Statue mit insgesamt weniger Meißelhieben, und das Ergebnis ist oft sauberer.

Zusammenfassung der Behauptungen

Das Paper behauptet, dass durch die Behandlung der Entscheidung, ein Wort „festzulegen“, als Online-Stopping-Problem (Entscheidung über den Stopp basierend auf Echtzeit-Stabilität), LESS in der Lage ist:

Die Anzahl der Rechenschritte um über 70 % zu reduzieren.
Die Zeit für die Generierung von Text zu senken.
Die Genauigkeit beizubehalten oder zu verbessern, insbesondere bei komplexen Aufgaben wie Mathe und Programmierung.
All dies zu tun, ohne die KI-Modelle neu trainieren zu müssen (es ist ein „Plug-and-Play“-Update für deren Dekodierung).

Die Autoren kommen zu dem Schluss, dass Stabilität wichtiger ist als reine Konfidenz, und dass wir durch das Warten, bis ein Wort wirklich „gesetzt“ ist, bevor wir uns festlegen, bessere Ergebnisse mit weniger Rechenleistung erzielen.

Technisches Resümee: LESS: Mutual-Stability Sampling für Diffusion Language Models

Problemstellung

Diffusion Large Language Models (dLLMs) bieten eine vielversprechende Alternative zur autoregressiven (AR) Dekodierung, indem sie parallele Token-Updates und bidirektionale Konditionierung durch iteratives Entrauschen maskierter Sequenzen ermöglichen. Deren praktische Effizienz wird jedoch derzeit durch Sampling-Verfahren begrenzt, die auf festen Reverse-Denoising-Schedules basieren. Standard-Sampler führen eine vorbestimmte Anzahl von Schritten aus, was oft Rechenleistung an Positionen verschwendet, an denen die Vorhersagen bereits stabilisiert sind, während gleichzeitig das Risiko besteht, sich zu früh auf instabile Token festzulegen. Sobald ein Token in einem Diffusionsprozess unmaskiert wird, wird es typischerweise als fix behandelt; wenn aufgrund eines starren Schedules zu früh ein falsches Token festgelegt wird, können nachfolgende Reverse-Schritte dies nicht mehr korrigieren, was zu einer Qualitätsminderung führt. Bestehende trainingsfreie adaptive Sampler adressieren dies teilweise durch Konfidenz- oder Margin-basierte Kriterien, scheitern aber oft daran, die volle zeitliche und distributionale Stabilität der prädiktiven Trajektorie eines Tokens zu erfassen.

Methodik

Die Autoren schlagen LESS (Less is More) vor, einen trainingsfreien, modellagnostischen adaptiven Sampler, der die Token-Festlegung als ein Online-Stoppungsproblem pro Position rahmt. LESS implementiert Mutual-Stability Sampling, bei dem eine maskierte Position nur dann für die Unmaskierung infrage kommt, wenn drei spezifische Stabilitätssignale gemeinsam anzeigen, dass die Vorhersage sich gefestigt hat.

Die Joint-Stability-Regel

Für jede maskierte Position $i$ zum Reverse-Schritt $t$ evaluiert LESS drei Signale, die aus der prädiktiven Verteilung $p_{t,i}$ des Modells abgeleitet sind:

Top-1 Predictive Confidence: Die Wahrscheinlichkeit, die dem aktuellen Top-1 Token ( $w_{t,i}$ ) zugewiesen wird. Eine Position muss einen Konfidenzschwellenwert $c$ überschreiten.
Top-1 Token Persistence: Das aktuelle Top-1 Token muss über ein kürzliches Fenster von $P$ Reverse-Schritten unverändert bleiben. Dies verhindert die Festlegung auf ein Token, das gerade erst gewechselt hat, selbst wenn dessen aktuelle Konfidenz hoch ist.
Top-K Inter-Step Jensen–Shannon Divergence (JSD): Dies ist der neuartige Beitrag von LESS. Sie misst die Stabilität der prädiktiven Verteilung selbst zwischen aufeinanderfolgenden Reverse-Schritten.
- Anstatt die asymmetrische Kullback-Leibler-Divergenz (KL) zu verwenden, nutzt LESS die symmetrische und beschränkte JSD.
- Um die Recheneffizienz zu gewährleisten und den Fokus auf relevante Kandidaten zu legen, wird die JSD auf einem vergröberten Vokabular berechnet, das die Vereinigung der Top- $K$ Tokens aus dem aktuellen und dem vorherigen Schritt umfasst, wobei die restliche Masse in ein Residuum-Symbol kollabiert wird.
- Die JSD muss unter einen Schwellenwert $d$ fallen.

Eine Position wird zur Unmaskierung akzeptiert, wenn und nur wenn:
$\text{accept}_{t,i} = (\text{conf}_{t,i} \ge c) \land \text{persist}_{t,i} \land (\text{JSD}_{t,i} \le d)$

Unmasking Policy

LESS verwendet eine Frontier-First-Policy für Full-Sequence-Diffusionsmodelle. Es versucht, die am weitesten links liegende maskierte Position zu unmaskieren, sofern diese geeignet ist. Falls nicht, scannt es ein Look-Ahead-Fenster, um die erste geeignete Position zu finden. Wenn keine Positionen geeignet sind, wird der Schritt übersprungen. Um die Terminierung zu garantieren, wird nach $\Pi$ aufeinanderfolgenden übersprungenen Schritten ein erzwungener Unmasking-Fallback ausgelöst, wobei dieser Fallback jedoch nicht als "stabile" Festlegung gezählt wird.

Zentrale Beiträge

Formulierung der Token-Festlegung: Die Arbeit rahmt das adaptive Unmasking in dLLMs als ein pro Position induziertes Online-Stoppungsproblem, das durch die Irreversibilität der Unmaskierung bedingt ist.
Top-K Inter-Step JSD: Die Autoren führen die Top- $K$ Inter-Step Jensen–Shannon Divergenz als beschränktes, symmetrisches Stabilitätssignal ein. Dies adressiert die Einschränkungen vorangegangener Arbeiten, in denen Konfidenz allein keine laufende distributionale Bewegung detektieren kann und die KL-Divergenz richtungsgebunden und unbeschränkt ist.
LESS Sampler: Ein trainingsfreier Sampler, der Konfidenz, Token-Persistenz und Inter-Step JSD in eine gemeinsame Stabilitätsregel kombelt. Er erfordert kein Modell-Retraining und ist mit bestehenden dLLM-Checkpoints kompatibel.
Empirische Validierung: Umfassende Evaluierung über drei dLLM-Familien (Dream-7B, LLaDA-8B, LLaDA-1.5-8B) und sieben Benchmarks in den Bereichen Mathematik, Code und Allgemeinwissen.

Ergebnisse

Die Evaluierung zeigt, dass LESS das Genauigkeits-Effizienz-Verhältnis im Vergleich zu sowohl Fixed-Budget-Decoding als auch anderen starken trainingsfreien adaptiven Samplern (Prophet und KLASS) signifikant verbessert.

Effizienz: Über drei Modellfamilien hinweg nutzt LESS im Durchschnitt 72,1 % weniger Reverse-Schritte als das Fixed-Budget-Decoding (Base).
Genauigkeit: LESS erzielt eine durchschnittliche Genauigkeitssteigerung von +0,91 Punkten gegenüber der Fixed-Budget-Baseline bei gleichzeitig geringerer Schrittanzahl. Es übertrifft zudem Prophet und KLASS in der mittleren Genauigkeit über alle Modellfamilien hinweg.
Aufgabenleistung: Die Gewinne sind in Aufgaben der Generierung von Mathematik und Code am ausgeprägtesten. Beispielsweise erreicht Dream-7B mit LESS eine mittlere Genauigkeit von 65,18 % (gegenüber 63,30 % für Base) mit nur 64,3 Schritten (gegenüber 256 für Base).
Rechenersparnis: Da jeder Reverse-Schritt einen Transformer-Forward-Pass erfordert, überträgt sich die Reduktion der Schritte direkt auf die Reduktion der Inferenz-Rechenlast. Auf Dream-7B GSM8K reduziert LESS die Wall-Clock-Latenz von 19,45 s auf 5,16 s und reduziert die Anzahl der Forward-Evaluierungen um etwa 75 % bei hohen Schrittbudgets.
Ablationsstudien:
- Signal-Komplementarität: Kein einzelnes Signal (Konfidenz, Persistenz oder JSD) performt so gut wie die kombinierte Regel. Die Konfidenz ist der primäre Treiber, aber Persistenz und JSD bieten essenzielle Sicherheitsmechanismen gegen vorzeitige Festlegung und distributionale Drift.
- Robustheit: Die Methode zeigt eine konsistente Leistung über verschiedene Modelle und Dekodierungsregimes (Full-Sequence vs. Semi-Autoregressive Blockwise) unter Verwendung einer einzigen globalen Konfiguration $(c=0,75, d=0,040)$ .

Bedeutung und Ansprüche

Das Paper behauptet, dass LESS einen praktischen, trainingsfreien Mechanismus bietet, um das Decoding von Diffusion Language Models zu beschleunigen, indem Tokens nur dann festgelegt werden, wenn deren Vorhersagen konfident, zeitlich persistent und distributionell stabil sind.

Die Autoren betonen, dass Stabilität mehr als nur Konfidenz ist. Eine hochkonfidente Vorhersage kann immer noch unzuverlässig sein, wenn das Top-1 Token kürzlich gewechselt hat oder wenn die Wahrscheinlichkeitsmasse noch zwischen Alternativen schwankt. Indem LESS Stabilität als eine gemeinsame Eigenschaft der aktuellen Vorhersage und ihrer jüngsten Trajektorie behandelt, vermeidet es die Fallstricke vorzeitiger Festlegung.

Die Arbeit positioniert LESS als orthogonal zu und komplementär zu anderen Beschleunigungsmethoden:

Es ergänzt Methoden zur Trainingszeit (z. B. Destillation), die den Reverse-Prozess verkürzen.
Es ergänzt Systemmethoden (z. B. Caching, Speculative Decoding), die die Latenz pro Schritt reduzieren.
Es fungiert als ein Drop-in-Inferenz-Policy, das mit diesen Methoden kombiniert werden kann, ohne das zugrunde liegende Modell zu modifizieren.

Das Paper schließt mit der Feststellung, dass Mutual Stability ein valides Kriterium für eine robuste frühe Token-Festlegung ist, was dLLMs ermöglicht, eine höhere Effizienz zu erreichen, ohne die Generierungsqualität zu opfern oder diese sogar zu verbessern. Die Autoren räumen ein, dass die Methode einen Qualitäts-Effizienz-Trade-off aufzeigt, der durch die Stabilitätsschwellenwerte kontrolliert wird, was eine Abstimmung auf spezifische Modelle oder Aufgaben erfordern kann, obwohl eine feste globale Konfiguration in ihrer diversen Evaluierungs-Suite effektiv war.