🤖 machine learning

Rethinking Reasoning with MDLMs: Early Exits, Post-hoc Reasoning, and Beyond

Dieses Paper führt „Reasoning-as-Infilling“ für Masked Diffusion Language Models (MDLMs) ein, eine Technik, die einzigartige Fähigkeiten wie Early Exits und Post-hoc-Reasoning durch die explizite Ausweisung von Antwortbereichen freischaltet, wobei letztlich demonstriert wird, dass MDLMs eine Reasoning-Leistung erreichen können, die mit von Menschen geschriebenen Spuren vergleichbar ist, und präzisere Bewertungen für Zwischenschritte als autoregressive Modelle liefern.

Ursprüngliche Autoren: Zachary Horvitz, Raghav Singhal, Hao Zou, Carles Domingo-Enrich, Zhou Yu, Rajesh Ranganath, Kathleen McKeown

Veröffentlicht 2026-08-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zachary Horvitz, Raghav Singhal, Hao Zou, Carles Domingo-Enrich, Zhou Yu, Rajesh Ranganath, Kathleen McKeown

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein kniffliges Rätsel zu lösen. Lange Zeit war der beste Weg, einem Roboter dies beizubringen, ihn eine Geschichte Wort für Wort lesen zu lassen, wobei er das jeweils nächste Wort basierend auf allem, was er bisher gelesen hat, errät. Das ist wie ein Schüler, der eine Prüfung schreibt und seine Antwort Zeile für Zeile verfasst, ohne jemals erlaubt zu werden, vorauszublicken oder das bereits Geschriebene zu ändern. Während diese Methode für viele Dinge gut funktioniert, hat sie einen Fehler: Sobald der Roboter ein falsches Wort schreibt, ist er an diesen Fehler gebunden und kann die endgültige Antwort nicht leicht „sehen“, während er noch dabei ist, die Schritte dazu zu entwickeln.

Kürzlich haben Wissenschaftler mit einer anderen Art von Robotergehirn namens „Masked Diffusion Language Model“ (MDLM) experimentiert. Anstatt Wort für Wort zu lesen, stellen Sie sich vor, der Roboter erhält eine Seite, auf der einige Wörter durch Klebezettel abgedeckt sind. Seine Aufgabe ist es, zu erraten, was unter den Zetteln steht, aber das Magische ist: Er kann die ganze Seite auf einmal betrachten und alle fehlenden Wörter gleichzeitig oder in einer beliebigen Reihenfolge erraten. Es ist wie ein Puzzle, bei dem man die Ecken, die Mitte oder die Ränder gleichzeitig ausfüllen kann. Dieses Paper untersucht, ob diese „Lückenfüllungs“-Denkweise tatsächlich besser geeignet ist, um mathematische Probleme und logische Rätsel zu lösen als der traditionelle „Wort-für-Wort“-Ansatz. Die Forscher wollten sehen, ob sie diese neue Art des Denkens nutzen können, um den Roboter klüger, schneller und ehrlicher darüber zu machen, wann er die Antwort weiß.

Die Forscher, angeführt von Zachary Horvitz und Raghav Singhal, schlagen einen cleveren neuen Trick vor, der „Reasoning-as-Infilling“ (Schlussfolgern als Lückenfüllung) genannt wird. Anstatt den Roboter einfach nur zu fragen, „denke und antworte dann“, geben sie ihm eine Vorlage mit spezifischen Kästen: einen großen Kasten für die Gedankenschritte und einen kleineren, deutlich markierten Kasten am Ende für die endgültige Antwort. Sie füllen dann die Antwort-Box aus, bevor der Roboter mit dem Nachdenken beginnt. Das klingt rückwärts, aber es setzt Superkräfte frei.

Erstens: Da der Roboter genau weiß, wo sich die Antwort-Box befindet, kann er seinen eigenen Grad an Zuversicht beobachten, während er noch die Gedankenschritte schreibt. Wenn der Roboter sich über die Antwort in dieser Box sehr sicher wird, kann er das Nachdenken sofort stoppen und einfach das Ergebnis ausspucken. Das Paper zeigt, dass diese „Early Exit“-Strategie (Frühzeitig-Abbrechen-Strategie) den Roboter auf einem Mathematiktatest namens GSM8k 1,3-mal schneller fertig werden lässt, fast ohne Genauigkeitsverlust. In Kombination mit anderen geschwindigkeitssteigernden Tricks kann er sogar 4-mal schneller laufen. Es ist wie ein Schüler, der mitten in einem langen Aufsatz merkt, dass er das Fazit bereits kennt, also nur den letzten Satz schreibt und die Prüfung vorzeitig abgibt.

Zweitens ermöglicht diese Methode ein „Post-hoc-Reasoning“ (nachträgliches Schlussfolgern). Normalerweise ist es schwer, einem Roboter den richtigen Weg beizubringen, wenn er ein mathematisches Problem falsch gelöst hat, da er die Antwort noch nicht kennt. Aber mit dieser neuen Methode: Wenn man dem Roboter zuerst die richtige Antwort gibt, kann er rückwärts arbeiten, um eine perfekte, schrittweise Erklärung zu generieren, wie er dorthin gelangt ist. Die Forscher fanden heraus, dass das Training des Roboters auf diesen „rückwärts generierten“ Erklärungen seine Mathematik-Scores um 14,9 % verbesserte. Das ist ein riesiger Sprung, der dem Fortschritt entspricht, den man erzielen würde, wenn man Menschen engagieren würde, um die perfekten Erklärungen für den Roboter zu schreiben. Es deutet darauf an, dass der Roboter sich selbst unter Verwendung seines eigenen „Zukunftswissens“ lehren kann.

Schließlich zeigt das Paper, dass diese Methode dem Roboter hilft, seine eigene Arbeit während des Prozesses zu beurteilen. Während der Roboter seine Gedankenschritte schreibt, kann er ständig prüfen: „Wenn ich meinen Gedanken auf diese Weise zu Ende führe, wie wahrscheinlich ist es, dass ich die Antwort erreiche, die ich anstrebe?“ Die Forscher fanden heraus, dass dieser Selbstkontroll-Score viel besser darin ist, vorherzusagen, ob die endgültige Antwort korrekt sein wird, als die Scores, die von traditionellen Robotern generiert werden. Während alte Roboter oft erst am Ende wissen, dass sie falsch liegen, kann dieser neue Roboter einen Fehler frühzeitig erkennen.

Das Paper weist auch darauf hin, was nicht so gut funktioniert. Sie testeten, den Roboter die Puzzleteile in einer völlig zufälligen Reihenfolge ausfüllen zu lassen (wie etwa vom oberen linken Eck zum unteren rechten Eck zu springen, ohne ein Muster zu folgen). Sie fanden heraus, dass dieser chaotische Ansatz für mathematische Probleme den Roboter tatsächlich schlechter darin macht, sie zu lösen, da er oft zuerst die falsche Antwort rät und dann versucht, eine erfundene Geschichte zu konstruieren, um diese zu rechtfertigen. Der Roboter braucht ein wenig Struktur, wie etwa das Template mit dem „Reasoning-Box“ und der „Answer-Box“, um auf Kurs zu bleiben.

Kurz gesagt legt dieses Paper nahe, dass, indem wir ändern, wie wir eine KI denken lassen – indem wir ihr ein Template zum Ausfüllen geben, statt eine leere Seite zum Schreiben –, wir sie schneller, besser im Lernen aus ihren Fehlern und fähiger darin machen können, ihre eigene Arbeit zu überprüfen. Es ist kein magisches Allheilmittel, das alles löst, aber es bietet einen vielversprechenden neuen Weg, um intelligentere und effizientere Denkmaschinen zu bauen.

Technisches Resümee: Umdenken beim Schlussfolgern mit Maskierten Diffusions-Sprachmodellen

Problemstellung

Aktuelle Paradigmen des Schlussfolgerns (Reasoning) in Large Language Models (LLMs) stützen sich stark auf Next-Token-Prediction (NTP)-Modelle, die mittels autoregressiver Generierung trainiert werden. Obwohl diese effektiv sind, stehen NTP-Modelle vor inhärenten Einschränkungen bei Reasoning-Aufgaben:

Intraktable Posterior-Sampling: Die Generierung hochwertiger Reasoning-Spuren, die an eine bekannte korrekte Antwort konditioniert sind (Posterior-Sampling, $p(r|c,a)$ ), ist für autoregressive Modelle rechnerisch nicht handhabbar, da sie von links nach rechts generieren und nicht ohne komplexe Prompt-Engineering-Verfahren oder Hilfsmodelle leicht auf zukünftige Token (die Antwort) konditionieren können.
Fehlende Zwischenbewertung: Die Bewertung der Korrektheit partieller Reasoning-Spuren erfordert typischerweise das Training separater Process Reward Models (PRMs), was den Rechenaufwand und die Komplexität erhöht.
Ineffiziente Inferenz: Das Standard-Autoregressive-Decoding ist sequenziell, was die parallele Token-Generierung verhindert und Möglichkeiten zur vorzeitigen Beendigung einschränkt, wenn das Modell bereits sicher ist.

Maskierte Diffusions-Sprachmodelle (MDLMs) bieten ein alternatives Trainingsziel, bei dem Modelle lernen, zufällig maskierte Positionen in einer Sequenz zu infillen. Die spezifischen Fähigkeiten von MDLMs für das Schlussfolgern – über die parallele Dekodierung hinaus – wurden jedoch bisher nicht vollständig untersucht oder strukturiert.

Methodik: Reasoning-as-Infilling

Das Paper führt Reasoning-as-Infilling ein, eine Prompting-Technik, welche die einzigartigen Eigenschaften von MDLMs nutzt, um den Prozess des Schlussfolgerns zu restrukturieren. Anstatt den Prompt als einfachen Präfix zu behandeln, verwendet die Methode ein vom Benutzer spezifiziertes Template, das die Ausgabe-Sequenz explizit in Reasoning-Blöcke und Antwort-Blöcke unterteilt.

Der Kernmechanismus umfasst:

Template-Pre-filling: Der Eingabe-Kontext enthält die Frage und ein Template mit maskierten Reasoning-Token, gefolgt von einem Delimiter und maskierten Antwort-Token (z. B. [Reasoning Block] <Delimiter> [Answer Block]).
Explizite Konditionierung: Da die Positionen des Antwort-Blocks explizit ausgewiesen und maskiert sind, kann das MDLM die bedingten Verteilungen über die Antwort-Token ( $p(a_j | r_{unmasked}, c)$ ) während jeglichen Zwischenschritts der Reasoning-Generierung berechnen.

Dieses Framework ermöglicht drei primäre Fähigkeiten:

1. Early Exits (Vorzeitiges Aussteigen)

Da das Modell während der Generierung der Reasoning-Spur eine Verteilung über die Antwort-Token beibehält, kann das System die Unsicherheit des Antwort-Bereichs überwachen.

Mechanismus: Die Autoren schlagen vor, die Entropie-Obere-Schranke ( $H_{UB}$ ) des Antwort-Blocks als Metrik für die Sicherheit zu verwenden. $H_{UB}$ wird als Summe der marginalen Entropien der Antwort-Token gegeben die unmaskierten Reasoning-Token berechnet.
Aktion: Wenn $H_{UB}$ unter einen Schwellenwert $\gamma$ fällt, überspringt das Modell die verbleibenden Reasoning-Schritte und gibt direkt die Antwort aus, was die Inferenz erheblich beschleunigt.

2. Post-hoc Reasoning (Posterior-Sampling)

Das Framework erlaubt das Sampling von Reasoning-Spuren, die an eine korrekte Antwort konditioniert sind – eine Verteilung, die für NTP-Modelle intransaktabel ist.

Mechanismus: Durch das Pre-filling des Antwort-Blocks mit einer bekannten korrekten Antwort ( $a^*$ ) sampelt das MDLM aus der Posterior-Verteilung $p_\theta(r | c, a^*)$ .
Anwendung: Diese "Posterior-Spuren" dienen als hochwertige Reasoning-Daten für das Fine-Tuning. Das Paper zeigt, dass das Fine-Tuning auf diesen modellgenerierten Spuren die Performance verbessern kann, selbst wenn das Modell das Problem ursprünglich nicht gelöst hat.

3. Zwischenbewertung ohne PRMs

Das Framework bietet einen eingebauten Mechanismus, um partielle Reasoning-Spuren ohne externe Reward-Modelle zu bewerten.

Mechanismus: Gegeben eine Referenzantwort $a^*$ und eine partielle Reasoning-Spur $r_{unmasked}$ , wird der Score als Summe der Log-Wahrscheinlichkeiten der Antwort-Token berechnet: $\phi_{IPRM} = \sum \log p_\theta(a^*_j | c, r_{unmasked})$ .
Vorteil: Dieser Score korreliert stark mit der finalen Korrektheit und ist bei jedem Forward-Pass verfügbar, im Gegensatz zu autoregressiven Modellen, bei denen die Likelihood der Antwort erst gegen Ende der Generierung ein starker Prädiktor ist.

Kernergebnisse

Inferenzbeschleunigung (Early Exits)

Evaluierung auf GSM8k und MATH500 unter Verwendung von LLaDA-8B und Dream-7B Modellen:

Speed-Accuracy-Tradeoff: Early Exits allein erreichten eine 1,3-fache Beschleunigung auf GSM8k mit weniger als einem Prozentpunkt Einbuße bei der Genauigkeit.
Kombinierte Beschleunigung: In Kombination mit parallelen Dekodierungsalgorithmen (z. B. Block Parallel Confidence Decoding) erreichte das System bis zu eine 4,0-fache Beschleunigung (3,5× für LLaDA, 2,5× für Dream) bei minimalem Genauigkeitsverlust.
Unterstützung variabler Längen: Die Methode lässt sich mit variablen-Längen-Diffusionsmodellen (z. B. DreamOn) integrieren, was eine dynamische Anpassung des Reasoning-Budgets ermöglicht, während die hohe Genauigkeit beibehalten wird.

Post-hoc Reasoning und Fine-tuning

Qualität der Spuren: Wenn das LLaDA-8B-Instruct-Modell ein GSM8k-Problem nicht lösen konnte, lieferte das Sampling aus dem Posterior (konditioniert auf die korrekte Antwort) Reasoning-Spuren, die in ~40 % der Fälle von GPT-4o und einem spezialisierten PRM als korrekt bewertet wurden. Selbst das Basismodell (ohne Instruction Tuning) produzierte in >30 % dieser Fälle korrekte Spuren.
Leistungssteigerung: Das Fine-tuning des LLaDA-8B-Base-Modells auf diesen durch den Posterior generierten Spuren verbesserte die GSM8k-Testgenauigkeit um +14,9 %. Dieser Gewinn entsprach der Verbesserung (+13,4 %), die durch das Fine-tuning auf teuren, menschlich annotierten Reasoning-Spuren erzielt wurde.
Vergleich: Die durch Posterior-Reasoning generierten Spuren übertrafen jene, die via STaR-artigem Prefix-Hinting generiert wurden.

Zwischenbewertung (Intermediate Scoring)

Korrelation: Die Antwort-Likelihood-Scores der MDLMs in Zwischenschritten zeigten eine stärkere Korrelation mit der finalen Korrektheit als die Scores eines spezialisierten 7B Process Reward Models (PRM).
Autoregressiver Baseline-Vergleich: Im Gegensatz dazu waren die zwischenzeitlichen Antwort-Likelihood-Scores von autoregressiven Modellen (Llama-3.1-8B, Qwen2.5-7B) bis spät in den Generierungsprozess hinein signifikant weniger prädiktiv für die Korrektheit.

Bedeutung und Behauptungen

Das Paper behauptet, dass das Reasoning-as-Infilling-Framework ein Set von vereinheitlichten Fähigkeiten für MDLMs freischaltet, die für NTP-Modelle nicht ohne Weiteres verfügbar sind:

Effizienz: Es ermöglicht signifikante Inferenzbeschleunigung durch Early Exits und paralleles Decoding ohne Einbußen bei der Genauigkeit.
Datengenerierung: Es bietet eine handhabbare Methode zur Generierung hochwertiger Reasoning-Spuren, die an korrekte Antworten konditioniert sind, und bietet somit eine skalierbare Alternative zur menschlichen Annotation für das Fine-tuning.
Selbstbewertung: Es erlaubt Modellen, ihre eigenen Reasoning-Prozesse in Zwischenschritten mithilfe ihrer internen Verteilungen zu bewerten, was den Einsatz separater Process Reward Models in bestimmten Post-Training-Szenarien überflüssig macht.

Die Autoren kommen zu dem Schluss, dass das MDLM-Trainingsziel in Kombination mit strukturiertem Prompting vielversprechende Vorteile für Reasoning-Aufgaben bietet, insbesondere in Szenarien, die verifizierbare Belohnungen, effiziente Inferenz oder die Generierung von Reasoning-Daten aus korrekten Antworten erfordern. Die Arbeit legt nahe, dass das "pathologische" Verhalten von MDLMs (z. B. das Dekodieren von Antworten vor dem Reasoning) als Feature für die Post-Training-Datengenerierung umgedeutet werden kann, wenn die Antwort bekannt ist.