💬 NLP

Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models

Dieser Artikel stellt TABOM vor, ein selbstdistilliertes, trajektorienbewusstes Nachtrainingsframework, das die Diskrepanz zwischen Training und Inferenz in Diffusions-Sprachmodellen überbrückt, indem es Inferenz-Unmaskierungspräferenzen als Boltzmann-Verteilung modelliert, um ein paarweises Ranking-Ziel abzuleiten, wodurch im Vergleich zur Standard-Feinabstimmung die Wissensaneignung verbessert und katastrophales Vergessen gemildert wird.

Ursprüngliche Autoren: Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „verwirrten Künstlers"

Stellen Sie sich vor, Sie unterrichten einen talentierten Künstler (ein Diffusions-Sprachmodell) darin, ein Meisterwerk zu malen.

Der alte Weg (autoregressive Modelle): Der Künstler malt einen Pinselstrich nach dem anderen, von links nach rechts. Er schaut nie zurück.
Der neue Weg (Diffusionsmodelle): Der Künstler beginnt mit einer leeren Leinwand, die mit statischem Rauschen bedeckt ist. Er entfernt langsam das Rauschen und enthüllt das Bild schrittweise. Das ist großartig, weil er das gesamte Bild auf einmal betrachten kann (globales Bewusstsein) und viele Teile gleichzeitig malt.

Das Problem:
Wenn wir versuchen, diesem Künstler eine neue Fähigkeit (wie Programmieren oder Mathematik) mit Standardmethoden beizubringen, entsteht eine Diskrepanz zwischen Übung und Leistung.

Übung (Training): Wir sagen dem Künstler: „Hier ist eine unordentliche Leinwand. Wähle zufällig irgendeine drei Stellen aus und korrigiere sie alle gleichzeitig." Wir tun dies zufällig, ohne darauf zu achten, welche Stellen einfach oder schwierig sind.
Leistung (Inferenz): Wenn der Künstler tatsächlich ein Bild malt, arbeitet er nicht zufällig. Er folgt einem intelligenten Pfad: Er korrigiert zuerst die einfachen Stellen (wo er zu 100 % sicher ist) und greift erst ganz am Ende die schwierigen Stellen an (wo er unsicher ist).

Das Ergebnis: Der Künstler gerät in Verwirrung. Er hat geübt, zufällige Stellen zu korrigieren, muss aber performen, indem er zuerst einfache Stellen korrigiert. Dies führt zu einer Situation, in der der Künstler entweder seine alten Fähigkeiten vergisst (katastrophales Vergessen) oder bei der neuen Fähigkeit nicht viel besser wird.

Der gescheiterte Versuch: „Zeig mir einfach die Antwort"

Forscher versuchten eine Lösung namens Selbstdistillation. Anstatt zufällige Übung zu verwenden, ließen sie den Künstler sich selbst beim Malen eines perfekten Bildes (einer „Trajektorie") zuschauen und versuchten, es zu kopieren.

Die Analogie: Es ist, als würde man dem Künstler ein Video seines eigenen perfekten Gemäldes zeigen und sagen: „Kopiere das."
Das Problem: Obwohl der Künstler ein perfektes Video anschaut, lernt er, wenn er immer noch nach den alten Regeln des „zufälligen Stellen-Korrigierens" unterrichtet wird, nicht die Strategie, warum zuerst die einfachen Stellen korrigiert wurden. Er merkt sich nur die Pixel. Er wird etwas besser, versteht aber immer noch nicht den „einfach-zu-schwer"-Rhythmus.

Die Lösung: TABOM (Der „kluge Trainer")

Die Autoren schlagen eine neue Methode namens TABOM vor. Denken Sie an TABOM als einen Trainer, der nicht nur das Video zeigt, sondern den Rhythmus des Malprozesses erklärt.

1. Die „Boltzmann"-Einsicht (Die Wärmebildkarte des Vertrauens)

Das Paper argumentiert, dass die Entscheidung des Künstlers, welche Stelle als Nächstes korrigiert wird, nicht zufällig ist; sie folgt einer spezifischen „Wärmebildkarte" des Vertrauens.

Einfache Stellen (geringe Unsicherheit) sind wie kühle, sichere Bereiche.
Schwierige Stellen (hohe Unsicherheit) sind wie heiße, gefährliche Bereiche.
Der Künstler neigt natürlich dazu, zuerst die kühlen, sicheren Bereiche zu wählen.

TABOM modelliert dieses Verhalten mathematisch (unter Verwendung einer sogenannten Boltzmann-Verteilung). Es behandelt den „Kostenfaktor" eines Fehlers als Hitze. Das Ziel ist es, dem Modell beizubringen, dass niedrige Hitze (einfache Tokens) zuerst gewählt werden sollten.

2. Der Trick des „Pairwise Ranking" (Das „A gegen B"-Spiel)

Die Berechnung der perfekten „Wärmebildkarte" für jedes mögliche Bild ist zu schwierig (rechnerisch unmöglich). Daher verwendet TABOM einen cleveren Shortcut: Pairwise Ranking.

Die Analogie: Anstatt den Künstler zu bitten, 100 Stellen vom Einfachsten zum Schwierigsten zu rangieren, wählt der Trainer zwei Stellen aus: Stelle A (einfach) und Stelle B (schwierig).
Die Regel: Der Trainer sagt: „Sie müssen sich über Stelle A sicherer sein als über Stelle B."
Das Training: Wenn der Künstler sagt: „Ich bin bei beiden gleichermaßen unsicher", gibt der Trainer eine Strafe. Wenn der Künstler sagt: „Stelle A ist einfach, Stelle B ist schwierig", erhalten sie eine Belohnung.

Indem dies Tausende von Malen mit Paaren von Tokens durchgeführt wird, lernt der Künstler die relative Reihenfolge der Schwierigkeit, ohne die unmögliche globale Mathematik berechnen zu müssen. Er lernt den „einfach-zu-schwer"-Rhythmus natürlich.

Was in den Experimenten passierte

Die Forscher testeten dies an zwei schwierigen Aufgaben: Mathematik und Programmieren.

Der alte Weg (Standard-Training): Der Künstler wurde besser in Mathematik/Programmieren, vergaß aber, wie man Gedichte schreibt oder Anweisungen befolgt (katastrophales Vergessen).
Der „einfach zuschauen"-Weg (Selbstdistillation ohne TABOM): Der Künstler erinnerte sich an seine alten Fähigkeiten, wurde aber bei den neuen nicht viel besser.
Der TABOM-Weg: Der Künstler wurde signifikant besser in Mathematik und Programmieren UND behielt seine Fähigkeit, andere Aufgaben zu erledigen. Er vergaß nichts.

Der „Trajektorien-Diskriminierungs-Score" (TDS):
Das Paper entwickelte einen Test, um zu sehen, ob der Künstler tatsächlich den Rhythmus lernte.

Alte Modelle: Wenn sie gebeten wurden zu malen, behandelten sie jede Stelle als gleichermaßen verwirrend.
TABOM-Modelle: Sie wussten eindeutig, welche Stellen einfach und welche schwierig waren und passten sich perfekt dem „einfach-zu-schwer"-Rhythmus an.

Zusammenfassung in einem Satz

TABOM lehrt Diffusions-Sprachmodelle, aus ihren eigenen erfolgreichen Versuchen zu lernen, nicht indem sie blind das Ergebnis kopieren, sondern indem sie ihnen den Rhythmus des Vertrauens beibringen: Löse immer zuerst die einfachen Teile und spare die schwierigen Teile für das Ende auf, um sicherzustellen, dass sie klüger werden, ohne zu vergessen, wer sie sind.

Technische Zusammenfassung: Selbstdestillierte Trajektorienbewusste Boltzmann-Modellierung (TABOM)

1. Problemstellung

Diffusions-Sprachmodelle (DLMs) bieten gegenüber autoregressiven Modellen Vorteile, wie etwa ein überlegenes globales Bewusstsein und eine hochgradig parallele Token-Generierung. Das Nachtrainieren von DLMs mittels standardmäßiger Supervised Fine-Tuning (SFT) stößt jedoch auf eine kritische Diskrepanz zwischen Training und Inferenz:

Training: Standard-SFT verwendet ein Negative Evidence Lower Bound (NELBO)-Ziel mit uniformer zufälliger Maskierung, wobei das Modell aufgefordert wird, alle maskierten Tokens gleichzeitig in einem einzigen Schritt wiederherzustellen. Dies verankert eine „uniforme induktive Verzerrung", die alle Tokens unabhängig von ihrer inhärenten Vorhersagbarkeit als gleich schwierig behandelt.
Inferenz: Die DLM-Inferenz folgt einer vertrauensgesteuerten, mehrstufigen „einfach-zu-schwer"-Trajektorie. Tokens werden iterativ entmaskiert, beginnend mit denen, die die niedrigste prädiktive Entropie (höchste Sicherheit) aufweisen, und fortschreitend zu unsichereren Tokens.

Das Dilemma:
Neuere Versuche, diese Lücke mittels selbstdestillierter Trajektorien (bei denen das Modell aus seinen eigenen Dekodierungsspuren lernt) zu schließen, haben nur begrenzte Ergebnisse erzielt.

Standard-SFT auf Ground Truth (SFT-GT): Verbessert die Leistung im In-Domain-Bereich, führt jedoch zu schwerwiegendem katastrophalem Vergessen von Fähigkeiten außerhalb der Trainingsverteilung (Out-of-Distribution, OOD).
Standard-SFT auf selbstdestillierten Daten (SFT-SD): Erhält OOD-Fähigkeiten (vermeidet Vergessen), erzielt jedoch nur marginale In-Domain-Gewinne.
Die Arbeit geht davon aus, dass selbstdestillierte Trajektorien zwar eine niedrigere Optimierungsschwelle bieten, die naive Anwendung standardmäßiger NELBO-Ziele auf diese jedoch versagt, die strukturierte „einfach-zu-schwer"-Information zu nutzen, die in den Trajektorien eingebettet ist, was zu suboptimaler Leistung führt.

2. Methodik: TABOM

Die Autoren schlagen Trajectory-Aligned Optimization via Boltzmann Modeling (TABOM) vor, ein Nachtrainierungs-Framework, das das Trainingsziel mit den Dekodierungsdynamiken zur Inferenzzeit in Einklang bringt.

2.1 Theoretische Grundlage: Boltzmann-Verteilung der Entmaskierten

Die Autoren zeigen theoretisch, dass die Inferenz-Verteilung der entmaskierten Tokens unter einem „einfach-zu-schwer"-Dekodierungsplan als Boltzmann-Verteilung über die ideale prädiktive Entropie der Tokens modelliert werden kann.

Proposition: Die Wahrscheinlichkeit einer entmaskierten Menge $U$ ist proportional zu $\exp(-\beta \sum_{r \in U} H_{ideal}(x_r))$ , wobei $H_{ideal}$ die prädiktive Entropie ist.
Implikation: Diese Formulierung erfasst explizit die induktive Verzerrung, dass das Modell bevorzugt „einfache" (niedrige Entropie) Tokens zuerst entmaskiert. Das Ziel ist es, die Kullback-Leibler (KL)-Divergenz zwischen der vom Modell vorhergesagten Verteilung und dieser Ziel-Boltzmann-Verteilung zu minimieren.

2.2 Handhabbarer Surrogat: Paarweises Ranking

Die direkte Optimierung der KL-Divergenz ist aufgrund der Notwendigkeit globaler Stichprobenziehung und der Berechnung einer Partitionfunktion über alle möglichen entmaskierten Zustände nicht handhabbar. TABOM führt ein handhabbares Surrogat-Ziel basierend auf paarweisem Ranking ein:

Mechanismus: Anstatt die Likelihood global zu maximieren, erzwingt die Methode relative Rangfolgen zwischen Paaren entmaskierter Zustände. Wenn Token $r$ in einer Trajektorie vor Token $s$ dekodiert wird (was impliziert, dass $r$ „einfacher" ist), muss die vom Modell vorhergesagte Entropie für $r$ niedriger sein als für $s$ .
Verlustfunktion: Ein paarweiser Hinge-Loss wird über lokale Dekodierungsfenster angewendet. Für eine Menge neu entmaskierter Tokens $\Delta$ bestraft der Verlust Fälle, in denen die Entropie eines „einfacheren" Tokens nicht ausreichend niedriger ist als die eines „schwierigeren" Tokens:
$L_{rank} = \max(0, h_\theta(r) - h_\theta(s) + \gamma)$
Lokales Fenster: Um Rauschen durch den Vergleich von Tokens mit völlig unterschiedlichen Schwierigkeitsgraden (z. B. erster vs. letzter Schritt) zu vermeiden, wird das Ranking strikt innerhalb einer festen lokalen Fenstergröße $W$ (z. B. $W=32$ ) angewendet.

2.3 Endgültiges Ziel

Der gesamte TABOM-Verlust kombiniert:

Trajektorienbewusste Rekonstruktion: Ein standardmäßiger Cross-Entropy-Verlust, bei dem das Modell neu entmaskierte Tokens $\Delta$ unter Berücksichtigung des Kontexts zuvor entmaskierter Tokens vorhersagt (ersetzt die uniforme Maskierung).
Paarweises Ranking-Regularisierung: Der oben beschriebene Hinge-Loss, um die Entropielandschaft mit der „einfach-zu-schwer"-Trajektorie in Einklang zu bringen.

$L_{TABOM} = L_{reconstruction} + \lambda L_{rank}$

3. Hauptbeiträge

Theoretische Einsicht: Die Arbeit definiert die Inferenz-Verteilung der entmaskierten Tokens formal als Boltzmann-Verteilung über prädiktive Entropien und identifiziert die „uniforme induktive Verzerrung" des standardmäßigen NELBO als die Ursache für die Diskrepanz zwischen Training und Inferenz.
Methodische Innovation: TABOM führt ein paarweises Ranking-Ziel ein, das die Reihenfolge der Gewissheit des Modells mit den beobachteten Dekodierungstrajektorien in Einklang bringt, ohne nicht handhabbare Partitionfunktionsberechnungen zu erfordern.
Empirische Lösung: Das Framework löst das Dilemma „Vergessen vs. marginale Gewinne". Es erzielt erhebliche In-Domain-Leistungsverbesserungen, während es OOD-Fähigkeiten bewahrt und katastrophales Vergessen effektiv mindert.
Diagnostische Metrik: Die Autoren führen den Trajectory Discrimination Score (TDS) ein, um zu quantifizieren, ob ein Modell Unterschiede in der Token-Level-Unsicherheit entlang der Dekodierungstrajektorie bewahrt.

4. Experimentelle Ergebnisse

Experimente wurden an zwei DLMs (Dream-7B und LLaDA-8B) in den Bereichen Code-Generierung (HumanEval, MBPP) und Mathematisches Schlussfolgern (GSM8K, MATH500) durchgeführt.

Leistungssteigerungen: TABOM übertraf Baseline-Modelle (SFT-GT, SFT-SD, dInfer, T3D) konsistent.
- Bei Dream-7B (Code) erzielte TABOM einen +7,70-Gewinn auf HumanEval und +2,60 auf MBPP, verglichen mit marginalen Gewinnen für SFT-SD (+1,00, +1,20).
- Entscheidend behielt TABOM die OOD-Leistung bei (z. B. blieb GSM8K hoch bei 81,73 im Vergleich zum Abfall auf 52,33 bei SFT-GT).
Robustheit: Unter 2-Token-parallel-dekodierung behielt TABOM eine hohe Leistung bei, während SFT-GT unter schwerer Degradation litt, was die Ausrichtung von TABOM an der natürlichen Inferenzverteilung des Modells unterstreicht.
Ablationsstudien:
- Das Entfernen des Ranking-Verlusts führte zu begrenzten Gewinnen, was seine Notwendigkeit für die Ausrichtung der Entropielandschaft bestätigt.
- Die globale Anwendung des Rankings (ohne lokale Fenster) führte zu Rauschen und verschlechterte die Leistung, was die Notwendigkeit lokaler Fensterbeschränkungen validiert.
Trajektorien-Diskriminierung: Die TDS-Analyse zeigte, dass TABOM die Varianz der prädiktiven Entropie über die Dekodierungsschritte hinweg signifikant erhöhte (z. B. stieg der HumanEval-TDS von 0,035 bei SFT-SD auf 0,711 bei TABOM), was beweist, dass das Modell erfolgreich lernte, zwischen einfachen und schwierigen Tokens zu unterscheiden, im Gegensatz zum standardmäßigen SFT, das sie uniform behandelt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TABOM einen fundamentalen Wandel darstellt, wie selbstdestillierte Trajektorien für DLMs genutzt werden:

Jenseits der Effizienz: Während frühere trajektorienbasierte Methoden sich auf Komprimierung der Stichprobenschritte (Beschleunigung) konzentrierten, nutzt TABOM diese Trajektorien für echten Wissenserwerb und Leistungssteigerung.
Ausrichtung statt Abkürzung: Durch die Modellierung des Inferenzverhaltens als Boltzmann-Verteilung und die Durchsetzung eines entropiebasierten Rankings bringt TABOM die Optimierungslandschaft des Modells mit seinen tatsächlichen Generierungsdynamiken in Einklang.
Minderung von katastrophalem Vergessen: Die Methode erweitert erfolgreich die effektive Wissensgrenze von DLMs in neue Domänen, ohne vortrainierte Fähigkeiten zu opfern, was ein häufiger Fehlermodus des standardmäßigen SFT ist.

Die Autoren schließen, dass TABOM eine robuste Lösung für die Diskrepanz zwischen Training und Inferenz in Diffusions-Sprachmodellen bietet und einen Weg zu effektiveren und effizienteren Nachtrainierungsstrategien ebnet, die der inhärenten „einfach-zu-schwer"-Struktur generativer Prozesse Rechnung tragen.