💬 NLP

Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models

Dit artikel introduceert TABOM, een zelfgedistilleerd, trajectbewust nascholingskader dat de discrepantie tussen training en inferentie in Diffusie-taalmodellen overbrugt door inferentie-ontmaskeringsvoorkeuren te modelleren als een Boltzmann-verdeling om een paarwijze rangschikkingsdoelstelling af te leiden, waardoor kennisverwerving wordt verbeterd en catastrofaal vergeten wordt verminderd in vergelijking met standaard fijnafstemming.

Oorspronkelijke auteurs: Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Verwarde Kunstenaar"-Probleem

Stel je voor dat je een getalenteerde kunstenaar (een Diffusion Language Model) leert hoe je een meesterwerk moet schilderen.

De Oude Manier (Autoregressieve Modellen): De kunstenaar schildert één penseelstreek per keer, van links naar rechts. Ze kijken nooit terug.
De Nieuwe Manier (Diffusiemodellen): De kunstenaar begint met een leeg canvas dat bedekt is met statische ruis. Ze verwijderen langzaam de ruis en onthullen het beeld stap voor stap. Dit is geweldig omdat ze tegelijkertijd naar het hele beeld kunnen kijken (globaal bewustzijn) en veel delen tegelijk kunnen schilderen.

Het Probleem:
Wanneer we proberen deze kunstenaar een nieuwe vaardigheid aan te leren (zoals programmeren of wiskunde) met standaardmethoden, ontstaat er een mismatch tussen oefening en prestatie.

Oefening (Training): We vertellen de kunstenaar: "Hier is een rommelig canvas. Kies willekeurig elke drie plekken en repareer ze allemaal tegelijk." We doen dit willekeurig, zonder rekening te houden met welke plekken makkelijk of moeilijk zijn.
Prestatie (Inferentie): Wanneer de kunstenaar daadwerkelijk een schilderij maakt, werken ze niet willekeurig. Ze volgen een slim pad: ze repareren eerst de makkelijke plekken (waar ze 100% zeker van zijn), en pas op het allerlaatste moment de moeilijke plekken (waar ze onzeker zijn).

Het Resultaat: De kunstenaar raakt in de war. Ze hebben geoefend met het repareren van willekeurige plekken, maar moeten presteren door eerst de makkelijke plekken te repareren. Dit leidt tot een situatie waarin de kunstenaar ofwel hun oude vaardigheden vergeet (Catastrofaal Vergeten) ofwel niet veel beter wordt in de nieuwe vaardigheid.

De Mislukte Poging: "Laat Me Gewoon het Antwoord Zien"

Onderzoekers probeerden een oplossing genaamd Zelfdistillatie. In plaats van willekeurige oefening, lieten ze de kunstenaar zichzelf een perfect schilderij zien (een "traject") en probeerden ze dit na te bootsen.

De Analogie: Het is alsof je de kunstenaar een video toont van hun eigen perfecte schilderij en zegt: "Kopieer dit."
Het Probleem: Zelfs al kijkt de kunstenaar naar een perfecte video, als ze nog steeds worden onderwezen volgens de oude regels van "willekeurige plek-reparatie", dan leren ze niet de strategie van waarom de makkelijke plekken eerst werden gerepareerd. Ze onthouden alleen de pixels. Ze worden iets beter, maar ze begrijpen nog steeds niet het "makkelijk-naar-moeilijk" ritme.

De Oplossing: TABOM (De "Slimme Coach")

De auteurs stellen een nieuwe methode voor genaamd TABOM. Denk aan TABOM als een coach die niet alleen de video toont, maar het ritme van het schilderproces uitlegt.

1. Het "Boltzmann"-Inzicht (De Hittekaart van Zekerheid)

Het paper stelt dat de beslissing van de kunstenaar over welke plek ze als volgende moeten repareren, niet willekeurig is; deze volgt een specifieke "hittekaart" van zekerheid.

Makkelijke plekken (lage onzekerheid) zijn als koele, veilige gebieden.
Moeilijke plekken (hoge onzekerheid) zijn als hete, gevaarlijke gebieden.
De kunstenaar trekt van nature eerst naar de koele, veilige gebieden.

TABOM modelleert dit gedrag wiskundig (met behulp van iets dat een Boltzmann-verdeling wordt genoemd). Het behandelt de "kosten" van een fout als hitte. Het doel is om het model te leren dat lage hitte (makkelijke tokens) eerst gekozen moeten worden.

2. De "Paarsgewijze Ranking"-Truc (Het "A versus B"-Spel)

Het berekenen van de perfecte "hittekaart" voor elk mogelijk schilderij is te moeilijk (rekenkundig onmogelijk). Daarom gebruikt TABOM een slimme afkorting: Paarsgewijze Ranking.

De Analogie: In plaats van de kunstenaar te vragen om 100 plekken te rangschikken van makkelijkst naar moeilijkst, kiest de coach twee plekken: Plek A (makkelijk) en Plek B (moeilijk).
De Regel: De coach zegt: "Je moet zekerder zijn over Plek A dan over Plek B."
De Training: Als de kunstenaar zegt: "Ik ben even onzeker over beide", krijgt de coach een straf. Als de kunstenaar zegt: "Plek A is makkelijk, Plek B is moeilijk", krijgen ze een beloning.

Door dit duizenden keren te doen met paren van tokens, leert de kunstenaar de relatieve volgorde van moeilijkheid zonder de onmogelijke globale wiskunde te hoeven berekenen. Ze leren het "Makkelijk-naar-Moeilijk" ritme op natuurlijke wijze.

Wat Gebeurde Er in de Experimenten?

De onderzoekers testten dit op twee moeilijke taken: Wiskunde en Programmeren.

De Oude Manier (Standaard Training): De kunstenaar werd beter in Wiskunde/Programmeren, maar vergat hoe ze gedichten moesten schrijven of instructies moesten volgen (Catastrofaal Vergeten).
De "Laat Gewoon Kijken" Manier (Zelfdistillatie zonder TABOM): De kunstenaar herinnerde zich hun oude vaardigheden, maar werd niet veel beter in de nieuwe.
De TABOM Manier: De kunstenaar werd aanzienlijk beter in Wiskunde en Programmeren EN behield hun vermogen om andere taken uit te voeren. Ze vergeten niets.

De "Traject Discriminatie Score" (TDS):
Het paper creëerde een test om te zien of de kunstenaar het ritme daadwerkelijk leerde.

Oude modellen: Toen ze gevraagd werd te schilderen, behandelden ze elke plek als even verwarrend.
TABOM-modellen: Ze wisten duidelijk welke plekken makkelijk en welke moeilijk waren, en volgden het "Makkelijk-naar-Moeilijk" ritme perfect.

Samenvatting in Eén Zin

TABOM leert Diffusie-taalmodellen om te leren van hun eigen succesvolle pogingen, niet door blind het resultaat te kopiëren, maar door hen het ritme van zekerheid aan te leren: los altijd eerst de makkelijke delen op en bewaar de moeilijke delen voor het laatst, zodat ze slimmer worden zonder te vergeten wie ze zijn.

Technische Samenvatting: Zelfgedistilleerde Trajectbewuste Boltzmann-modellering (TABOM)

1. Probleemstelling

Diffusie-taalmodellen (DLM's) bieden voordelen ten opzichte van autoregressieve modellen, zoals superieure globale bewustzijn en sterk parallelle token-generatie. Echter, het na-trainen van DLM's via standaard Supervised Fine-Tuning (SFT) staat voor een kritiek discrepantie tussen training en inferentie:

Training: Standaard SFT gebruikt een Negative Evidence Lower Bound (NELBO)-doelstelling met uniforme willekeurige masking, waarbij het model wordt gevraagd alle gemaskerde tokens gelijktijdig in één stap te reconstrueren. Dit installeert een "uniforme inductieve bias", waarbij alle tokens als even moeilijk worden behandeld, ongeacht hun inherente voorspelbaarheid.
Inferentie: DLM-inferentie volgt een vertrouwensgeleide, meerstaps "makkelijk-naar-moeilijk"-traject. Tokens worden iteratief ongemaskerd, beginnend bij die met de laagste voorspelbare entropie (hoogste zekerheid) en voortgaand naar onzekerere tokens.

Het Dilemma:
Recente pogingen om deze kloof te overbruggen met zelfgedistilleerde trajecten (waarbij het model leert van zijn eigen decoderingsporen) hebben beperkte resultaten opgeleverd.

Standaard SFT op Ground Truth (SFT-GT): Verbeterd prestaties binnen het domein, maar veroorzaakt ernstig catastrofaal vergeten van vaardigheden buiten de verdeling (OOD).
Standaard SFT op Zelfgedistilleerde Data (SFT-SD): Behoudt OOD-vaardigheden (vermijdt vergeten) maar levert slechts marginale winsten binnen het domein op.
Het artikel stelt dat hoewel zelfgedistilleerde trajecten een lagere optimalisatiedrempel bieden, het naief toepassen van standaard NELBO-doelstellingen op deze trajecten faalt om de gestructureerde "makkelijk-naar-moeilijk"-informatie die in de trajecten is ingebed, te benutten, wat leidt tot suboptimale prestaties.

2. Methodologie: TABOM

De auteurs stellen Traject-gealigneerde Optimalisatie via Boltzmann-modellering (TABOM) voor, een na-trainingskader dat de trainingsdoelstelling aligneert met de inferentie-tijd decoderingsdynamiek.

2.1 Theoretische Grondslag: Boltzmann Ongemaskerde Distributie

De auteurs tonen theoretisch aan dat de inferentie-ongemaskerde distributie onder een makkelijk-naar-moeilijk decoderingsschema kan worden gemodelleerd als een Boltzmann-distributie over de ideale voorspelbare entropie van tokens.

Propositie: De waarschijnlijkheid van een ongemaskerde set $U$ is evenredig met $\exp(-\beta \sum_{r \in U} H_{ideal}(x_r))$ , waarbij $H_{ideal}$ de voorspelbare entropie is.
Implicatie: Deze formulering vangt expliciet de inductieve bias die het model de voorkeur geeft aan het ongemaskeren van "makkelijke" (lage entropie) tokens eerst. Het doel is om de Kullback-Leibler (KL)-divergentie te minimaliseren tussen de door het model voorspelde distributie en deze doel-Boltzmann-distributie.

2.2 Hanteerbare Surrogaat: Paarsgewijze Ranking

Het direct optimaliseren van de KL-divergentie is onhanteerbaar vanwege de noodzaak van globale sampling en het berekenen van een partitiefunctie over alle mogelijke ongemaskerde toestanden. TABOM introduceert een hanteerbare surrogaatdoelstelling gebaseerd op Paarsgewijze Ranking:

Mechanisme: In plaats van de waarschijnlijkheid globaal te maximaliseren, dwingt de methode relatieve rangordes af tussen paren van ongemaskerde toestanden. Als token $r$ vóór token $s$ wordt gedecodeerd in een traject (implicerend dat $r$ "makkelijker" is), moet de door het model voorspelde entropie voor $r$ lager zijn dan voor $s$ .
Verliesfunctie: Een paarsgewijze hinge-verlies wordt toegepast over lokale decoderingsvensters. Voor een set van nieuw ongemaskerde tokens $\Delta$ , straft het verlies gevallen af waarbij de entropie van een "makkelijker" token niet voldoende lager is dan die van een "moeilijker" token:
$L_{rank} = \max(0, h_\theta(r) - h_\theta(s) + \gamma)$
Lokaal Venster: Om ruis te voorkomen bij het vergelijken van tokens met sterk verschillende moeilijkheidsgraden (bijv. eerste versus laatste stap), wordt de ranking strikt toegepast binnen een vast lokaal vensterformaat $W$ (bijv. $W=32$ ).

2.3 Einddoelstelling

De totale TABOM-verliesfunctie combineert:

Trajectbewuste Reconstructie: Een standaard cross-entropy-verlies waarbij het model nieuw ongemaskerde tokens $\Delta$ voorspelt gegeven de context van eerder ongemaskerde tokens (ter vervanging van uniforme masking).
Paarsgewijze Ranking Regularisatie: Het hierboven beschreven hinge-verlies om het entropielandschap te aligneren met het makkelijk-naar-moeilijk traject.

$L_{TABOM} = L_{reconstruction} + \lambda L_{rank}$

3. Belangrijkste Bijdragen

Theoretisch Inzicht: Het artikel definieert formeel de inferentie-ongemaskerde distributie als een Boltzmann-distributie over voorspelbare entropieën, en identificeert de "uniforme inductieve bias" van standaard NELBO als de oorzaak van de discrepantie tussen training en inferentie.
Methodologische Innovatie: TABOM introduceert een paarsgewijze ranking-doelstelling die de zekerheidsordening van het model aligneert met waargenomen decoderingstrajecten zonder onhanteerbare berekeningen van partitiefuncties te vereisen.
Empirische Oplossing: Het kader lost het dilemma "vergeten versus marginale winsten" op. Het bereikt aanzienlijke prestatieverbeteringen binnen het domein terwijl het vaardigheden buiten de verdeling behoudt, waardoor catastrofaal vergeten effectief wordt tegengegaan.
Diagnostische Maatstaf: De auteurs introduceren de Traject Discriminatie Score (TDS) om te kwantificeren of een model verschillen in token-niveau onzekerheid langs het decoderingstraject behoudt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op twee DLM's (Dream-7B en LLaDA-8B) over de domeinen Codegeneratie (HumanEval, MBPP) en Wiskundig Redeneren (GSM8K, MATH500).

Prestatiewinsten: TABOM presteerde consequent beter dan baselines (SFT-GT, SFT-SD, dInfer, T3D).
- Op Dream-7B (Code) behaalde TABOM een +7,70 winst op HumanEval en +2,60 op MBPP, vergeleken met marginale winsten voor SFT-SD (+1,00, +1,20).
- Cruciaal behield TABOM OOD-prestaties (bijv. GSM8K bleef hoog op 81,73 versus de daling tot 52,33 die werd waargenomen bij SFT-GT).
Robuustheid: Onder 2-token parallelle decoding behield TABOM hoge prestaties, terwijl SFT-GT ernstige degradatie onderging, wat de alignatie van TABOM met de natuurlijke inferentiedistributie van het model benadrukt.
Ablatiestudies:
- Het verwijderen van het ranking-verlies resulteerde in beperkte winsten, wat de noodzaak bevestigt voor het aligneren van het entropielandschap.
- Het toepassen van ranking globaal (zonder lokale vensters) introduceerde ruis en degradeerde prestaties, wat de noodzaak van lokale vensterbeperkingen valideert.
Traject Discriminatie: TDS-analyse toonde aan dat TABOM de variantie van voorspelbare entropie over decoderingsstappen aanzienlijk verhoogde (bijv. HumanEval TDS steeg van 0,035 bij SFT-SD naar 0,711 bij TABOM), wat bewijst dat het model succesvol leerde om te onderscheiden tussen makkelijke en moeilijke tokens, in tegenstelling tot standaard SFT dat ze uniform behandelt.

5. Betekenis en Claims

Het artikel claimt dat TABOM een fundamentele verschuiving vertegenwoordigt in hoe zelfgedistilleerde trajecten worden benut voor DLM's:

Voorbij Efficiëntie: Waar eerdere trajectgebaseerde methoden zich richtten op compressie van sample-stappen (versnelling), gebruikt TABOM deze trajecten voor genuïene kennisverwerving en prestatieverbetering.
Alignatie boven Kortsluiting: Door het inferentiegedrag te modelleren als een Boltzmann-distributie en entropiegebaseerde ranking af te dwingen, aligneert TABOM het optimalisatielandschap van het model met zijn daadwerkelijke generatiedynamiek.
Tegengaan van Catastrofaal Vergeten: De methode breidt succesvol de effectieve kennisgrens van DLM's uit naar nieuwe domeinen zonder pre-getrainde vaardigheden op te offeren, een veelvoorkomende faalmodus van standaard SFT.

De auteurs concluderen dat TABOM een robuuste oplossing biedt voor de discrepantie tussen training en inferentie in Diffusie-taalmodellen, en een weg biedt naar effectievere en efficiëntere na-trainingsstrategieën die de inherente "makkelijk-naar-moeilijk"-structuur van generatieve processen respecteren.