Technische Samenvatting: Niet Opnieuw Trainen—Aanpassen: Autoregressieve LM's Aanpassen aan Diffusie LM's via Representatie-Alignement

Probleemstelling

Diffusie Taalmodellen (DLM's) bieden duidelijke voordelen ten opzichte van standaard autoregressieve (AR) modellen, met name in niet-sequentiële generatie, bidirectionele bewerking en iteratieve verfijning. Het schalen van DLM's is echter computergewijs duur. Theoretisch moeten DLM's $L!$ generatiepaden leren in vergelijking met het enkele pad van links naar rechts van AR-modellen, wat vaak aanzienlijk meer rekenkracht vereist.

Recente benaderingen proberen deze kosten te beperken door vooraf getrainde AR-checkpoints om te zetten in DLM's. Hoewel deze methoden DLM's succesvol initialiseren vanuit AR-weights, vertrouwen ze voornamelijk op voortgezette denoising-training met wijzigingen in doelen, attentiepatronen of bemonsteringsconventies. Cruciaal is dat bestaande recepten de geconverteerde DLM niet expliciet dwingen om de interne representatiegeometrie die tijdens de oorspronkelijke AR-pretraining is geleerd, te behouden. Dit roept een centrale vraag op: Is het noodzakelijk om AR en DLM als disjuncte paradigma's te behandelen die het opnieuw leren van taalrepresentaties vereisen, of kan de semantische structuur die door AR-pretraining is geleerd, expliciet worden behouden tijdens de conversie?

Methodologie: REPR-ALIGN

De auteurs stellen REPR-ALIGN voor, een minimalistische aanpassingsmethode die DLM-training behandelt als een alignementprobleem in plaats van een representatielerenprobleem. De kernhypothese is dat het "moeilijke deel" van taalgeneratie het leren van semantische en syntactische structuren (representaties) is, wat AR-pretraining al heeft onder de knie. De resterende taak is slechts het aanpassen van deze kenmerken aan een iteratief, willekeurig-volgorde decoderingsmechanisme.

De methode omvat twee modellen met identieke architectuur:

1. Leraar: Een bevroren, vooraf getraind autoregressief (AR) transformer met causale attentie.
2. Student: Een gemaskerd diffusietaalmodel (DLM) met bidirectionele attentie, geïnitieerd vanuit dezelfde AR-weights.

Trainingsprocedure

Tijdens training consumeert het studentenmodel een gecorrumpeerde sequentie (met tokens gemaskerd) en probeert het de gemaskerde tokens te voorspellen met behulp van een standaard gemaskerde denoising-doelstelling. Tegelijkertijd verwerkt het bevroren leraarmodel de schone sequentie onder causale attentie.

Om de interne geometrie van het AR-model te behouden, introduceren de auteurs een laagsgewijze representatie-alignementverlies. Voor elke laag $\ell$ in de transformer-stack worden de verborgen toestanden van de student ($h^{(\ell)}_D$) uitgelijnd met de verborgen toestanden van de leraar ($h^{(\ell)}_{AR}$) met behulp van een cosine-afstandverlies.

Het totale trainingsdoel is:
$$\mathcal{L}(\theta) = \mathcal{L}_{diff}(\theta) + \lambda \mathcal{L}_{align}(\theta)$$
Waarbij:

• $\mathcal{L}_{diff}$ de standaard gemaskerde denoising cross-entropy loss is.
• $\mathcal{L}_{align}$ de gemiddelde cosine-afstand is tussen student- en leraar-verborgen toestanden over alle lagen en gemaskerde posities.
• $\lambda$ een wegingshyperparameter is (standaard 10).

Belangrijke ontwerpkeuzes zijn:

• Geen Adapters: De methode vereist geen extra parameters of architecturale wijzigingen behalve het omschakelen van het attentiemasker van causaal naar bidirectioneel.
• Bevroren Leraar: De AR-leraar blijft bevroren en biedt een stabiel representatief coördinatenstelsel.
• Shift-conventie: De methode houdt zich aan de standaard shift-conventie die wordt gebruikt bij AR-naar-DLM-aanpassing om next-token-indexering te verzoenen met positie-gewijze denoising.

Belangrijkste Bijdragen

1. Identificatie van Representatiebehoud: Het artikel identificeert dat expliciet behoud van de interne representatiegeometrie van het AR-model een ontbrekend ingrediënt is in huidige AR→DLM-conversierecepten.
2. Een Minimalistisch Conversierecept: REPR-ALIGN introduceert een eenvoudige, adapter-vrije methode die de DLM-student verankert aan de bevroren AR-leraar via laagsgewijze cosine-alignement. Deze aanpak verbetert de conversiekwaliteit en steekproefefficiëntie over modelgroottes heen.
3. Efficiëntie in Data en Rekenkracht: De auteurs tonen aan dat AR→DLM-conversie niet inherent data-hongerig is. Met representatie-alignement kan training op een klein deel van de data (0,8 miljard tokens) presteren beter dan training op het volledige dataset (50 miljard tokens) onder hetzelfde stapbudget. Bovendien verbetert het bevriezen van grote blokken (embeddings en MLP's) de trainingsdoorvoer met tot 2$\times$ zonder de kwaliteit te verslechteren.
4. Validatie van Schaalvergroting: De auteurs trainden een "oDLM" met 4 miljard parameters met dit recept. In vergelijking met Dream-7B (een sterk publiek DLM dat ook is gebouwd op AR-initialisatie) behaalde oDLM betere HumanEval- en HumanEval+ pass@10-scores, ondanks het gebruik van minder parameters en een aanzienlijk lichter data- en rekenbudget.

Experimentele Resultaten

De methode werd geëvalueerd op benchmarks voor codegeneratie (HumanEval, HumanEval+, MBPP, MBPP+) met Qwen3-checkpoints op schalen van 0,6B, 1,7B en 4B.

• Aanpassingssnelheid: REPR-ALIGN versnelde de aanpassing consequent. Op HumanEval pass@10 presteerde het uitgelijnde model gedurende de vroege conversie beter dan zowel AR-finetuning als training vanaf nul. Bij 200k stappen zag het 0,6B-model een winst van 6,1 punten, en het 1,7B-model een winst van 9,4 punten ten opzichte van de baseline.
• Schaalvergroting: De voordelen van alignement groeiden met de modelgrootte. Het 1,7B-model toonde grotere absolute verbeteringen dan het 0,6B-model, wat suggereert dat grotere AR-pretraining-geometrieën waardevoller zijn om te behouden.
• Data-efficiëntie: Training op een willekeurige subsample van 0,8 miljard tokens met alignement leverde hogere pass@10-scores op dan training op de volledige 50 miljard tokens-stroom bij hetzelfde aantal stappen.
• Bevriezen: Het bevriezen van token-embeddings en MLP-blokken verhoogde de doorvoer met $\sim$2$\times$ terwijl de prestaties werden behouden of licht verbeterden, wat het standpunt ondersteunt dat het primaire leersignaal ligt in het aanpassen van het denoising-mechanisme, niet in het opnieuw leren van representaties.
• Ablatiestudies:
  • Meting: Cosine-alignement presteerde beter dan L2-afstand, wat suggereert dat het nuttige signaal geometrisch (richting) is in plaats van metrisch (grootte).
  • Gewicht: $\lambda=10$ bood de optimale afweging tussen verankering en aanpassing.
  • Lagen: Het uitlijnen van alle lagen leverde de beste pass@1 op, terwijl middelste en bovenste lagen bijzonder belangrijk waren voor pass@10.

Betekenis en Claims

Het artikel beweert dat linguïstische representaties universeel zijn, ongeacht de generatievolgorde. Door DLM-training te herformuleren als een alignementprobleem, betogen de auteurs dat de hoge kosten van diffusie-pretraining grotendeels te wijten zijn aan het onnodige opnieuw leren van representaties die AR-pretraining al heeft geboden.

De betekenis van dit werk ligt in het bieden van een "standaardtechniek" voor het trainen van diffusietaalmodellen die:

• Rekenkracht Vermindert: Prestaties op concurrentieniveau bereikt met een fractie van de standaard pretrainingkosten.
• Training Vereenvoudigt: De noodzaak voor complexe adapters of zware finetuning wegneemt, en in plaats daarvan vertrouwt op een eenvoudig alignementdoel.
• Toegang Democratiseert: Hoogwaardige DLM-training haalbaar maakt in regimes met weinig data en met beperkte rekenmiddelen.

De auteurs positioneren hun werk als een verschuiving van "opnieuw trainen" naar "aanpassen", wat suggereert dat toekomstige vooruitgang in discrete generatie kan komen van betere mechanisme-alignement in plaats van trainingsparadigma's vanaf nul.