Technische Samenvatting: DiHAL – Geometriegestuurde Vervanging van Verborgen Toestanden

Probleemstelling

Continue diffusiemodellen voor taal hebben historisch gezien achteropgelopen ten opzichte van autoregressieve transformers. Hoewel diffusiemodellen uitblinken in het genereren van afbeeldingen via iteratief ontdoen van ruis, is het toepassen ervan op tekst uitdagend vanwege de discrete aard van tokens. Eerdere benaderingen die probeerden diffusie aan te passen aan taal – zoals discrete token-corruptie, gemaskeerde diffusie, of continue diffusie over token-embeddings en geleerde latenten – kampen vaak met de "continu-naar-discreet" herstelbottleneck. Kleine fouten in de continue representatieruimte kunnen leiden tot onjuiste tokenherwinning, wat de kwaliteit van de generatie verslechtert.

De auteurs hypotheseren dat het prestatieverschil niet uitsluitend te wijten is aan discretiteit, maar voortkomt uit het toepassen van diffusie in continue ruimten met ongeschikte geometrie. Waar Transformer-taalmodellen opereren op continue verborgen toestanden, variëren deze toestanden in hun geometrische eigenschappen per laag. De centrale vraag is: Waar binnen een voorgeprogrammeerde Transformer bezit de representatieruimte de geometrie die vereist is voor effectief ontdoen van ruis en herstel op basis van diffusie?

Methodologie: DiHAL

Het artikel stelt DiHAL (Diffusion-Transformer Hybrid Architecture for Language Generation) voor, een "Locate-and-Replace"-kader dat een diffusiebrug integreert in een voorgeprogrammeerde Transformer in plaats van een zelfstandig diffusiemodel te trainen.

1. Theoretische Motivatie

De auteurs baseren hun aanpak op Langevin-dynamica en concentratietheorie. Zij betogen dat een "diffusie-vriendelijke" representatieruimte drie geometrische eigenschappen moet voldoen:

• Snelle Contractie: De ruimte moet toelaten dat ruizige steekproeven zich snel naar de doeldistributie contracteren (geregeerd door sterke log-concaviteit/kromming).
• Stabiliteit: Het ontdoen van ruis moet robuust zijn tegen fouten in de schatting van de score (eveneens geregeerd door kromming).
• Lage Effectieve Complexiteit: De variatie in de representatie moet geconcentreerd zijn op een laagdimensionale variëteit, waardoor het voor het diffusiemodel gemakkelijker is te leren.

2. Locate: Geometriegestuurde Laagselectie

Omdat de ware dichtheid en Hessian van verborgen toestanden niet beschikbaar zijn, gebruikt DiHAL empirische geometrische proxies om elke Transformer-laag te scoren:

• Lokale Kromming ($\hat{m}_{curv}$): Geschat via het omgekeerde van de maximale eigenwaarde van covarianties van lokale buurten. Hogere waarden duiden op compacte buurten.
• Globale Monotonie ($\hat{m}_{mono}$): Geschat via de Rayleigh-kwotiënt van de geregulariseerde precisiematrix. Hogere waarden duiden op globale directionele stijfheid.
• Effectieve Rang ($\hat{k}$): Geschat als de spoor van de covariantie gedeeld door de spectrale norm ($\text{tr}(\Sigma)/\|\Sigma\|$). Lagere waarden duiden op concentratie op een laagdimensionale variëteit.

Een selectiescore wordt berekend door deze proxies te combineren (belonend voor kromming en strafend voor effectieve rang) om de optimale invoeglaag $\ell^*$ te identificeren.

3. Replace: Diffusiebrug voor Verborgen Toestanden

Zodra de optimale laag $\ell^*$ is geïdentificeerd:

• De onderste Transformer-prefix (lagen $1$ tot $\ell^*$) wordt vervangen door een conditionele diffusiebrug.
• De brug wordt getraind om de verborgen toestand $h_{\ell^*}$ te reconstrueren op basis van een op embedding gebaseerde voorwaarde afgeleid van de invoer van het bronmodel.
• De bovenste Transformer-lagen ($\ell^*+1$ tot $N$) en het originele Taalmodel (LM)-hoofd worden behouden en bevroren (of minimaal fijngefineerd).
• Tijdens inferentie ontdoet de brug de voorwaarde van ruis om $\hat{h}_{\ell^*}$ te produceren, die vervolgens wordt doorgegeven aan de behouden bovenste lagen voor tokenvoorspelling. Dit vermijdt directe tokenherwinning en herformuleert het probleem als reconstructie van verborgen toestanden.

Belangrijkste Bijdragen

1. Formulering van Diffusie-invoeging: Het artikel formuleert het invoegen van diffusie in voorgeprogrammeerde Transformers als een geometriegestuurd interface-selectieprobleem, en stelt praktische laagspecifieke proxies voor (lokale compactheid, globale stijfheid, effectieve rang) om diffusie-vriendelijke ruimten te identificeren.
2. Vaste Geometriescore: De auteurs introduceren een vaste geometriescore die sterk correleert met brugbaarheid (reconstructiekwaliteit) over backbones van 8B-schaal. Dit maakt het mogelijk om effectieve invoeglagen te identificeren zonder exhaustief trainen van bruggen voor elke kandidaat-laag.
3. DiHAL-architectuur: Een hybride architectuur die onderste Transformer-lagen vervangt door een conditionele diffusiebrug, terwijl de bovenste lagen en het LM-hoofd worden hergebruikt. Onder een diagnostische setting met een gelijk budget toont DiHAL aan dat herwinning van verborgen toestanden beter presteert dan baselines voor continue diffusie op basis van embeddings en latenten.

Experimentele Resultaten

De auteurs evalueerden DiHAL op Llama-3.1-8B-Instruct en Qwen3-8B backbones met gebruik van het Dolma v1.7-corpus.

• Lageselectie: De geometriescore voorspelde succesvol effectieve invoeglagen. Voor Llama-3.1-8B selecteerde de score Laag 3; voor Qwen3-8B Laag 2. Deze lagen bevinden zich nabij de embedding-interface, wat suggereert dat vroege verborgen toestanden een embedding-achtige geometrische structuur behouden die geschikt is voor diffusie.
• Correlatie met Brugbaarheid: De vaste geometriescore toonde een sterke Spearman-correlatie ($\rho \approx 0,91$–$0,93$) met de validatie-brugverlies, wat bevestigt dat geometrische proxies goedkoop lagen kunnen identificeren waar diffusiebruggen succesvol kunnen worden getraind.
• Diagnostische Vergelijking: In een vergelijking met gelijk budget tegenover baselines (Diffusion-LM, SED, LD4LG, CoDAR) bereikte DiHAL het laagste generatieve perplexiteit (Gen.PPL) en de hoogste diversiteit. Specifiek op Qwen3-8B verbeterde DiHAL Gen.PPL van 144,83 (CoDAR) naar 136,02 en diversiteit van 0,4777 naar 0,5913.
• Volledig Trainen: Bij volledig trainen bleven de door geometrie geselecteerde lagen concurrerend met validatie-verlies-orakels (lagen geselecteerd door expliciet alle bruggen te trainen) en presteerden ze aanzienlijk beter dan "slechtste-laag"-controles en de CoDAR-baseline.

Betekenis en Claims

Het artikel beweert dat de geometrie van verborgen toestanden een kritieke factor is in het bepalen waar diffusie effectief kan opereren binnen een taalmodel. De resultaten suggereren dat het falen van continue diffusie in taal niet louter een gevolg is van discretiteit, maar ook een mismatch tussen ontdoeningseisen en de geometrie van de representatieruimte.

Belangrijkste inzichten zijn:

• Herformulering van het Probleem: Continue diffusie voor taal hoeft tekst niet te genereren door direct tokens te herstellen; het kan een interne representatie reconstrueren die de voorgeprogrammeerde Transformer al weet te decoderen.
• Haalbaarheid van Hybride Modellen: Het is haalbaar om delen van een voorgeprogrammeerde Transformer te vervangen door een diffusiebrug als het invoegpunt wordt gekozen op basis van geometrische criteria.
• Beperkingen: De auteurs merken bescheiden op dat DiHAL nog geen zelfstandig diffusietaalmodel is; het is afhankelijk van het behouden Transformer-suffix voor tokenvoorspelling. Bovendien is de inferentielatentie momenteel hoger dan die van de originele backbone vanwege de ontdoeningstappen. Het werk wordt gepresenteerd als een stap naar het begrijpen waar diffusie bestaande modellen kan binnengaan, in plaats van een volledige vervanging van autoregressieve generatie op deze schaal.