DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

Technische Samenvatting: DASH: Dual-Branch Score Distillation voor Guidance-gekalibreerde Compacte Diffusiemodellen

Probleemstelling
Klasse-conditionele diffusiemodellen die gebruikmaken van Classifier-Free Guidance (CFG) vertrouwen op een enkel netwerk om zowel conditionele ($\epsilon_y$) als onconditionele ($\epsilon_\emptyset$) voorspellingen te produceren. Het guidance-mechanisme versterkt het verschil $\Delta = \epsilon_y - \epsilon_\emptyset$ om generatie te sturen. Echter, het comprimeren van deze modellen via parameterreductie introduceert een kritiek structureel falen in bestaande distillatie-objectieven.

Standaard distillatie superviseert alleen de gecombineerde gestuurde voorspelling ($\tilde{\epsilon}_S \approx \tilde{\epsilon}_T$) of de conditionele tak alleen. Dit creëert een onderbepaald optimalisatieprobleem: meerdere decomposities van de branches van de student kunnen aan de loss-functie voldoen, inclusiief een degeneratieve oplossing waarbij de guidance-gap instort ($\Delta_S \to 0$). In deze staat convergeren de conditionele en onconditionele voorspellingen, waardoor de guidance-gewicht $w$ ineffectief wordt tijdens inferentie, zelfs als de gecombineerde trainingsloss wordt geminimaliseerd. Bovendien falen bestaande methoden erin de door de teacher geleerde per-timestep trainingscurriculum (belangrijkheidsgewogenheid) over te dragen, waardoor de student gedwongen wordt dit schema binnen beperkte distillatiebudgetten opnieuw te leren, wat vaak het optimale trainingsverloop corrumpeert.

Methodologie: DASH-framework
Het artikel stelt DASH (Dual-Branch Score Distillation) voor, een framework ontworpen om onderbepaaldheid op te lossen en guidance-kalibratie te behouden via twee primaire mechanismen:

1. Dual-Branch Onafhankelijke Supervisie:
   In plaats van de gecombineerde output te matchen, superviseert DASH beide score-branches onafhankelijk met afzonderlijke loss-termen:

   • Imitatie Loss ($L_{im}$): Matcht de conditionele branch ($\epsilon^y_S \approx \epsilon^y_T$).
   • Onconditionele Loss ($L_{un}$): Matcht de onconditionele branch ($\epsilon^\emptyset_S \approx \epsilon^\emptyset_T$).
   • Anchor Loss ($L_{an}$): Een lichtgewicht regularisator die de conditionele branch verankert aan de grondwaarheid-ruis ($\epsilon$) om drift tijdens de vroege training te voorkomen.

   Door beide branches gelijktijdig te beperken, specificeert het framework uniek de doeloutputs voor elke sample, waardoor de mogelijke oplossingsruimte die leidt tot de instorting van de guidance-gap wordt geëlimineerd. De auteurs definiëren een guidance-gap ratio $\rho = E[\|\Delta_S\|] / E[\|\Delta_T\|]$ om kalibratie te monitoren, waarbij $\rho \approx 1$ wijst op succesvolle preservatie.

2. TIRT Transfer (Timestep-Importance Rebalanced Training Transfer):
   Het teacher-model maakt gebruik van TIRT, een uitbreiding van Min-SNR-weging die per-timestep schalingfactoren ($\lambda_t$) leert om training te concentreren op content-moeilijke regio's in het midden van het traject. DASH introduceert TIRT Transfer, die het geconvergeerde per-timestep belangrijkheidscurriculum van de teacher ($\hat{\omega}_T$) direct kopieert naar de student als een bevroren prior. Dit voorkomt dat de student het curriculum corrumpeert met distillatie-gradiënten die beloningen geven voor gemakkelijke voorspellings-matching in plaats van content-moeilijkheid.

Belangrijkste Bijdragen

• Resolutie van Structurele Onderbepaaldheid: Het artikel identificeert en lost de degeneratieve instorting van de guidance-gap in parameter-gecomprimeerde diffusiemodellen op. Het demonstreert dat onconditionele supervisie niet louter gunstig maar essentieel is, en verantwoordelijk is voor meer dan 60% van de totale distillatie-winst.
• Curriculum Transfer: De introductie van TIRT Transfer, die de student initialiseert met de geleerde timestep-weging van de teacher als een bevroren prior, elimineert de noodzaak voor de student om het curriculum opnieuw te leren.
• Dual-Branch Framework: Een verenigde distillatie-pipeline die onafhankelijk zowel de conditionele als de onconditionele branches beperkt, gevalideerd als empirisch essentieel voor het behoud van guidance-getrouwheid onder compressie.

Experimentele Resultaten
Experimenten werden uitgevoerd op CIFAR-10 en CIFAR-100 met een teacher-model (35,8M parameters) en een gecomprimeerde student (6,1M parameters, 5,9× compressie).

• Prestaties: De DASH-student bereikt een FID van 8,87 (CIFAR-10) en 10,47 (CIFAR-100) bij 50-staps DDIM sampling. Dit ligt binnen 4 FID-punten van de teacher (FID 5,47 / 6,80) en presteert aanzienlijk beter dan vanaf nul trainen (FID 20,47 / 26,14) en single-constraint baselines.
• Guidance Kalibratie: DASH behoudt een guidance-gap ratio $\rho$ van 0,91 (CIFAR-10) en 0,89 (CIFAR-100), met een directionele cosinus $\cos(\Delta)$ nabij 0,94. In contrast hiermee lijden gecombineerde distillatie-baselines aan gedeeltelijke instorting ($\rho \approx 0,68$), en leidt conditionele-only supervisie tot bijna totale instorting ($\rho \approx 0,09$), wat de prestaties onder die van training vanaf nul brengt.
• Ablatie Studies:
  • Het verwijderen van $L_{un}$ (onconditionele loss) veroorzaakt een daling van 7,77 FID-punten op CIFAR-10 en laat $\rho$ instorten naar 0,61, wat bevestigt dat dit de dominante component is.
  • Het verwijderen van TIRT Transfer (vervanging door vaste Min-SNR) resulteert in een daling van 2,60 FID-punten, wat de noodzaak van het overdragen van het geleerde curriculum valideert.
  • De cross-dataset prestatieratio (1,18× voor DASH vs. 1,51× voor baselines) bevestigt robuuste generalisatie over label-complexiteiten heen.

Significantie en Claims
Het artikel claimt dat DASH een nieuwe standaard zet voor parameter-efficiënte diffusie door een structurele fout in bestaande distillatie-objectieven aan te pakken. De auteurs stellen dat:

1. Onconditionele supervisie is niet onderhandelbaar: Het kan niet worden vervangen door gecombineerde of conditionele objectieven; zonder dit wordt CFG ineffectief onder compressie.
2. Curriculum transfer is verschillend van feature distillatie: Het overdragen van het trainingsschema (TIRT) als een bevroren prior is een nieuwe bijdrage die voorkomt dat de data-adaptieve moeilijkheids-weging van de teacher wordt gecorrumpeerd.
3. Efficiëntie zonder Compromis: Het framework maakt aanzienlijke parameterreductie mogelijk (5,9×) terwijl de gekalibreerde guidance-mechanisme behouden blijft, wat hoogwaardige generatie mogelijk maakt in omgevingen met beperkte middelen zonder de aantal inference-stappen te verhogen.

Dit werk positioneert zich op het snijvlak van parametercompressie en branch-level kalibratie, en biedt een oplossing die orthogonaal is aan stap-reductiemethoden en combineerbaar is met deze.