Technische Samenvatting: Continu-Tijd Distributiematching voor Diffusiedistillatie in Weinige Stappen

Probleemstelling

Diffusie- en flow-matching modellen hebben de tekst-naar-afbeeldinggeneratie revolutionair veranderd, maar lijden aan een ernstig computatief knelpunt door hun iteratieve bemonsteringsprocessen, die vaak tientallen tot honderden netwerkberekeningen vereisen. Hoewel diffusiedistillatieparadigma's (zoals Consistency Distillation en Distribution Matching Distillation) zijn opgekomen om dit proces te versnellen, ondervinden bestaande Distribution Matching Distillation (DMD)-methoden structurele beperkingen. Specifiek vertrouwt de standaard DMD op spare supervisie op enkele vooraf gedefinieerde discrete tijdstippen om een strikte uitlijning tussen trainings- en inferentieschema's te handhaven. Deze beperkte discrete-tijdformulering, gecombineerd met de mode-zoekende aard van de omgekeerde KL-divergentie, leidt vaak tot visuele artefacten, overgegladde output en verlies van fijnmazige details. Bijgevolg vereisen huidige state-of-the-art DMD-methoden vaak complexe hulpmodules, zoals Generative Adversarial Networks (GAN's) of beloningsmodellen, om visuele fideliteit te herstellen.

Methodologie: Continu-Tijd Distributiematching (CDM)

De auteurs stellen Continuous-Time Distribution Matching (CDM) voor, een raamwerk dat het DMD-paradigma verplaatst van discrete ankerpunten naar continue optimalisatie. De methode bestaat uit twee primaire continu-tijdontwerpen:

1. Dynamisch Continu Tijdschema

In tegenstelling tot traditionele DMD, die de terugwaartse simulatie beperkt tot een vast aantal discrete ankerpunten die overeenkomen met het inferentieschema, hanteert CDM een dynamisch continu schema.

• Mechanisme: Bij elke trainingsiteratie wordt de simulatielengte $N$ willekeurig bemonsterd uit een uniforme verdeling $U\{1, N_{max}\}$. De tijdstippen $t_1, \dots, t_N$ worden gegenereerd als een strikt afnemende continue reeks binnen $(0, 1]$.
• Effect: Dit ontkoppelt de trainingsoptimalisatie van het vaste inferentieschema. Het studentenmodel wordt getraind over de volledige continue tijdsruimte in plaats van enkele vaste punten, en ontvangt gradiëntsignalen uit een breder scala aan trajecten. Theoretische analyse suggereert dat dit de student aanmoedigt om een gladdere snelheidsveld te leren over het continue domein, in plaats van te overfitten op sparsere discrete ankerpunten.

2. Uitlijning buiten het Traject via Snelheidsgedreven Extrapolatie

Om de numerieke truncatiefouten aan te pakken die inherent zijn aan generatie in weinige stappen (waarbij grote integratiestappen ervoor zorgen dat trajecten afwijken van het ideale manifold), introduceert CDM een nieuwe CDM-verliesfunctie ($L_{CDM}$).

• Mechanisme: In plaats van supervisie te beperken tot latente variabelen op het traject, voert de methode actieve matching buiten het traject uit. Het neemt een Euler-stap van de eerste orde langs het door de student voorspelde snelheidsveld om een latente variabele buiten het traject te extrapoleren: $x'_{t_i} = x_{t_i} + (t'_i - t_i)v_{t_i}$.
• Doel: De verliesfunctie dwingt distributiematching af op deze geëxtrapoleerde punten. Door het doel te verankeren aan de lokale schatting van schone data op het geëxtrapoleerde punt, creëert de methode een zelfconsistentie-beperking voor het vectorveld van de student. Dit straft effectief ongeldige snelheidsvoorspellingen buiten het hoofdtraject af, vermindert inconsistentie tussen ankerpunten en stelt de student in staat integratiefouten zelf te corrigeren.

Trainingsdoel

Het volledige trainingsdoel verenigt drie componenten:
$$L = L_{CA} + L_{DM} + L_{CDM}$$

• $L_{CA}$ (CFG Augmentation): Zorgt voor uitlijning tussen tekst en afbeelding.
• $L_{DM}$ (Distributiematching): Uitlijnt de marginale verdeling van de student met de CFG-vrije verdeling van de leraar.
• $L_{CDM}$ (Continu-Tijd Matching): Regulariseert het snelheidsveld over het continue tijdsdomein via supervisie buiten het traject.

Belangrijkste Bijdragen

1. Empirische Inzichten: De auteurs onthullen dat het verankeren van training aan vaste discrete tijdstippen onnodig is en dat de Distribution Matching (DM)-verliesfunctie niet slechts een regularisator is, maar de primaire drijvende kracht die de student uitlijnt met de CFG-vrije verdeling van de leraar.
2. CDM-Raamwerk: Het voorstellen van een unificerend raamwerk dat dynamisch continu schemabeheer combineert met een snelheidsgedreven uitlijningsdoelstelling buiten het traject. Dit verplaatst de optimalisatie naar het continu-tijdsdomein zonder te vertrouwen op adversariale training of externe beloningsmodellen.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat CDM superieure visuele fideliteit en semantische adherentie bereikt bij generatie in weinige stappen (4 NFE) over verschillende architecturen (SD3-Medium en Longcat-Image), en bestaande baselines zoals DMD2, D-DMD en Hyper-SD overtreft.

Experimentele Resultaten

Het artikel evalueert CDM op SD3-Medium en Longcat-Image met een resolutie van 1024×1024 en 4 Netwerkfunctie-evaluaties (NFE).

• Kwantitatieve Prestaties: Op SD3-Medium behaalt CDM de beste scores voor Aesthetic (6,075), DPGBench (85,26), PickScore (21,95) en HPSv3 (9,561), en presteert beter dan de sterke baseline D-DMD. Opmerkelijk is dat de 4-NFE CDM-student op verschillende metrieken (zoals DPGBench en HPSv3) de 100-NFE leraar benadert of overtreft.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen tonen aan dat CDM scherpere texturen, rijkere fijnmazige details en betere adherentie aan complexe prompts produceert in vergelijking met baselines, die vaak lijden aan overgladheid.
• Ablatiestudies:
  • Het verwijderen van $L_{CA}$ leidt tot structurele instorting.
  • Het individueel verwijderen van $L_{DM}$ of $L_{CDM}$ verslechtert respectievelijk de adherentie aan prompts of de visuele fideliteit.
  • Terugkeren naar een vast tijdschema of het gebruik van Gaussische ruisperturbatie in plaats van snelheidsgedreven extrapolatie resulteert in lagere prestaties, wat de noodzaak van de continue en snelheidsgedreven ontwerpen bevestigt.

Betekenis en Beweringen

Het artikel beweert dat CDM het eerste werk is dat het DMD-distillatieraamwerk verplaatst van discrete schema's naar een continue optimalisatieruimte. De betekenis hiervan ligt in het aantonen dat generatie in weinige stappen met hoge fideliteit kan worden bereikt zonder te vertrouwen op complexe hulpdoelstellingen (zoals GAN's of beloningsmodellen) die doorgaans nodig zijn om de artefacten van discrete-tijdsdistillatie te verhelpen.

Door truncatie-drifts expliciet te simuleren en terug te corrigeren naar het doel-data-manifold via continue supervisie, vestigt CDM nieuwe state-of-the-art resultaten voor 4-staps afbeeldingsgeneratie. De auteurs positioneren dit werk als een stap richting meer toegankelijke diffusiedistillatie, waardoor hoogwaardige generatie op handelshardware mogelijk wordt door de inferentiekosten met een orde van grootte te verminderen terwijl de visuele kwaliteit behouden blijft.