Dual-Solver: A Generalized ODE Solver for Diffusion Models with Dual Prediction

Titel: Dual-Solver: Een gegeneraliseerde ODE-oplosser voor Diffusiemodellen met Dubbele Voorspelling

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Soochul Park en Yeon Ju Lee (SteAI / MODULABS / Korea University)

---

1. Het Probleem

Diffusiemodellen hebben state-of-the-art resultaten geleverd in het genereren van beelden, audio en video. Een groot nadeel is echter dat het inferentieproces (het genereren van samples) zeer kostbaar is in termen van rekentijd. Dit komt doordat het proces iteratief is en een groot aantal Function Evaluations (NFEs) vereist om een hoogwaardig resultaat te bereiken.

Om dit te versnellen, zijn er verschillende methoden ontwikkeld:

• Klassieke ODE-methoden: (bijv. Runge-Kutta, Adams-Bashforth) die een vaste afweging bieden tussen nauwkeurigheid en NFE.
• Specifieke diffusie-oplossers: (bijv. DPM-Solver++) die de structuur van het ontdeningsproces benutten.
• Gestudeerde oplossers (Learned Solvers): Methoden die tijdstappen en parameters leren, maar vaak afhankelijk zijn van specifieke backbones en datasets, en veel overhead vereisen voor training (vaak met een "teacher" model dat veel NFEs gebruikt).

De kernuitdaging is dat de keuze van het voorspellingstype (ruis, snelheid of data) en het integratiedomein (lineair of logaritmisch) leiden tot verschillende steekproefgedragingen. Bestaande methoden zijn vaak star in deze keuzes en presteren minder goed bij zeer lage NFEs (bijv. 3 tot 9 stappen).

2. Methodologie: Dual-Solver

Dual-Solver introduceert een versterkte predictor-corrector-architectuur die de flexibiliteit biedt om continu te schakelen tussen verschillende bestaande methoden door middel van leerbare parameters.

A. De Drie Leerbare Parameters

Voor elke stap in het steekproefproces worden drie soorten parameters geleerd die het gedrag van de solver dynamisch aanpassen:

1. Voorspelling Parameter ($\gamma$):

   • Interpoleert tussen drie voorspellingstypen: ruis ($\epsilon_\theta$), snelheid ($v_\theta$) en data ($x_\theta$).
   • In plaats van te kiezen voor één type, gebruikt Dual-Solver een geïntegreerde vorm waarbij $\gamma$ bepaalt hoe deze componenten worden gecombineerd.
   • $\gamma = -1$ komt overeen met ruisvoorspelling, $\gamma = 0$ met snelheid, en $\gamma = 1$ met data-voorspelling.

2. Domeinverandering Parameter ($\tau$):

   • Regelt de transformatie van het integratiedomein.
   • Interpoleert tussen een lineaire transformatie ($L(y)=y$) en een logaritmische transformatie ($L(y)=\log y$).
   • Dit wordt gerealiseerd via een "log-linear" transformatie: $L(y; \tau) = \frac{\log(1+\tau y)}{\tau}$.
   • Dit zorgt voor numerieke stabiliteit, vooral wanneer waarden dicht bij nul komen, en optimaliseert de weging van de integrand.

3. Residuparameter ($\kappa$):

   • Past het residu (de foutterm) aan terwijl de lokale nauwkeurigheid van de tweede orde behouden blijft.
   • Hierdoor kan de solver extra flexibiliteit krijgen in hoe de foutterm wordt behandeld zonder de theoretische convergentie te schaden.

B. Training: Classificatie-gebaseerde Leerstrategie

Een cruciale innovatie is de manier waarop deze parameters worden getraind. In tegenstelling tot eerdere werken die gebruikmaken van regressie (waarbij een student-model probeert de trajecten of samples van een duur "teacher"-model na te bootsen), gebruikt Dual-Solver een classificatie-gebaseerde doelstelling:

• Geen Teacher nodig: Het model genereert samples met een lage NFE.
• Classificator: Deze samples worden door een bevroren, voorgeöpleide classifier (bijv. MobileNet voor ImageNet of CLIP voor tekst-naar-beeld) gevoerd.
• Verliesfunctie: Er wordt een Cross-Entropy loss berekend tussen de voorspelde klasse van de generator en de werkelijke label (of tekst-prompt).
• Voordeel: Dit vereist geen dure high-NFE samples voor training en werkt effectief zelfs bij zeer lage NFEs (3-9 stappen). Het optimaliseert de solver om samples te genereren die aan de juiste kant van de beslissingsgrens van de classifier liggen.

3. Belangrijkste Bijdragen

1. Gegeneraliseerde ODE-oplosser: Dual-Solver verenigt verschillende bestaande oplossers (DPM-Solver++, DDIM, enz.) in één raamwerk door middel van de leerbare parameters $\gamma$, $\tau$ en $\kappa$.
2. Dubbele Voorspelling: Het introduceert een methode om zowel data- als ruisvoorspellingen (of snelheid) simultaan en adaptief te gebruiken in de integratieformule.
3. Efficiënte Training: De classificatie-gebaseerde leerstrategie elimineert de noodzaak van teacher-trajecten, wat de trainingstijd en -kosten drastisch verlaagt en de prestaties in het lage-NFE-regime verbetert.
4. Tweede-orde Nauwkeurigheid: Ondanks de flexibiliteit en de toevoeging van leerbare parameters, behoudt de solver formele tweede-orde lokale nauwkeurigheid.

4. Resultaten

De auteurs hebben Dual-Solver getest op diverse backbones (DiT, GM-DiT, SANA, PixArt-α) voor zowel ImageNet-voorwaartse generatie als tekst-naar-beeld taken.

• Prestaties bij lage NFE: In het bereik van 3 tot 9 NFEs overtreft Dual-Solver consistent bestaande state-of-the-art oplossers (zoals DPM-Solver++, BNS-Solver en DS-Solver).
• Kwaliteitsmetrieken:
  • FID (Fréchet Inception Distance): Dual-Solver bereikt aanzienlijk lagere (betere) FID-scores. Bijvoorbeeld, op DiT met NFE=5 scoort Dual-Solver een FID van 3.52, terwijl DPM-Solver++ 22.19 haalt.
  • CLIP Score: Voor tekst-naar-beeld taken (SANA, PixArt-α) worden hogere CLIP-scores behaald, wat aangeeft dat de afbeeldingen beter corresponderen met de tekstprompt.
• Ablatie-studies:
  • De combinatie van een eerste-orde predictor en een tweede-orde corrector bleek het meest effectief.
  • Het laten leren van alle parameters ($\gamma, \tau, \kappa$) gaf over het algemeen de beste resultaten, hoewel gedeelde parameters soms beter presteerden bij hogere NFEs.
  • De keuze van de classifier is cruciaal; een classifier met een "gemiddelde" nauwkeurigheid bleek vaak beter te werken voor FID dan een extreem nauwkeurige classifier.

5. Betekenis en Conclusie

Dual-Solver biedt een fundamentele verbetering in het versnellen van diffusiemodellen. Door de rigiditeit van klassieke ODE-methoden te doorbreken en te leren welke voorspellingstypen en integratiedomeinen het beste werken voor een specifieke stap, bereikt het een superieure kwaliteit bij een minimaal aantal rekenstappen.

De belangrijkste implicatie is dat hoge kwaliteit beeldgeneratie nu mogelijk is met slechts 3 tot 9 stappen, wat de toepasbaarheid van diffusiemodellen in real-time toepassingen en op beperkte hardware aanzienlijk vergroot. De classificatie-gebaseerde trainingsmethode opent ook een nieuw pad voor het trainen van oplossers zonder afhankelijkheid van dure teacher-modellen.