Technische Samenvatting: Hiërarchische Schedulesoptimalisatie voor Snelle en Robuuste Sampling van Diffusiemodellen

Probleemstelling

Diffusieprobabilistische modellen hebben een nieuwe standaard voor generatieve fideliteit gevestigd, maar lijden onder computatie-intensieve iteratieve samplingprocessen. Het totale aantal functiebeoordelingen (NFE) dat nodig is om een hoogwaardige afbeelding te genereren, bereikt vaak honderden of duizenden, wat een knelpunt creëert voor real-time toepassingen. Hoewel Schedulesoptimalisatie—het vinden van een optimale verdeling van tijdstappen voor een vast, klein NFE zonder het model opnieuw te trainen—een trainingsvrije versnellingsstrategie biedt, voldoen bestaande paradigma's niet gelijktijdig aan vier kernprincipes:

1. Adaptiviteit: Het vermogen om schedules af te leiden die op maat zijn gemaakt voor specifieke modelkenmerken en NFE-budgetten, in plaats van te vertrouwen op vaste, universele regels.
2. Effectiviteit: Het vermogen om hoogwaardige steekproeven te produceren.
3. Praktische Robuustheid: Zorgen dat het theoretische doel overeenkomt met de werkelijke fideliteit, en het vermijden van pathologische oplossingen (bijvoorbeeld tijdstappen die te dicht bij elkaar clusteren).
4. Berekenings-efficiëntie: De zoekkosten voor de optimale schedule praktisch haalbaar houden.

Huidige methoden worstelen met het vinden van een balans hierin: op regels gebaseerde benaderingen missen adaptiviteit; perceptuele optimalisatie offert efficiëntie op; en principiële optimalisatie lijdt vaak aan niet-convexe landschappen die lokale zoekopdrachten vasthouden in suboptimale minima of gebrek aan robuustheid vertonen.

Methodologie: Hiërarchische Schedulesoptimalisator (HSO)

Om deze beperkingen aan te pakken, stellen de auteurs de Hiërarchische Schedulesoptimalisator (HSO) voor, een nieuw tweeniveau-optimalisatiekader dat de zoektocht naar een globaal optimale schedule herschrijft naar een meer hanteerbaar probleem. HSO wisselt iteratief af tussen twee synergetische niveaus:

1. De Kaderarchitectuur

• Bovenste Niveau (Globale Zoektocht): In plaats van direct te zoeken in de hoogdimensionale NFE-ruimte, zoekt HSO naar een optimale initialisatiestrategie binnen een laagdimensionale hyperparameter-ruimte ($\psi \in \mathbb{R}^3$). Deze strategie genereert een initiële schedule $\Lambda_{init}$. De zoektocht maakt gebruik van een op populatie gebaseerd evolutionair algoritme (bijvoorbeeld Differentiële Evolutie) om het niet-convexe landschap te navigeren.
• Onderste Niveau (Lokale Optimalisatie): Uitgaande van de $\Lambda_{init}$ gegenereerd door het bovenste niveau, voert dit niveau een lokale zoektocht uit om de schedule te verfijnen tot een optimale $\Lambda_{opt}$. Dit wordt uitgevoerd met een standaard beperkt optimalisatiealgoritme (bijvoorbeeld Trust-Region).

2. Belangrijkste Technische Innovaties

Het kader wordt geleid door twee specifieke innovaties die zijn ontworpen om de vier kernprincipes te waarborgen:

• Midpoint Error Proxy (MEP): Als objectieve functie ($J_{lower}$) voor de lokale optimalisatie op het onderste niveau fungeert MEP als een oplossingsonafhankelijk en numeriek stabiel doel. In tegenstelling tot eerdere methoden die gekoppeld zijn aan specifieke oplossers (bijvoorbeeld UniPC), wordt MEP afgeleid door het globale generatiefout-integraal te benaderen met een hybride middelpuntregel. Het isoleert de analytisch hanteerbare exponentiële term terwijl het de neurale netwerkterm benadert, wat resulteert in een doel met hoge orde-accuraatheid ($O(h^3)$) en rekenkundige efficiëntie ($O(N)$).
• Ruimte-gestraafde Fitness (SPF): Als fitnessfunctie ($F_{upper}$) voor de globale zoektocht op het bovenste niveau zorgt SPF voor praktische robuustheid. Het verrijkt de theoretische fout (van MEP) met een dynamische strafterm ($L_{penalty}$) die "pathologisch dichte" tijdstappen ontmoedigt. De straf past zich aan op basis van het NFE-budget en dwingt een minimale stapafstand af om numerieke instabiliteit en "stapinstorting" (waarbij stappen clusteren aan het einde van het generatieproces) te voorkomen.

Belangrijkste Bijdragen

1. HSO-kader: Een nieuw tweeniveau-optimalisatiekader dat succesvol Adaptiviteit, Effectiviteit, Praktische Robuustheid en Berekenings-efficiëntie gelijktijdig voldoet, en de compromissen van bestaande paradigma's overwint.
2. Technische Innovaties: De introductie van de MEP-doelfunctie voor robuuste lokale optimalisatie en de SPF-functie voor het leiden van de globale zoektocht naar stabiele, praktische schedules.
3. State-of-the-art Prestaties: Demonstratie van superieure prestaties in het extreem lage-NFE-regime (bijvoorbeeld NFE < 5) zonder opnieuw te trainen.

Experimentele Resultaten

De auteurs hebben HSO geëvalueerd op het Stable Diffusion v2.1-model met behulp van de LAION-Aesthetics 6.5+, MS-COCO- en ImageNet 512x512-benchmarks, en dit vergeleken met de state-of-the-art principiële optimalisatiemethode (DM-NonUni) en andere trainingsvrije/op training gebaseerde versnellers.

• Effectiviteit: HSO presteert aanzienlijk beter dan de baselines, vooral bij zeer lage NFE's. Op LAION-Aesthetics met NFE=5 bereikt HSO een FID van 11,94 (tegenover 13,91 voor DM-NonUni). Met NFE=4 behoudt HSO een FID van 15,71, terwijl de baseline significant verslechtert (18,96). Het voordeel is nog duidelijker met de DDIM-oplosser, waarbij HSO de FID verlaagt van 68,92 (baseline) naar 24,77 bij NFE=4.
• Adaptiviteit: Experimenten tonen aan dat HSO verschillende optimale initialisatieparameters ($\psi^*$) ontdekt voor verschillende NFE-budgetten en verschillende modellen (bijvoorbeeld PixArt-α versus Stable Diffusion v2.1), wat zijn vermogen bevestigt om zich aan te passen aan specifieke beperkingen en modelruisschedules.
• Praktische Robuustheid: Zonder de SPF-straf stort de optimalisatie in op instabiele schedules (bijvoorbeeld tijdstappen [999, 70, 9, 9]) met catastrofale FID-scores (165,48). Het inschakelen van SPF herstelt de stabiliteit, wat resulteert in een gemiddelde FID van 19,76.
• Berekenings-efficiëntie: HSO vereist een eenmalige optimalisatiekost van minder dan 8 seconden op een consumenten-CPU. Dit is orde van grootte sneller dan globale zoekmethoden zoals AutoDiffusion (~1,1 dag) en omzeilt de aanzienlijke trainingskosten van op training gebaseerde methoden (vaak GPU-dagen of maanden).

Betekenis en Claims

Het artikel stelt dat HSO een zeer praktisch en efficiënt paradigma presenteert voor versnelling van diffusiemodellen. Door de zoektocht naar een globale initialisatiestrategie te ontkoppelen van lokale verfijning, navigeert HSO effectief door het niet-convexe optimalisatielandschap. De auteurs stellen dat deze aanpak een nieuwe state-of-the-art zet voor trainingsvrije sampling in het extreem lage-NFE-regime, met een opmerkelijke steekproefkwaliteit (bijvoorbeeld FID 11,94 bij NFE=5) en verwaarloosbare voorbereidingstijd. Het werk benadrukt dat dergelijke prestaties niet worden bereikt door kostbare hertraining, maar door een robuust, eenmalig optimalisatieproces dat rekening houdt met de fundamentele beperkingen van praktische implementatie.