Technische Samenvatting: Wanneer zijn twee scores beter dan één? Een onderzoek naar ensembles van diffusiemodellen

Probleemstelling

Hoewel ensembling een goed gevestigde techniek is in supervised learning voor het verbeteren van de robuustheid en nauwkeurigheid van modellen door het aggregeren van meerdere voorspellers, blijft de toepassing ervan op onvoorwaardelijke score-gebaseerde diffusiemodellen grotendeels onverkend. Standaardstrategieën om diffusiemodellen te verbeteren omvatten doorgaans het opschalen van de diepte of de trainingsduur van het model, wat aanzienlijke computationele kosten met zich meebrengt. De auteurs onderzoeken of het ensembelen van meerdere diffusiemodellen — specifiek door hun geschatte scorefuncties te aggregeren — tastbare voordelen biedt voor generatieve modellering, met name in termen van de perceptuele kwaliteit van samples.

Methodologie

De studie maakt gebruik van een "democratisch" ensembleframework waarbij $K$ onafhankelijk getrainde modellen gelijkwaardig bijdragen aan het aggregatieproces. Het onderzoek behandelt zowel deep learning-gebaseerde benaderingen (neurale netwerken) als niet-deep benaderingen (beslisbomen).

1. Ensembleconstructie

• Deep Ensembles (DE): De auteurs trainen $K$ U-Nets (of ADM-architecturen) onafhankelijk op dezelfde dataset met verschillende willekeurige seeds. Ze verkennen ook Monte Carlo (MC) Dropout als een lichtgewicht alternatief voor het trainen van afzonderlijke netwerken.
• Beslisboom-ensembles: Voor tabulaire data maken ze gebruik van Random Forests, waarbij verschillende bomen op diverse ruisniveaus worden getraind om de scorefunctie te benaderen.

2. Aggregatiestrategieën

De kern van het onderzoek ligt in de manier waarop de $K$ scorevoorspellers $\{s^{(k)}_\theta(x, t)\}_{k=1}^K$ bij elk tijdstap $t$ tijdens het reverse diffusieproces worden gecombineerd. Het artikel evalueert verschillende aggregatieregels:

• Rekenkundig gemiddelde: De standaardbenadering, waarbij scores coördinaat-gewijs worden gemiddeld.
• Meetkundig gemiddelde & Mediaan: Alternatieve coördinaat-gewijze aggregaties.
• Dominant Kenmerk (Dominant Feature): Het selecteren van de component met de grootste absolute waarde over alle experts heen voor elke coördinaat.
• Mixture of Experts (MoE): Het willekeurig selecteren van een enkele expert-model vooraf aan de sampling-run.
• Alternerende Sampling: Het willekeurig selecteren van een andere expert bij elk ruisniveau $t_n$.
• Som van Scores: Het sommeren van de scores (geïnterpreteerd als een ongenormaliseerde product van experts).

3. Theoretische Analyse

De auteurs bieden theoretische inzichten in de relatie tussen score-aggregatie en dichtheidscompositie. Ze analyseren of het middelen van scores overeenkomt met het samplen uit een "Product of Experts" (PoE) distributie. Ze bewijzen dat diffusie (het toevoegen van ruis) en dichtheidscompositie (PoE) niet commuteren, wat betekent dat het middelen van scores op tussenliggende tijdstappen niet strikt overeenkomt met het samplen uit het meetkundig gemiddelde van de initiële datadistributies.

4. Experimentele Opzet

Experimenten werden uitgevoerd op:

• Beelddatasets: CIFAR-10 (32x32) en FFHQ (256x256).
• Tabulaire Datasets: Iris, Airfoil Self-Noise en Wine Quality datasets.
• Metrieken: Fréchet Inception Distance (FID), Kernel Inception Distance (KID), Denoising Diffusion Score Matching (LDDSM) loss en de Wasserstein-afstand (voor tabulaire data).

Belangrijkste Resultaten

1. Beperkte verbetering in perceptuele kwaliteit

In tegenstelling tot het succes van ensembling in supervised learning, stellen de auteurs vast dat het ensembelen van diffusiemodellen er niet in slaagt om de perceptuele kwaliteit (metrieken zoals FID, KID) consistent te verbeteren.

• Op CIFAR-10 en FFHQ levert het rekenkundig gemiddelde van scores over het algemeen slechts marginale of geen verbetering op ten opzichte van het gemiddelde individuele model en overtreft het nooit het beste individuele model.
• In sommige gevallen (bijv. CIFAR-10 met specifieke configuraties) presteerde ensembling slechter dan het zwakste individuele model.
• Dit geldt voor diverse aggregatiestrategieën (Meetkundig gemiddelde, Mediaan, Dominant kenmerk), met uitzondering van de Mixture of Experts (MoE) in specifieke contexten.

2. Verbetering in de trainingsdoelstelling

Terwijl de perceptuele metrieken stagneren, daalt de LDDSM loss consistent naarmate de ensemblegrootte $K$ toeneemt. Dit komt overeen met de theoretische verwachtingen op basis van de ongelijkheid van Jensen, waarbij het middelen van schatters de variantie in de score-matching doelstelling vermindert. Deze reductie in de trainingsverlies vertaalt zich echter niet in een betere samplekwaliteit.

3. Specifieke succesgevallen

• Mixture of Experts (MoE): Op FFHQ presteerde MoE zelfs beter dan het beste individuele model. Dit suggereert dat het benutten van de inter-model variabiliteit door te samplen vanuit een enkele expert per run voordelig kan zijn, hoewel dit geen echte "ensemble" vormt in de zin van het combineren van voorspellingen voor een enkele sample.
• Tabulaire Data (Dominant Kenmerk): Voor Random Forests op tabulaire data presteerde de Dominant Feature aggregatiestrategie aanzienlijk beter dan het rekenkundig gemiddelde en andere methoden. De auteurs schrijven dit toe aan een systematische onderschatting van de ruisgrootte door simpel middelen, wat de Dominant-strategie corrigeert.

4. De disconnect tussen Loss en Kwaliteit

De studie belicht een fundamentele disconnect: de score matching loss (wat het model optimaliseert) en de perceptuele kwaliteitsmetrieken (hoe het model wordt geëvalueerd) evolueren verschillend. Het verstoren van de scorefunctie leidde tot chaotische variaties in FID die niet voorspeld konden worden door veranderingen in de loss, wat bevestigt dat een hoge likelihood of lage score-matching fout niet automatisch een hoge perceptuele kwaliteit garandeert.

Betekenis en Claims

De primaire bijdrage van het artikel is een rigoureuze empirische en theoretische onderzoek die aantoont dat standaard ensemblingtechnieken niet dezelfde voordelen bieden voor diffusiemodellen als voor supervised modellen.

• Bescheiden winst: De auteurs beweren dat ensembling slechts marginale, zo niet geen verbeteringen oplevert in de kwaliteit van samples, ondanks de consistente reducties in de trainingsdoelstelling.
• Theoretisch inzicht: Ze verhelderen dat stap-gewijze score-aggregatie niet gelijkstaat aan het samplen uit een Product of Experts distributie vanwege de niet-commutativiteit van diffusie en dichtheidscompositie.
• Kosten-batenanalyse: Gezien de aanzienlijke toename van de trainings- en samplingkosten, biedt standaard ensembling beperkte opbrengsten voor onvoorwaardelijke diffusiemodellen.
• Uitzonderingen: Het artikel identificeert specifieke niches waar ensembling helpt: (1) wanneer modellen voldoende complementair zijn (MoE), en (2) bij het gebruik van specifieke aggregatieregels voor tabulaire data (Dominant Feature) om bias te corrigeren.

De auteurs concluderen dat hoewel ensembling de schatting van de score verbetert, de kloof tussen score matching en perceptuele kwaliteit voorkomt dat deze verbeteringen zich manifesteren in betere gegenereerde afbeeldingen, wat suggereert dat toekomstige vooruitgang strategieën vereist die verder gaan dan eenvoudige score-aggregatie.