📊 statistics

When Are Two Scores Better Than One? Investigating Ensembles of Diffusion Models

Diese Arbeit untersucht Ensembles aus unbedingten score-basierten Diffusionsmodellen und stellt fest, dass die Aggregation von Scores zwar die Likelihood und den Score-Matching-Verlust verbessert, jedoch versäumt, die wahrnehmungsbezogenen Bildqualitätsmetriken wie FID konsistent zu steigern, eine Diskrepanz, welche die Autoren durch verschiedene Aggregationsstrategien, Vergleiche mit tabellarischen Daten und theoretische Einblicke in die Modellkomposition untersuchen.

Ursprüngliche Autoren: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Damien Garreau, Pierre-Alexandre Mattei

Veröffentlicht 2026-01-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Damien Garreau, Pierre-Alexandre Mattei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Ist ein Komitee besser als ein Genie?

Stellen Sie sich vor, Sie versuchen, ein Meisterwerk zu malen. Sie haben einen unglaublich talentierten Künstler (ein einzelnes KI-Modell), der jahrelang gelernt hat, wie man malt. Nun stellen Sie sich vor, Sie versammeln ein Komitee aus fünf ebenso talentierten Künstlern. Die alte Regel in vielen wissenschaftlichen Gebieten lautet: „Ein Komitee ist immer besser als eine einzelne Person.“ Wenn ein Künstler einen Fehler macht, können die anderen ihn korrigieren. Wenn man ihre Meinungen mittelt, sollte man ein perfektes Ergebnis erhalten.

Diese Arbeit stellt die Frage: Funktioniert diese Regel auch für KI-Bildgeneratoren (Diffusionsmodelle)?

Die kurze Antwort: Überraschenderweise nein. Tatsächlich ist das Komitee manchmal schlechter als der eine beste Künstler.

Wie diese KI-Maler arbeiten (Das „Entrauschen“-Spiel)

Um zu verstehen, warum das Komitee scheiterte, müssen Sie wissen, wie diese KI-Maler arbeiten. Sie malen nicht bei Null anfangen. Sie beginnen mit einer Leinwand, die mit statischem Rauschen bedeckt ist (wie das Schneegestöber im Fernsehen), und „reinigen“ sie dann langsam, um ein Bild zum Vorschein zu bringen.

Der Score: Bei jedem winzigen Schritt der Reinigung muss die KI raten: „In welche Richtung sollte ich diesen Pixel bewegen, damit er mehr wie ein echtes Gesicht aussieht?“ Diese Vermutung wird als Score bezeichnet.
Der Prozess: Die KI macht tausende dieser winzigen Vermutungen und bewegt die Pixel Schritt für Schritt von Rauschen zu einem klaren Bild.

Das Experiment: Der „Komitee“-Ansatz

Die Forscher versuchten, ein „Ensemble“ (ein Komitee) aufzubauen. Sie trainierten fünf verschiedene KI-Maler separat. Dann fragten sie bei jedem einzelnen Schritt des Reinigungsprozesses alle fünf Maler nach ihrem Rat, in welche Richtung sie die Pixel bewegen sollten.

Sie probierten verschiedene Wege aus, um den Rat zu kombinieren:

Der arithmetische Mittelwert: Sie nahmen den Durchschnitt aller fünf Vermutungen (wie wenn man fünf Leuten nach dem Weg fragt und die durchschnittliche Entfernung geht).
Das dominante Merkmal: Sie hörten nur auf den Maler, der am lautesten schrie (die größte Vermutung für den spezifischen Pixel hatte).
Mixture of Experts: Sie wählten für die gesamte Reise einen zufälligen Maler aus und blieben bei ihm.

Die Ergebnisse: Wenn zwei (oder fünf) nicht besser sind als einer

Hier ist das, was sie herausfanden, unterteilt nach dem, was passierte:

1. Die „Mathematik“ wurde besser, aber die „Kunst“ wurde schlechter

Als die Forscher sich die Mathematik (den Trainingsverlust) ansah, sah das Komitee großartig aus. Die durchschnittliche Vermutung der fünf Maler war mathematisch gesehen näher an der „perfekten“ Antwort als jeder einzelne Maler.

Analogie: Stellen Sie sich vor, fünf Leute raten das Gewicht eines Kürbisses. Wenn Sie ihre Schätzungen mitteln, könnten Sie genau das Gewicht treffen.
Das Problem: In der KI-Bildgenerierung bedeutet mathematisch „korrekt“ zu sein nicht immer, dass das Bild gut aussieht. Die durchschnittliche Vermutung des Komitees war mathematisch präzise, führte aber zu verschwommenen, matschigen oder seltsam aussehenden Bildern. Der einzelne beste Künstler produzierte tatsächlich schärfere, realistischere Fotos.

2. Der „Verschwommene Komitee“-Effekt

Wenn man die Meinungen von fünf verschiedenen Personen mittelt, landet man oft in einem „sicheren“ Mittelweg.

Analogie: Stellen Sie sich fünf Köche vor, die eine Suppe kochen. Koch A will sie sehr salzig, Koch B möchte sie sehr scharf und Koch C möchte sie sehr süß. Wenn man alle Suppen der Köche zusammenmischt, bekommt man keine „perfekte“ Suppe, sondern eine fade, verwirrende Masse, die nach gar nichts schmeckt.
Der Befund der Arbeit: Durch das Mitteln der „Scores“ (der Richtungen, in die die Pixel bewegt werden sollen), glättete das Komitee die scharfen, kreativen Details, die die Bilder realistisch machten. Das Ergebnis war oft schlechter als nur den einen besten Koch zu verwenden.

3. Die eine Ausnahme: Der „Zufallswähler“

Es gab eine Strategie, die etwas besser funktionierte: Die Mixture of Experts.
Anstatt den Rat zu mitteln, wählten die Forscher zu Beginn einen zufälligen Maler aus und ließen ihn die ganze Arbeit erledigen.

Warum es funktionierte: Dies war kein „Komitee“ im traditionellen Sinne. Es bedeutete lediglich, dass man über viele verschiedene Bilder hinweg den einzigartigen Stil verschiedener Maler zu sehen bekam. Es wurde die Bilder nicht zusammengemischt; es fügte lediglich Vielfalt hinzu.

4. Die Überraschung bei tabellarischen Daten (Die „Wald“-Analogie)

Die Forscher testeten dies auch mit tabellarischen Daten (Tabellen mit Zahlen, nicht Bildern) unter Verwendung von Random Forests (einer Art KI, die aus Entscheidungsbäumen besteht).

Der Befund: Hier funktionierte die Strategie „Dominantes Merkmal“ (dem Baum zu hören, der am lautesten schrie) hervorragend.
Warum: In der Welt der Tabellen neigte die „durchschnittliche“ Vermutung dazu, das Rauschen zu unterschätzen (sie war zu leise). Die „lauteste“ Vermutung war genauer. Dies ist das Gegenteil von dem, was bei Bildern geschah, wo die „lauteren“ oder „gemittelten“ Vermutungen das Bild ruinierten.

Der theoretische „Aha!“-Moment

Die Arbeit erklärt, warum dies geschieht, mit einem cleveren mathematischen Konzept namens Nicht-Kommutativität.

Das Konzept: In der Mathematik ist die Reihenfolge der Operationen manchmal entscheidend (z. B. ist „Socken anziehen, dann Schuhe anziehen“ etwas anderes als „Schuhe anziehen, dann Socken anziehen“).
Die Erkenntnis der Arbeit: Die Forscher bewiesen, dass das Hinzufügen von Rauschen zu einem Bild und das Kombinieren von Meinungen (Mitteln) nicht gut zusammenarbeiten.
- Wenn man fünf perfekte Bilder nimmt, Rauschen hinzufügt und dann den Durchschnitt bildet, erhält man ein verschwommenes Durcheinander.
- Wenn man die „Regeln“ (Scores) mittelt, während das Rauschen hinzugefügt wird, erschafft man kein „Super-Modell“. Man erschafft lediglich ein Modell, das anderen, leicht fehlerhaften Regeln folgt.
- Analogie: Stellen Sie sich vor, fünf Leute versuchen, einen Hund zu führen. Wenn sie alle die Leine in leicht unterschiedliche Richtungen ziehen, läuft der Hund nicht in eine „perfekte durchschnittliche“ Richtung; er wird verwirrt und dreht sich im Kreis.

Fazit: Was sollten wir tun?

Die Arbeit kommt zu dem Schluss, dass für die Bildgenerierung gilt:

Nicht einfach Modelle mitteln: Einfach fünf Modelle zu trainieren und deren Vermutungen zu mitteln, ist eine Verschwendung von Rechenleistung. Es macht die Bilder meistens nicht besser und oft sogar schlechter.
Auf das einzelne beste Modell konzentrieren: Es ist besser, diese zusätzliche Rechenleistung in das Training eines wirklich, wirklich guten Modells zu investieren, als fünf mittelmäßige Modelle zu trainieren und sie dann zu mitteln.
Der „Score“ ist nicht das „Bild“: Nur weil eine KI besser im mathematischen Problem (Vorhersage des Scores) wird, bedeutet das nicht, dass sie auch besser im künstlerischen Problem (ein schönes Bild zu machen) wird.

Kurz gesagt: In der Welt der KI-Bildgenerierung produziert ein Komitee aus fünf Künstlern oft ein matschiges Durcheinander, während ein einzelnes Genie ein Meisterwerk schafft. Manchmal ist eins tatsächlich besser als viele.

Technisches Resümee: Wann sind zwei Scores besser als einer? Eine Untersuchung von Ensembles von Diffusionsmodellen

Problemstellung

Während Ensembling eine etablierte Technik im überwachten Lernen ist, um die Robustheit und Genauigkeit von Modellen durch die Aggregation mehrerer Prädiktoren zu verbessern, bleibt seine Anwendung auf unbedingte (unconditional) score-basierte Diffusionsmodelle weitgehend unerforscht. Standardstrategien zur Verbesserung von Diffusionsmodellen beinhalten typischerweise die Skalierung der Modelltiefe oder der Trainingsdauer, was erhebliche Rechenkosten verursacht. Die Autoren untersuchen, ob das Ensembling mehrerer Diffusionsmodelle – speziell durch die Aggregation ihrer geschätzten Score-Funktionen – greifbare Vorteile für die generative Modellierung bietet, insbesondere im Hinblick auf die perzeptuelle Stichprobenqualität.

Methodik

Die Studie verwendet ein „demokratisches“ Ensemble-Framework, bei dem $K$ unabhängig trainierte Modelle gleichermaßen zur Aggregationsprozessen beitragen. Die Forschung deckt sowohl Deep-Learning-basierte Ansätze (neuronale Netze) als auch Nicht-Deep-Ansätze (Entscheidungsbäume) ab.

1. Ensemble-Konstruktion

Deep Ensembles (DE): Die Autoren trainieren $K$ U-Nets (oder ADM-Architekturen) unabhängig voneinander auf demselben Datensatz unter Verwendung unterschiedlicher Zufalls-Seeds. Sie untersuchen auch Monte Carlo (MC) Dropout als leichtgewichtige Alternative zum Training separater Netzwerke.
Entscheidungsbaum-Ensembles: Für tabellarische Daten nutzen sie Random Forests und trainieren verschiedene Bäume bei unterschiedlichen Rauschpegeln, um die Score-Funktion zu approximieren.

2. Aggregationsstrategien

Der Kern der Untersuchung liegt darin, wie die $K$ Score-Prädiktoren $\{s^{(k)}_\theta(x, t)\}_{k=1}^K$ zu jedem Zeitschritt $t$ während des reversen Diffusionsprozesses kombiniert werden. Das Paper evaluiert mehrere Aggregationsregeln:

Arithmetisches Mittel: Der Standardansatz, bei dem Scores koordinatenweise gemittelt werden.
Geometrisches Mittel & Median: Alternative koordinatenweise Aggregationen.
Dominantes Merkmal (Dominant Feature): Auswahl der Komponente mit dem größten Absolutwert über alle Experten hinweg für jede Koordinate.
Mixture of Experts (MoE): Zufällige Auswahl eines einzelnen Expertenmodells vor dem Sampling-Lauf.
Alternierendes Sampling: Zufällige Auswahl eines anderen Experten bei jedem Rauschpegel $t_n$ .
Summe der Scores: Summierung der Scores (interpretiert als ein unnormalisiertes Produkt von Experten).

3. Theoretische Analyse

Die Autoren liefern theoretische Einblicke in die Beziehung zwischen Score-Aggregation und Dichtekomposition. Sie analysieren, ob das Mitteln von Scores einer Stichprobenentnahme aus einer „Product of Experts“ (PoE)-Verteilung entspricht. Sie beweisen, dass Diffusion (Hinzufügen von Rauschen) und Dichtekomposition (PoE) nicht kommutieren, was bedeutet, dass das Mitteln von Scores bei Zwischenschritten nicht strikt der Stichprobenentnahme aus dem geometrischen Mittel der ursprünglichen Datenverteilungen entspricht.

4. Experimenteller Aufbau

Experimente wurden durchgeführt auf:

Bilddatensätzen: CIFAR-10 (32x32) und FFHQ (256x256).
Tabellarischen Datensätzen: Iris, Airfoil Self-Noise und Wine Quality Datensätze.
Metriken: Fréchet Inception Distance (FID), Kernel Inception Distance (KID), Denoising Diffusion Score Matching (LDDSM) Loss und Wasserstein-Distanz (für tabellarische Daten).

Kernergebnisse

1. Begrenzte Verbesserung der perzeptuellen Qualität

Im Gegensatz zum Erfolg von Ensembling im überwachten Lernen stellen die Autoren fest, dass das Ensembling von Diffusionsmodellen nicht konsistent die perzeptuelle Qualität (FID, KID) verbessert.

Auf CIFAR-10 und FFHQ liefert das arithmetische Mittel der Scores im Allgemeinen nur marginale oder gar keine Verbesserungen gegenüber dem Durchschnitt eines einzelnen Modells und übertrifft niemals das beste Einzelmodell.
In einigen Fällen (z.مث. CIFAR-10 mit spezifischen Konfigurationen) performte das Ensembling schlechter als das schwächste Einzelmodell.
Dies gilt für verschiedene Aggregationsstrategien (Geometrisches Mittel, Median, Dominantes Merkmal), mit Ausnahme der Mixture of Experts (MoE) in spezifischen Kontexten.

2. Verbesserung des Trainingsziels

Während die perzeptuellen Metriken stagnieren, sinkt der LDDSM-Loss konsistent, wenn die Ensemblegröße $K$ steigt. Dies steht im Einklang mit den theoretischen Erwartungen basierend auf der Jensenschen Ungleichung, wonach die Mittelung von Schätzern die Varianz im Score-Matching-Ziel reduziert. Diese Reduktion des Trainingsverlusts überträgt sich jedoch nicht auf eine bessere Stichprobenqualität.

3. Spezifische Erfolgsfälle

Mixture of Experts (MoE): Auf FFHQ übertraf MoE sogar das beste Einzelmodell. Dies deutet darauf hin, dass die Nutzung der Inter-Modell-Variabilität durch Sampling aus einem einzelnen Experten pro Lauf vorteilhaft sein kann, obwohl dies kein echtes „Ensemble“ im Sinne der Kombination von Vorhersagen für eine einzige Stichprobe darstellt.
Tabellarische Daten (Dominantes Merkmal): Für Random Forests auf tabellarischen Daten übertraf die Dominant Feature Aggregationsstrategie das arithmetische Mittel und andere Methoden signifikant. Die Autoren führen dies auf eine systematische Unterschätzung der Rauschmagnitude durch einfaches Mitteln zurück, welche die Dominant-Strategie korrigiert.

4. Die Diskrepanz zwischen Loss und Qualität

Die Studie hebt einen fundamentalen Bruch hervor: Der Score-Matching-Loss (was das Modell optimiert) und die perzeptuellen Qualitätsmetriken (wie das Modell bewertet wird) entwickeln sich unterschiedlich. Die Störung der Score-Funktion führte zu chaotischen Variationen in der FID, die durch Änderungen im Loss nicht vorhersehbar waren, was verstärkt, dass hohe Likelihood oder niedriger Score-Matching-Fehler keine hohe perzeptuelle Qualität garantieren.

Bedeutung und Behauptungen

Der primäre Beitrag des Papers ist eine rigorose empirische und theoretische Untersuchung, die zeigt, dass Standard-Ensembling-Techniken nicht die gleichen Vorteile für Diffusionsmodelle bieten wie für überwachte Modelle.

Bescheidene Gewinne: Die Autoren behaupten, dass Ensembling nur marginale, falls überhaupt vorhandene Verbesserungen der Stichprobenqualität liefert, trotz konsistenter Reduktionen des Trainingsziels.
Theoretische Einsicht: Sie klären auf, dass die schrittweise Score-Mittelung nicht einer Stichprobenentnahme aus einer Product of Experts Verteilung entspricht, aufgrund der Nicht-Kommutativität von Diffusion und Dichtekomposition.
Kosten-Nutzen-Analyse: Angesichts der erheblichen Steigerung der Trainings- und Sampling-Kosten bietet Standard-Ensembling nur begrenzten Ertrag für unbedingte Diffusionsmodelle.
Ausnahmen: Das Paper identifiziert spezifische Nischen, in denen Ensembling hilft: (1) wenn Modelle ausreichend komplementär sind (MoE), und (2) wenn spezifische Aggregationsregeln für tabellarische Daten verwendet werden (Dominant Feature), um Bias zu korrigieren.

Die Autoren kommen zu dem Schluss, dass während Ensembling die Score-Schätzung verbessert, die Lücke zwischen Score-Matching und perzeptueller Qualität verhindert, dass sich diese Verbesserungen in besseren generierten Bildern manifestieren. Dies deutet darauf hin, dass zukünftiger Fortschritt Strategien benötigt, die über die einfache Score-Aggregation hinausgehen.