💻 computer science

An Expectation-Maximization Algorithm for Training Clean Diffusion Models from Corrupted Observations

Dieses Paper stellt EMDiffusion vor, ein Expectation-Maximization-Framework, das das Training hochwertiger Diffusionsmodelle direkt aus korrumpierten Beobachtungen ermöglicht, indem es durch die iterative Rekonstruktion sauberer Bilder und die Verfeinerung der Modellgewichte eine State-of-the-Art-Leistung in verschiedenen computergestützten Bildgebungsaufgaben erzielt, ohne dass saubere Trainingsdaten erforderlich sind.

Ursprüngliche Autoren: Weimin Bai, Yifei Wang, Wenzheng Chen, He Sun

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Weimin Bai, Yifei Wang, Wenzheng Chen, He Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Henne-Ei-Dilemma“

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, perfekte, hochwertige Porträts zu zeichnen.

Der Haken: Um den Roboter zu lehren, benötigen Sie eine riesige Bibliothek mit perfekten, sauberen Porträts.
Die Realität: In vielen realen Situationen (wie bei medizinischen Scans oder alten Fotos) besitzen Sie keine perfekten Bilder. Sie haben nur korrumpierte Bilder: verschwommen, verrauscht oder mit großen Lücken (wie ein Puzzle mit fehlenden Teilen).

Dies erzeugt eine frustrierende Schleife:

Um die schlechten Bilder zu reparieren, benötigen Sie einen intelligenten Roboter (ein „Diffusionsmodell“), der weiß, wie ein sauberes Bild aussieht.
Aber um den Roboter intelligent zu machen, benötigen Sie zu Beginn saubere Bilder.

Wenn Sie keine sauberen Bilder haben, können Sie den Roboter nicht trainieren. Wenn Sie keinen Roboter haben, können Sie die Bilder nicht reparieren. Es ist ein klassisches Henne-Ei-Problem.

Die Lösung: EMDiffusion (Der „Raten-und-Verfeinern“-Zyklus)

Die Autoren schlagen eine clevere neue Methode namens EMDiffusion vor, um diese Schleife zu durchbrechen. Sie verwenden eine Strategie namens Expectation-Maximization (EM), was im Grunde ein „Raten-und-Verfeinern“-Zyklus ist.

Denken Sie an einen Detektiv, der versucht, einen Krimi zu lösen, indem er nur unscharres Überwachungsmaterial verwendet.

Schritt 1: Der „E-Step“ (Das Raten)

Das Setup: Der Detektiv beginnt mit einer winzigen, vagen Vorstellung davon, wie eine Person aussieht (trainiert mit nur wenigen sauberen Fotos, vielleicht 50).
Die Aktion: Der Detektiv betrachtet das unscharfe Überwachungsmaterial und versucht sich vorzustellen, wie die Person wahrscheinlich ausgesehen hat. Da die ursprüngliche Vorstellung schwach ist, könnte der Detektiv am Anfang falsch raten.
Der Trick: Um zu verhindern, dass der Detektiv einfach immer dieselben paar Gesichter rät, die er kennt, fügt er einen „Realitätscheck“ hinzu. Er zwingt die Vermutung dazu, den unscharfen Beweisen (den korrumpierten Daten) genauer zu entsprechen.
Ergebnis: Er erstellt ein „rekonstruiertes“ Bild. Es ist noch nicht perfekt, aber es ist sauberer als das ursprüngliche unscharfe Foto.

Schritt 2: Der „M-Step“ (Das Verfeinern)

Die Aktion: Nun nimmt der Detektiv diese „rekonstruierten“ Bilder (die besser sind als die unscharfen Originale) und nutzt sie, um sein mentales Modell davon, wie eine Person aussieht, neu zu trainieren.
Das Update: Der Roboter lernt aus diesen neuen, etwas saubereren Vermutungen. Er aktualisiert sein internes „Regelwerk“, um präziser zu werden.
Ergebnis: Der Roboter ist nun intelligenter als zuvor.

Der Zyklus

Der Prozess wiederholt sich:

Raten: Nutzen Sie den intelligenteren Roboter, um die unscharfen Fotos erneut zu bereinigen.
Verfeinern: Nutzen Sie die neuen, noch saubereren Fotos, um den Roboter noch intelligenter zu machen.

Mit jedem Durchlauf wird der Roboter besser im Raten, und die Vermutungen werden besser darin, den Roboter zu trainieren. Schließlich lernt der Roboter, das „wahre“ Bild zu sehen, das im Rauschen verborgen ist, obwohl er während der Haupttrainingsphase nie ein einziges perfektes Foto gesehen hat.

Warum dies besonders ist

Normalerweise, wenn man versucht, eine KI mit schlechten Daten zu trainieren, lernt sie schlechte Gewohnheiten (wie zum Beispiel zu denken, dass alle Autos unscharfe Kleckse sind).

Das Geheimrezept: Die Autoren fanden heraus, dass der Beginn mit einer winzigen Menge an sauberen Daten (wie 50 Bildern) als „Keimzelle“ dient. Dies verhindert, dass der Roboter vom Weg abkommt.
Adaptive Balance: Die Methode passt automatisch an, wie sehr sie der „Vermutung“ gegenüber dem „unscharfen Beweis“ vertraut. Zu Beginn vertraut sie den Beweisen mehr, um Halluzinationen zu vermeiden. Wenn der Roboter intelligenter wird, vertraut sie ihrem eigenen Wissen mehr.

Die Ergebnisse

Das Team testete dies auf drei Arten von „korrumpierten“ Daten:

Inpainting: Das Auffüllen fehlender Teile eines Bildes (wie ein Puzzle).
Denoising: Das Entfernen von Rauschen oder Körnung aus einem Foto.
Deblurring: Das Reparieren eines Fotos, das aufgenommen wurde, während die Kamera wackelte.

In allen Fällen funktionierte ihre Methode signifikant besser als bisherige Versuche, die versuchten, aus schlechten Daten zu lernen. Es gelang ihnen, einen Roboter zu erschaffen, der hochwertige, saubere Bilder generieren kann, und damit das Henne-Ei-Problem lösten, ohne zu Beginn eine massive Bibliothek perfekter Fotos zu benötigen.

Zusammenfassend

EMDiffusion ist ein sich selbst verbesserndes System. Es beginnt mit einem kleinen Hinweis darauf, was „gut“ aussieht, nutzt diesen Hinweis, um „schlechte“ Daten zu bereinigen, und nutzt dann die bereinigten Daten, um noch besser im Bereinigen zu werden. Es ist wie ein Schüler, der mit einer groben Skizze beginnt, diese zum Üben des Zeichnens nutzt und allmählich zu einem Meisterkünstler wird, ohne jemals ein perfektes Lehrbuch zum Kopieren gehabt zu haben.

Problemstellung
Diffusionsmodelle (DMs) haben eine außergewöhnliche Fähigkeit bei der Lösung computergestützter Bildrekonstruktions-Inversionsprobleme bewiesen, indem sie komplexe Bild-Priors modellieren. Ihre praktische Anwendung wird jedoch durch die Abhängigkeit von groß angelegten, hochwertigen, sauberen Datensätzen für das Pre-Training stark eingeschränkt. In vielen realen Szenarien, insbesondere in der wissenschaftlichen und biomedizinischen Bildgebung (z. B. Röntgen-CT, Kryo-EM), ist die Erfassung solcher sauberer Daten unmöglich oder prohibitiv teuer. Im Gegenzug sind korrumpierte Beobachtungen (verrauscht, verschwommen oder maskiert) mit differenzierbaren Vorwärtsmodellen im Überfluss vorhanden. Dies schafft ein „Henne-Ei-Dilemma“: Das Training eines genauen Diffusionsmodells erfordert saubere Bilder, doch die Rekonstruktion sauberer Bilder aus korrumpierten Beobachtungen erfordert ein gut trainiertes Diffusionsmodell. Bestehende Methoden zum Lernen aus korrumpierten Daten, wie AmbientDiffusion oder SURE-Score, haben oft Schwierigkeiten mit spezifischen Korruptionstypen (z. B. großflächiges Inpainting oder signifikantes Rauschen) oder scheitern an der Generalisierung über diverse Inversionsprobleme hinweg.

Methodik: EMDiffusion
Die Autoren schlagen EMDiffusion vor, ein neuartiges Expectation-Maximization (EM)-Framework, das darauf ausgelegt ist, Bild-Inversionsprobleme gemeinsam mit korrumpierten Beobachtungen zu lösen und ein Diffusionsmodell direkt daraus zu trainieren. Die Methode operiert durch einen iterativen Zyklus aus zwei Schritten:

Initialisierung: Der Prozess beginnt mit einem „vagen“ Diffusions-Prior, der auf einem sehr kleinen Satz sauberer Bilder trainiert wurde (so wenig wie 10–50 Bilder). Diese Initialisierung ist entscheidend, um zu verhindern, dass das Modell in eine Verteilung kollabiert, die ausschließlich durch die korrumpierten Eingaben definiert ist. Die Autoren merken an, dass diese initialen sauberen Bilder nicht aus derselben Verteilung wie die Zielaufgabe stammen müssen (Out-of-Distribution-Daten können als effektive Initialisierer dienen).
E-Schritt (Expectation): Unter Verwendung des aktuellen Diffusionsmodells als Prior führt der Algorithmus ein Adaptive Diffusion Posterior Sampling durch, um saubere Bilder aus den korrumpierten Beobachtungen zu rekonstruieren.
- Standardmäßiges Posterior-Sampling scheitert oft in frühen Iterationen, da der Prior schwach ist, was zu einem „Mode Collapse“ führt, bei dem die Stichproben die Beobachtung ignorieren und zur Trainingsverteilung zurückkehren.
- Um dies zu mildern, führt EMDiffusion einen Hyperparameter $\lambda$ ein, der den Likelihood-Term in der Reverse-Time-Stochastischen Differentialgleichung (SDE) skaliert.
- $\lambda$ wird in jedem E-Schritt adaptiv angepasst, um den Datenverlust ( $\|y - A(\hat{x}_0)\|_2^2$ ) zu minimieren, wodurch der Einfluss des unvollkommenen Priors gegenüber den beobachteten Daten ausbalanciert wird. Dies ermöglicht die Generierung saubererer Rekonstruktionen, selbst wenn der Prior anfangs schlecht ist.
M-Schritt (Maximization): Der Algorithmus aktualisiert die Gewichte des Diffusionsmodells unter Verwendung der im E-Schritt generierten rekonstruierten Bilder (Posterior-Samples).
- Dieser Schritt ähnelt dem Standard-Denoising-Score-Matching, bei dem das Modell lernt, die Score-Funktion der rekonstruierten „sauberen“ Daten zu approximieren.
- Um das Training zu beschleunigen und ein Overfitting auf verrauschte frühe Rekonstruktionen zu vermeiden, verwendet die Methode eine Zwei-Phasen-Trainingsstrategie: Zunächst werden die geerbten Gewichte aus der vorherigen Iteration feinjustiert; sobald sich die Rekonstruktionsqualität verbessert (angezeigt durch ein optimales $\lambda$ , das unter 1 fällt), wird das Modell neu initialisiert und von Grund auf auf dem vollständigen Satz der Posterior-Samples trainiert.

Wesentliche Beiträge

EM-Framework für korrumpierte Daten: Die Arbeit stellt das erste allgemeine Framework vor, um score-basierte Diffusionsmodelle direkt aus beliebig korrumpierten Beobachtungen mittels eines EM-Ansatzes zu trainieren, wodurch die Abhängigkeit von großen sauberen Datensätzen effektiv aufgebrochen wird.
Adaptives Posterior-Sampling: Der Vorschlag eines adaptiven Skalierungsfaktors ( $\lambda$ ) für den Likelihood-Term in der Reverse-SDE adressiert das Problem des Mode Collapse in frühen EM-Iterationen und ermöglicht eine stabile Rekonstruktion selbst bei schwachen Priors.
Iterative Verfeinerung: Die Methode zeigt, dass eine kleine Menge an sauberen Daten als impliziter Regularisierer wirken kann, wodurch das Modell durch abwechselnde Rekonstruktions- und Trainingsschritte progressiv gegen die wahre saubere Datenverteilung konvergieren kann.
Generalisierbarkeit: Im Gegensatz zu vorangegangenen Arbeiten, die auf spezifische Korruptionen zugeschnitten sind (z. B. Maskierung), bietet EMDiffusion einen vereinheitlichten Ansatz, der auf zufälliges Inpainting, Denoising und Deblurring anwendbar ist.

Experimentelle Ergebnisse
Die Autoren validieren EMDiffusion auf den Datensätzen CIFAR-10 und CelebA über drei Aufgaben hinweg: Random Inpainting (60 % Pixelmaskierung), Gaußsches Denoising und Gaußsches Deblurring.

Inpainting: EMDiffusion übertrifft die Baselines wie AmbientDiffusion und SURE-Score signifikant und erreicht eine Rekonstruktionsqualität (PSNR/LPIPS), die mit Diffusion Posterior Sampling (DPS) vergleichbar ist, welches einen auf dem vollständigen sauberen Datensatz trainierten Prior verwendet.
Denoising & Deblurring: Die Methode übertrifft SURE-Score und selbstüberwachte Baselines (Noise2Self) und stellt feine Details (z. B. Autoräder, Gesichtszüge) wieder her, die andere Methoden glätten.
Generative Qualität: Die gelernten Diffusionsmodelle erreichen im Vergleich zu anderen Methoden, die auf korrumpierten Daten trainiert wurden, State-of-the-Art FID-Scores. Bemerkenswert ist, dass ein mittels EM aus 50.000 korrumpierten Bildern gelerntes Modell besser performt als ein Modell, das auf etwa 15.000 sauberen Bildern trainiert wurde.
Effizienz: Die Methode erzielt diese Ergebnisse mit einer Standard-DDPM-Architektur (35,7 Mio. Parameter), die signifikant kleiner ist als die Architekturen der konkurrierenden Baselines (z. B. AmbientDiffusion mit 113 Mio.+ Parametern).

Bedeutung und Ansprüche
Die Arbeit behauptet, dass EMDiffusion demonstriert, dass es informationstheoretisch möglich ist, die zugrunde liegende saubere Datenverteilung primär aus korrumpierten Messungen zu lernen. Die Bedeutung liegt in:

Überwindung von Datenknappheit: Es bietet eine praktische Lösung für Domänen, in denen keine sauberen Daten verfügbar sind, indem es die Fülle korrumpierter Beobachtungen nutzt.
Robuste Initialisierung: Es etabliert, dass eine minimale Menge an sauberen Bildern (selbst Out-of-Distribution-Daten) ausreicht, um den Manifold zu initialisieren und sozu verhindern, dass das Modell in eine verzerrte Verteilung der korrumpierten Eingaben kollabiert.
State-of-the-Art Performance: Die Methode erreicht eine neue State-of-the-Art-Leistung in inversen Bildgebungsaufgaben, ohne die Notwendigkeit von vortrainierten Modellen auf großen sauberen Datensätzen, und schließt damit die Lücke zwischen theoretischen Priors und praktischen Datenbeschränkungen.

Die Autoren bewahren Bescheidenheit hinsichtlich des Umfangs und räumen ein, dass die Methode auf der Annahme basiert, dass das Vorwärtsmodell bekannt und differenzierbar ist, und dass zukünftige Arbeiten auf das Lernen unbekannter Vorwärtsmodelle oder Rauschstatistiken ausgeweitet werden könnten.