📊 statistics

Latent Diffusion for Missing Data

Dieser Beitrag schlägt ein zweistufiges Framework vor, das einen robusten, auf einem VAE basierenden Imputer mit einem Diffusionsmodell im latenten Raum kombiniert, und zeigt, dass die Verlagerung der generativen Modellierung auf eine gelernte latente Darstellung die Stabilität und Qualität der Imputation im Vergleich zur Diffusion im Pixelraum bei hohen Anteilen fehlender Daten signifikant verbessert.

Ursprüngliche Autoren: Alberte Heering Estad, Ignacio Peis, Jes Frellsen

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alberte Heering Estad, Ignacio Peis, Jes Frellsen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein riesiges Fotoalbum, aber jemand hat Kaffee auf die Hälfte der Seiten verschüttet, wodurch wichtige Details verschwimmen. Ihr Ziel ist es, zu erraten, wie die fehlenden Teile der Fotos aussehen. Dies ist das Problem der Imputation fehlender Daten.

Lange Zeit haben Computer versucht, dies zu lösen, indem sie direkt die „Pixel" (die winzigen Punkte, aus denen das Bild besteht) betrachteten. Doch das von Ihnen geteilte Papier mit dem Titel „Latent Diffusion for Missing Data" argumentiert, dass es einen intelligenteren Weg gibt, dies zu tun, insbesondere wenn die Fotos stark beschädigt sind.

Hier ist die Geschichte ihrer Entdeckung, einfach erklärt:

Das Problem: Der Versuch, ein verschwommenes Foto Pixel für Pixel zu reparieren

Die Forscher untersuchten bestehende Methoden (genannt Pixel-Raum-Diffusion). Stellen Sie sich vor, Sie versuchen, ein beschädigtes Gemälde zu restaurieren, indem Sie jeden einzelnen winzigen Farbtupfer einzeln betrachten. Wenn das Gemälde zu 50 % mit Kaffee bedeckt ist, gerät der Computer in Verwirrung. Er sieht viele „Null"-Werte (die Kaffeeflecken) und versucht, die Farben basierend darauf zu erraten. Wenn der Schaden schlimmer wird, beginnt der Computer zu halluzinieren – das Bild wirkt körnig, verrauscht und voller statisches Rauschen, wie ein alter Fernseher mit schlechtem Signal.

Die Lösung: Der „Zuerst-Skizze"-Ansatz (Latent Diffusion)

Die Autoren, Alberte Heering, Ignacio Peis und Jes Frellsen, schlugen eine neue Methode namens LDMiss vor. Anstatt jeden winzigen Farbtupfer zu betrachten, lassen sie den Computer zuerst die „Kernaussage" oder die „Skizze" des Bildes lernen.

Stellen Sie es sich so vor:

Der Encoder (Die Skizze des Künstlers): Zuerst komprimiert der Computer das chaotische, kaffeefleckige Foto in eine vereinfachte, niedrig aufgelöste Skizze. Er ignoriert die winzigen Details und konzentriert sich auf die großen Formen (wie „das ist eine Nase", „das ist ein Auge").
Die Diffusion (Die Restaurierung): Der Computer versucht dann, die fehlenden Teile dieser Skizze zu reparieren, nicht des Originalfotos. Da die Skizze einfacher und sauberer ist, ist es viel leichter zu erraten, wie die fehlenden Linien aussehen sollten, selbst wenn die Hälfte des Papiers befleckt ist.
Der Decoder (Das fertige Gemälde): Sobald die Skizze repariert ist, erweitert der Computer sie wieder zu einem vollständigen, hochauflösenden Foto.

Das Experiment: Ein Rennen gegen die Kaffeeflecken

Das Team testete dies am berühmten MNIST-Datensatz (der nur Tausende handschriftlicher Zahlen wie 0, 1, 2 usw. enthält). Sie simulierten „fehlende Daten", indem sie Pixel zufällig schwarz machten (wie Kaffeeflecken) bei unterschiedlichen Raten: 10 %, 30 %, 50 % und sogar bis zu 80 % fehlend.

Sie verglichen ihre „Zuerst-Skizze"-Methode (LDMiss) mit der alten „Pixel-für-Pixel"-Methode (DDPM) und einigen anderen Konkurrenten.

Die Ergebnisse: Wer hat das Rennen gewonnen?

Die alte Methode (Pixel-Raum): Wenn der Schaden gering war (10 % fehlend), funktionierte sie einigermaßen. Sobald der Schaden jedoch 20–30 % erreichte, begannen die Bilder wie statisches Rauschen auszusehen. Bei 50 % fehlenden Daten waren die Ergebnisse schrecklich. Es war, als würde man versuchen, ein Gemälde zu reparieren, indem man auf die Kaffeeflecken starrt; der Computer wurde einfach überwältigt.
Die neue Methode (LDMiss): Diese Methode blieb ruhig. Selbst wenn 50 % der Daten fehlten, sahen die generierten Zahlen scharf und klar aus. Erst bei extremem Schaden (60–80 %) wurden sie etwas verschwommen.
Der „Ausfüll"-Test: Als sie diese Modelle tatsächlich verwendeten, um die fehlenden Teile der Fotos auszufüllen, war LDMiss durchweg besser. Es sah nicht nur gut aus; es errat tatsächlich die fehlenden Zahlen genauer als die anderen.

Warum funktioniert das?

Das Papier legt nahe, dass der „Zuerst-Skizze"-Ansatz wie ein Filter wirkt. Wenn man rohe Pixel betrachtet, ist ein fehlender Punkt nur ein verwirrender schwarzer Quadrat. Aber wenn man die „latente" (skizzenhafte) Version betrachtet, versteht der Computer die Bedeutung des Bildes. Er weiß: „Das ist eine '3', also sollte der obere Bogen, selbst wenn er fehlt, rund sein." Dies verhindert, dass der Computer die durch fehlende Daten verursachten „Null"-Fehler verstärkt.

Das Fazit

Das Papier kommt zu dem Schluss, dass Sie, wenn Sie versuchen, unvollständige Daten zu reparieren, nicht auf die rohen Pixel starren sollten. Stattdessen sollten Sie dem Computer beibringen, zuerst das zugrunde liegende „Vibe" oder die „Struktur" der Daten zu verstehen, und dann dort die Reparatur durchführen.

Was das Papier nicht sagt:

Sie haben dies noch nicht auf medizinische Aufzeichnungen, Aktienmärkte oder Klimadaten getestet.
Sie behaupten nicht, dass dies für „Missing Not At Random" funktioniert (wo die fehlenden Daten mit dem Wert selbst zusammenhängen, wie kranke Menschen, die aus einer Studie aussteigen). Sie haben nur „Missing Completely At Random" getestet (rein zufällige Kaffeeflecken).
Sie haben nur handschriftliche Zahlen (MNIST) getestet, keine komplexen Fotos von Katzen oder Autos.

Kurz gesagt: LDMiss ist eine robustere Methode, um fehlende Teile eines Puzzles zu erraten, weil sie sich auf das große Ganze konzentriert, anstatt sich in den winzigen, beschädigten Details zu verlieren.

Technisches Fazit: Latente Diffusion für fehlende Daten

Problemstellung
Reale Datensätze enthalten häufig fehlende Werte aufgrund von Faktoren wie dem Verlust der Nachbeobachtung in klinischen Studien oder unvollständiger Dokumentation. Während probabilistische generative Modelle (VAEs, GANs, Flows) und in jüngerer Zeit Diffusionsmodelle vielversprechende Ansätze für die Imputation gezeigt haben, arbeiten bestehende diffusionsbasierte Methoden typischerweise direkt im Datenraum (Pixelraum). Es besteht eine kritische Lücke im Verständnis davon, wie die Wahl des Repräsentationsraums – Pixel versus latent – die Generierungsqualität und die Imputationsleistung beeinflusst, wenn die Trainingsdaten stark unvollständig sind. Insbesondere ist unklar, ob die Arbeit im Pixelraum bei hohen Raten an „Missing Completely At Random" (MCAR)-Korruption an Qualität verliert, wobei die Null-Imputation fehlender Werte Artefakte einführen kann, die die Schätzung des Scores stören.

Methodik
Die Autoren schlagen LDMiss vor, ein zweistufiges Framework, das den Diffusionsprozess vom Pixelraum in eine gelernte latente Repräsentation verlagert, um die Robustheit gegenüber fehlenden Daten zu verbessern.

Lernen des latenten Raums (Stufe 1): Ein robustes Variational Autoencoder (VAE) wird auf unvollständigen Beobachtungen trainiert. Die Autoren nutzen eine $\beta$ -VAE-Architektur, bei der fehlende Einträge null-imputiert werden. Der Rekonstruktionsverlust wird nur auf beobachteten Dimensionen berechnet, während die KL-Divergenz mit einem kleinen $\beta$ ( $10^{-6}$ ) gewichtet wird, um hochfidele Rekonstruktionen sicherzustellen. Diese Stufe lernt einen kompakten semantischen Merkmalsraum ( $z = E(x)$ ) aus den unvollständigen Daten.
Latente Diffusion (Stufe 2): Ein Diffusionsmodell wird auf den latenten Repräsentationen $z$ statt auf den rohen Pixeln $x$ trainiert. Der Vorwärtsprozess folgt einer stochastischen Differentialgleichung (SDE) mit Varianzerhaltung (Variance-Preserving, VP), und der Rückwärtsprozess wird durch ein zeitabhängiges neuronales Netzwerk $s_\theta$ gelernt, das mittels eines Ent-Rauschungs-Score-Matching-Ziels optimiert wird, das an latente Variablen angepasst ist.
Imputationsstrategie (Selbstführung): Für die nachgelagerte Imputation wenden die Autoren eine „Selbstführungs"-Methode an. Da das Konzept „fehlende Dimensionen" im komprimierten latenten Raum nicht existiert, wird der generative Prozess auf den beobachteten Pixeldaten konditioniert. Der konditionierte Score wird unter Verwendung der Bayes-Regel approximiert und in den unbedingten Score und einen Leitungs-Term zerlegt, der aus der Tweedie-Formel abgeleitet wird. Das Modell decodiert die latente Posterior-Mittelwertschätzung in den Pixeldatenraum, um Gradienten zu berechnen, und lenkt so effektiv den Stichprobenprozess unter Nutzung seiner eigenen Vorhersagefähigkeiten.

Experimentelles Setup
Die Studie führt einen kontrollierten Vergleich auf dem MNIST-Datensatz unter MCAR-Korruption bei variierenden Fehlerraten (bis zu 80 %) durch. Das vorgeschlagene LDMiss wird mit folgenden Ansätzen verglichen:

Pixelraum-DDPM: Trainiert unter Verwendung des MissDiff-Ansatzes (Null-Imputation mit maskiertem Verlust) und des EM-basierten iterativen Algorithmus von DiffPuter.
Imputations-Baselines: Autoencoder-Rekonstruktion und DDPM mit Ersatz- oder Führungsstrategien.

Hauptergebnisse

Probenqualität: LDMiss behält eine hohe Probenqualität (gemessen durch FID und IS) bei und bleibt bis zu 50 % Fehlerrate stabil. Im Gegensatz dazu verschlechtert sich der Pixelraum-DDPM progressiv mit zunehmender Fehlerrate und wird jenseits von 10 % Fehlerrate aufgrund der direkten Verarbeitung null-imputierter Werte „körnig". DiffPuter performt bei niedrigen bis moderaten Fehlerraten gut, verliert jedoch bei 60–80 % Fehlerrate an Diversität und Fidelity.
Imputationsleistung: LDMiss erzielt über alle Trainings-Fehlerraten hinweg konsistent überlegene Imputationsleistung (MSE, FID, IS). Es bleibt selbst dann robust, wenn es mit 80 % fehlenden Daten trainiert wird. Der Pixelraum-DDPM verschlechtert sich mit zunehmender Trainings-Fehlerrate, da sein Score-Netzwerk auf einer verschlechterten Schätzung beruht.
Stabilität: LDMiss weist im Vergleich zu Pixelraum-Alternativen eine geringere Varianz über verschiedene Zufallssamen auf, was auf eine konsistentere Leistung hindeutet.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Modellierung im latenten Raum die Verstärkung von Artefakten, die durch null-imputierte Eingaben verursacht werden, abschwächt, was ein primärer Ausfallmodus für im unvollständigen Datenraum trainierte Pixelraum-Diffusionsmodelle ist. Durch das Komprimieren der Daten in semantische Merkmale vor dem Diffusionsprozess lernt das Modell eine robustere generative Priorität für das Lernen mit unvollständigen Daten.

Die Autoren schließen, dass LDMiss eine starke und praktisch nützliche Alternative zu Diffusion im Pixelraum für Probleme mit fehlenden Daten darstellt. Sie weisen darauf hin, dass ihre Erkenntnisse derzeit auf den MNIST-Datensatz unter MCAR-Annahmen mit Null-Imputation beschränkt sind und dass architektonische Unterschiede zum beobachteten Leistungsgefälle beitragen können. Als zukünftige Arbeiten wird vorgeschlagen, diese Vorteile an komplexeren Datensätzen, verschiedenen Fehlmechanismen (MAR/MNAR) und alternativen Imputationsfunktionen zu testen.