📊 statistics

Latent Diffusion for Missing Data

Dit artikel stelt een tweestapskader voor dat een robuuste op VAE gebaseerde imputer combineert met een latentruimte-diffusiemodel, en aantoont dat het verschuiven van generatieve modellering naar een geleerde latente representatie de imputatiestabiliteit en -kwaliteit aanzienlijk verbetert ten opzichte van diffusie in pixelruimte bij hoge niveaus van ontbrekende gegevens.

Oorspronkelijke auteurs: Alberte Heering Estad, Ignacio Peis, Jes Frellsen

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alberte Heering Estad, Ignacio Peis, Jes Frellsen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch fotoalbum hebt, maar iemand heeft koffie over de helft van de pagina's gemorst, waardoor belangrijke details onduidelijk zijn geworden. Je doel is om te raden hoe de ontbrekende delen van de foto's eruitzien. Dit is het probleem van imputatie van ontbrekende gegevens.

Lange tijd hebben computers geprobeerd dit op te lossen door direct naar de "pixels" te kijken (de kleine stippen waaruit de afbeelding bestaat). Maar het artikel dat je deelde, getiteld "Latent Diffusion for Missing Data", betoogt dat er een slimmere manier is om dit te doen, vooral wanneer de foto's ernstig beschadigd zijn.

Hier is het verhaal van hun ontdekking, eenvoudig uitgelegd:

Het Probleem: Proberen een Vage Foto Pixel voor Pixel te Repareren

De onderzoekers keken naar bestaande methoden (genaamd Pixel-Space Diffusion). Stel je voor dat je probeert een beschadigd schilderij te herstellen door naar elke individuele kleine verfstip te kijken. Als het schilderij voor 50% bedekt is met koffie, raakt de computer in de war. Het ziet veel "nul"-waarden (de koffievlekken) en probeert de kleuren daarop te baseren. Naarmate de schade erger wordt, begint de computer te hallucineren: het beeld wordt korrelig, ruisend en vol met statische storing, net als een oude tv met een slecht signaal.

De Oplossing: De "Eerst Schetsen" Aanpak (Latent Diffusion)

De auteurs, Alberte Heering, Ignacio Peis en Jes Frellsen, stelden een nieuwe methode voor genaamd LDMiss. In plaats van naar elke kleine verfstip te kijken, vragen ze de computer om eerst de "essentie" of de "schets" van de afbeelding te leren.

Denk er als volgt over:

De Encoder (De Schets van de Kunstenaar): Eerst comprimeert de computer de rommelige, koffievlekken-bevattende foto tot een vereenvoudigde, lage-resolutie schets. Het negeert de kleine details en richt zich op de grote vormen (zoals "dit is een neus", "dit is een oog").
De Diffusie (De Restauratie): De computer probeert vervolgens de ontbrekende delen van deze schets te herstellen, niet van de originele foto. Omdat de schets eenvoudiger en schoner is, is het veel makkelijker om te raden hoe de ontbrekende lijnen eruit moeten zien, zelfs als de helft van het papier bevlekt is.
De Decoder (Het Eindwerk): Zodra de schets is hersteld, zet de computer deze weer uit tot een volledige, hoogwaardige foto.

Het Experiment: Een Wedstrijd Tegen de Koffievlekken

Het team testte dit op de beroemde MNIST-dataset (dat gewoon duizenden handgeschreven cijfers zijn zoals 0, 1, 2, enz.). Ze simuleerden "ontbrekende gegevens" door willekeurig pixels zwart te maken (zoals koffievlekken) met verschillende percentages: 10%, 30%, 50% en zelfs tot 80% ontbrekend.

Ze vergeleken hun "Eerst Schetsen" methode (LDMiss) met de oude "Pixel voor Pixel" methode (DDPM) en een paar andere concurrenten.

De Resultaten: Wie Won de Wedstrijd?

De Oude Methode (Pixel-Space): Toen de schade licht was (10% ontbrekend), deed het het redelijk. Maar zodra de schade 20-30% bereikte, begonnen de beelden te lijken op statische ruis. Bij 50% ontbrekend waren de resultaten verschrikkelijk. Het was alsof je probeerde een schilderij te herstellen door naar de koffievlekken te staren; de computer raakte gewoon overweldigd.
De Nieuwe Methode (LDMiss): Deze methode bleef kalm. Zelfs toen 50% van de gegevens ontbrak, zagen de gegenereerde cijfers scherp en helder uit. Het begon pas een beetje wazig te worden wanneer de schade extreem was (60-80%).
De "Invul"-Test: Toen ze deze modellen gebruikten om de ontbrekende delen van de foto's daadwerkelijk in te vullen, was LDMiss consequent beter. Het zag er niet alleen goed uit; het raadde de ontbrekende cijfers ook nauwkeuriger dan de anderen.

Waarom Werkt Dit?

Het artikel suggereert dat de "Eerst Schetsen" aanpak werkt als een filter. Wanneer je naar ruwe pixels kijkt, is een ontbrekend punt gewoon een verwarrend zwart vierkant. Maar wanneer je naar de "latente" (geschetste) versie kijkt, begrijpt de computer de betekenis van de afbeelding. Het weet: "Dit is een '3', dus zelfs als de bovenste lus ontbreekt, weet ik dat het rond moet zijn." Dit voorkomt dat de computer de "nul"-fouten veroorzaakt door de ontbrekende gegevens versterkt.

De Conclusie

Het artikel concludeert dat als je probeert onvolledige gegevens te herstellen, je niet moet staren naar de ruwe pixels. Leer de computer in plaats daarvan eerst de onderliggende "sfeer" of "structuur" van de gegevens te begrijpen, en doe de reparatie daar.

Wat het artikel niet zegt:

Ze hebben dit nog niet getest op medische dossiers, aandelenmarkten of klimaatgegevens.
Ze beweren niet dat dit werkt voor "Missing Not At Random" (waarbij de ontbrekende gegevens gerelateerd zijn aan de waarde zelf, zoals zieke mensen die uit een studie stappen). Ze hebben alleen "Missing Completely At Random" getest (puur willekeurige koffievlekken).
Ze hebben alleen getest op handgeschreven cijfers (MNIST), niet op complexe foto's van katten of auto's.

Kortom: LDMiss is een robuustere manier om ontbrekende stukjes van een puzzel te raden, omdat het zich richt op het grote geheel in plaats van verdwaald te raken in de kleine, beschadigde details.

Technische Samenvatting: Latente Diffusie voor Ontbrekende Data

Probleemstelling
Real-world datasets bevatten vaak ontbrekende waarden door factoren zoals uitval in klinische studies of onvolledige documentatie. Hoewel probabilistische generatieve modellen (VAE's, GAN's, Flows) en meer recent diffusiemodellen veelbelovend zijn gebleken voor imputatie, werken bestaande op diffusie gebaseerde methoden doorgaans rechtstreeks in de data-ruimte (pixelruimte). Er bestaat een kritieke kennislacune in het begrijpen hoe de keuze van de representatieruimte – pixel versus latent – de generatiekwaliteit en imputatieprestaties beïnvloedt wanneer de trainingsdata sterk incompleet is. Specifiek is het onduidelijk of werken in pixelruimte degradeert bij hoge rates van Missing Completely At Random (MCAR)-corruptie, waarbij zero-imputatie van ontbrekende waarden artefacten kan introduceren die de schatting van de score verstoren.

Methodologie
De auteurs stellen LDMiss voor, een tweestapskader dat het diffusieproces verschuift van pixelruimte naar een geleerde latente representatie om de robuustheid tegen ontbrekende data te verbeteren.

Leren van de Latente Ruimte (Fase 1): Een robuuste Variational Autoencoder (VAE) wordt getraind op incomplete observaties. De auteurs maken gebruik van een $\beta$ -VAE-architectuur waarbij ontbrekende invoer zero-geïmputeerd wordt. De reconstructieverliesfunctie wordt alleen berekend op waargenomen dimensies, terwijl de KL-divergentie wordt gewogen met een kleine $\beta$ ( $10^{-6}$ ) om reconstructies met hoge fideliteit te garanderen. Deze fase leert een compacte semantische kenmerkruimte ( $z = E(x)$ ) uit de incomplete data.
Latente Diffusie (Fase 2): Een diffusiemodel wordt getraind op de latente representaties $z$ in plaats van de ruwe pixels $x$ . Het voorwaartse proces volgt een Variance-Preserving (VP) Stochastische Differentiaalvergelijking (SDE), en het omgekeerde proces wordt geleerd via een tijdsafhankelijk neuronaal netwerk $s_\theta$ dat geoptimaliseerd wordt met een doelfunctie voor denoising score-matching, aangepast voor latente variabelen.
Imputatiestrategie (Zelf-begeleiding): Voor downstream-imputatie maken de auteurs gebruik van een "zelf-begeleiding"-methode. Omdat het concept van "ontbrekende dimensies" niet bestaat in de gecomprimeerde latente ruimte, wordt het generatieve proces voorwaardelijk gemaakt op de waargenomen pixeldata. De conditionele score wordt benaderd met de regel van Bayes, ontleed in een onvoorwaardelijke score en een begeleidingscomponent afgeleid van de formule van Tweedie. Het model decodeert de geschatte gemiddelde waarde van de latente posterior naar de pixelruimte om gradiënten te berekenen, waardoor het steekproefproces effectief wordt gestuurd met behulp van zijn eigen voorspellende vermogens.

Experimentele Opstelling
De studie voert een gecontroleerde vergelijking uit op het MNIST-dataset onder MCAR-corruptie bij variërende ontbrekende rates (tot 80%). De voorgestelde LDMiss wordt gebenchmarkd tegen:

Pixel-ruimte DDPM: Getraind met de MissDiff-aanpak (zero-imputatie met gemaskerde loss) en het DiffPuter EM-gebaseerde iteratieve algoritme.
Imputatie-baselines: Reconstructie met een autoencoder en DDPM met vervangings- of begeleidingsstrategieën.

Belangrijkste Resultaten

Kwaliteit van Steekproeven: LDMiss behoudt een hoge steekproefkwaliteit (gemeten met FID en IS) en blijft stabiel tot 50% ontbrekende data. Daarentegen degradeert pixel-ruimte DDPM progressief naarmate de mate van ontbrekende data toeneemt, en wordt het "korrelig" boven de 10% ontbrekende data door de directe verwerking van zero-geïmputeerde waarden. DiffPuter presteert goed bij lage tot gemiddelde mate van ontbrekende data, maar verliest diversiteit en fideliteit bij 60–80% ontbrekende data.
Imputatieprestaties: LDMiss behaalt consistent superieure imputatieprestaties (MSE, FID, IS) over alle trainingsrates van ontbrekende data. Het blijft robuust, zelfs wanneer getraind met 80% ontbrekende data. Pixel-ruimte DDPM degradeert naarmate de trainingsmate van ontbrekende data toeneemt, omdat zijn score-netwerk vertrouwen moet op een gedegradeerde schatting.
Stabiliteit: LDMiss vertoont een lagere variantie over willekeurige zaden in vergelijking met alternatieven in pixelruimte, wat wijst op consistenter prestatievermogen.

Betekenis en Beweringen
Het artikel beweert dat modellering in de latente ruimte de versterking van artefacten veroorzaakt door zero-geïmputeerde invoer mitigeert, wat een primaire faalmodus is voor in pixelruimte getrainde diffusiemodellen op incomplete data. Door data te comprimeren tot semantische kenmerken voordat het diffusieproces plaatsvindt, leert het model een robuuster generatief prior voor het leren met incomplete data.

De auteurs concluderen dat LDMiss een sterke en praktisch bruikbare alternatief is voor diffusie in pixelruimte voor problemen met ontbrekende data. Zij merken op dat hun bevindingen momenteel beperkt zijn tot het MNIST-dataset onder MCAR-aannames met zero-imputatie, en dat architecturale verschillen kunnen bijdragen aan de waargenomen prestatiekloof. Toekomstig werk wordt voorgesteld om deze voordelen te testen op complexere datasets, verschillende mechanismen van ontbrekende data (MAR/MNAR) en alternatieve imputatiefuncties.