📊 statistics

Missing Data Imputation under Manifold Hypothesis

Dit artikel stelt een modelgebaseerde methode voor de imputatie van ontbrekende gegevens die mixture variational autoencoders en latent space diffusie benut om te samplen uit de conditionele distributie van ontbrekende waarden, waardoor de onderliggende geometrie van de datamanifold wordt gerespecteerd terwijl onzekerheidskwantificering en efficiënte on-the-fly imputatie worden geboden.

Oorspronkelijke auteurs: Zelong Bi, Amuchechukwu Ibenegbu

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zelong Bi, Amuchechukwu Ibenegbu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een gigantische, ingewikkelde mozaïek af te maken, maar iemand heeft honderden kleine tegeltjes uitgesneden. Je kunt de omliggende stukjes zien, en je weet dat het beeld een glad, vloeiend landschap moet zijn, en geen grillige bende van willekeurige kleuren. Dit is de dagelijkse strijd van datawetenschappers die te maken hebben met "ontbrekende data". In de echte wereld gaan sensoren kapot, worden enquêtes overgeslagen en raken records kwijt, waardoor er gaten ontstaan in onze digitale kaarten. Decennialang was de standaardmanier om deze gaten op te vullen gebaseerd op een gok naar wat er in de buurt was, zoals een buurman die een lege muur opvult met de stenen die nog in de oprit liggen. Maar wat als de muur niet vlak is? Wat als het beeld eigenlijk een gebogen, draaiend beeldhouwwerk is, zoals een achtbaanbaan of een gedraaide lint? Als je de gaten op een gebogen baan probeert op te vullen met platte, rechte gokken, eindig je met een stuk dat er van dichtbij misschien oké uitziet, maar direct van de baan valt als je een stap terug doet.

Dit artikel duikt in een specifieke hoek van de wiskunde genaamd de "manifold hypothesis" (variëteitshypothese). Denk hieraan als het idee dat, hoewel onze data eruit kan zien als een chaotische wolk van punten in een enorme, hoog-dimensionale kamer (stel je een kamer voor met honderden richtingen waarin je kunt bewegen), de punten zich eigenlijk op een veel kleiner, gladder oppervlak bevinden dat verborgen ligt in die kamer. Het is alsof je beseft dat alle mieren in een chaotische hoop eigenlijk in een enkele, kronkelende lijn marcheren op een vel papier. Het artikel gebruikt ook "Variational Autoencoders" (VAEs), die als slimme, flexibele camera's zijn die kunnen leren om een complex 3D-object te nemen en het plat te slaan tot een eenvoudige 2D-tekening, en vervolgens het 3D-object perfect weer op te bouwen vanuit die tekening. De grote vraag is: als we een paar delen van het 3D-object verliezen, kunnen we die 2D-tekening dan gebruiken om precies te bepalen hoe de ontbrekende stukken eruit zouden moeten zien, waarbij rekening wordt gehouden met de curve van de baan in plaats van alleen maar een gok te doen?

De auteurs, Zelong Bi en Amuchechukwu Ibenegbu, stellen een nieuwe manier voor om deze kapotte mozaïekenken te repareren door de data te behandelen als een gebogen oppervlak in plaats van een plat vlak. Ze betogen dat de meest populaire methoden die momenteel worden gebruikt, zoals een hulpmiddel genaamd MissForest, geweldig zijn in het vinden van patronen, maar vaak falen in het respecteren van de "geometrie" van de data. Om dit te visualiseren: stel je voor dat MissForest probeert een ontbrekende plek op een cirkel in te vullen door een rechte lijn over de opening te trekken; het resultaat is wiskundig gezien misschien dicht bij de buren, maar het breekt de cirkel. De methode van de auteurs begrijpt echter dat de data op een curve leeft, dus vullen ze de opening in door de boog te volgen, waardoor de vorm intact blijft.

Om dit te doen, gebruiken ze een tweestaps "magische truc". Eerst gebruiken ze een "Mixture of VAEs" om de vorm van het verborgen oppervlak te leren. Stel je dit voor als het hebben van een team van kunstenaars, elk verantwoordelijk voor een ander deel van de curve (zoals één kunstenaar voor de top van de heuvel, een andere voor de onderkant). Ze brengen de rommelige, hoog-dimensionale data terug naar een eenvoudige, laag-dimensionale "latent space" waar de curves gemakkelijk te zien zijn. Wanneer er dan een stuk ontbreekt, gokken ze niet zoma van; ze gebruiken een statistische procedure genaamd "Sampling-Importance-Resampling" (SIR). Zie SIR als een spelletje "hot potato" waarbij ze duizenden mogelijke gokken voor het ontbrekende stuk genereren, maar ze houden alleen de exemplaren die perfect passen bij de bekende delen van de curve, waarbij ze de exemplaren die er vreemd of buiten de toon uitzien, weggooien. Dit stelt hen in staat om niet alleen één antwoord te geven, maar ook een reeks mogelijke antwoorden te tonen, waardoor ze effectief kwantificeren hoe onzeker ze zijn over de invulling.

Maar ze stopten daar niet. Ze realiseerden zich dat de kunstenaars (de VAEs) soms niet genoeg voorbeelden hebben om elke draai en bocht van de curve perfect te leren. Dus voegden ze een "joint diffusion process" toe. Stel je dit voor als een magische mist die langzaam optrekt. Je begint met een volledig wazige, ruizige gok van het ontbrekende stuk en de vorm van de curve, en het model maakt de gok stap voor stap steeds minder "ruizig" (denoising), en verfijnt de gok totdat deze in een scherpe, perfecte pas vorm komt die zowel de lokale details als de globale vorm respecteert. Dit gebeurt in de laag-dimensionale ruimte, wat veel sneller en efficiënter is dan proberen de ruis in de enorme, hoog-dimensionale kamer op te schonen.

De resultaten van hun experimenten zijn zeer overtuigend. Wanneer ze hun methode testten op synthetische data in de vorm van cirkels, sferen en donuts (torussen), produceerde hun aanpak imputaties die veel beter waren in het behouden van de ware vorm van de data dan de leidende methoden. Hoewel de standaardmethode (MissForest) soms een lagere "foutscore" (RMSE) behaalde door simpelweg getallen te gokken die dicht bij de buren lagen, brak het vaak de geometrische vorm. De methode van de auteurs bereikte echter de laagste "Wasserstein-afstand", een chique manier om te zeggen dat de algehele vorm en distributie van hun ingevulde data veel meer leken op het originele, ononderbroken beeld.

Op real-world datasets, zoals records van supergeleiders (materialen die elektriciteit geleiden met nul weerstand) en energieverbruik, vonden de auteurs dat hun methode een sterke concurrent was. Het presteerde bijna net zo goed als MissForest wanneer de data willekeurig ontbrak, maar het blonk uit wanneer de ontbrekende data lastig was of wanneer er veel data ontbrak. In deze moeilijke scenario's bleef hun methode robuust, terwijl anderen begonnen te wankelen. Bijvoorbeeld, op de dataset van supergeleiding behield hun methode zelfs de laagste foutpercentages wanneer de ontbrekende data niet willekeurig was, wat suggereert dat het begrijpen van de onderliggende geometrie het model helpt om correct te gokken, zelfs wanneer de data op een niet-willekeurige manier "zich verbergt".

De paper merkt echter voorzichtig op dat dit geen toverstaf is voor elk probleem. De methode leunt zwaar op de aanname dat de data daadwerkelijk een gladde, laag-dimensionale curve volgt (de manifold hypothesis). Als de data gewoon willekeurige ruis is of geen duidelijke vorm heeft, kan de methode moeite hebben. Ze vonden ook dat de methode op een kleine dataset zoals de wijnkwaliteitsdata minder goed presteerde, waarschijnlijk omdat er niet genoeg data was om de kunstenaars te leren hoe ze de curve moeten tekenen. In die gevallen werkten eenvoudigere methoden die gewoon naar de dichtstbijzijnde buren kijken beter.

Uiteindelijk suggereert dit artikel dat door het combineren van het geometrische begrip van manifold learning met de generatieve kracht van diffusiemodellen, we ontbrekende data kunnen invullen op een manier die "juist" voelt voor de vorm van het universum waar de data vandaan komt. Het is een verschuiving van het simpelweg opvullen van gaten met de dichtstbijzijnde beschikbare steen naar het beeldhouwen van het ontbrekende stuk, zodat het perfect past bij de curve van de muur. Hoewel het meer rekenkracht en een specifiek type datastructuur vereist om te werken, biedt het een veelbelovend pad naar nauwkechtigere en betrouwbaardere datarecovery, vooral in velden waar de vorm van de data even belangrijk is als de cijfers zelf.

Technische Samenvatting: Imputatie van Ontbrekende Data onder de Manifold Hypothese

Probleemstelling

Imputatie van ontbrekende data streeft naar het systematisch schatten en vervangen van ontbrekende waarden in een dataset. Terwijl de manifold hypothese stelt dat hoogdimensionale data concentreren nabij een laagdimensionale ingebedde manifold, hebben mainstream imputatiemethoden grotendeels gefaald om deze geometrische structuur te benutten. Bestaande state-of-the-art methoden, zoals MissForest, falen vaak om de onderliggende geometrie te respecteren wanneer deze aanwezig is, wat leidt tot imputaties die weliswaar puntgewijs accuraat kunnen zijn (lage RMSE), maar geometrisch inconsistent zijn met de datadistributie. Bovendien zijn veel huidige benaderingen transductief, wat betekent dat ze imputaties optimaliseren voor een specifieke dataset zonder een herbruikbaar model te leren, wat hen inefficiënt maakt voor het afhandelen van nieuwe data of online imputatie.

Methodologie

Het voorgestelde framework adresseert deze beperkingen door manifold learning te combineren met probabilistische sampling en diffusiemodellen. De methodologie verloopt in drie hoofdfasen:

1. Manifold Learning via Mixture VAEs

De benadering gaat ervan uit dat de data op een laagdimensionale manifold van intrinsieke dimensie $d \ll p$ ligt. Om deze structuur te vangen, maken de auteurs gebruik van een mixture van Variational Autoencoders (VAEs). In deze formulering:

De manifold wordt bedekt door meerdere overlappende "charts".
Elke chart $c \in \{1, \dots, C\}$ is geassocieerd met een lokaal coördinatenstelsel $z \in \mathbb{R}^d$ .
Het model leert een encoder $E_c$ en een decoder $D_c$ voor elke chart, waarbij de conditionele distributies $p(z|x, c)$ en $p(x|z, c)$ als Gaussische verdelingen worden benaderd.
Deze multi-chart formulering stelt het model in staat om de onderliggende geometrie getrouw te herstellen, waar single-chart VAE's daar vaak in falen.

2. Imputatie via Sampling-Importance-Resampling (SIR)

De kern van de imputatietaak is het samplen uit de conditionele distributie $p(x_{mis} | x_{obs})$ . Omdat de gezamenlijke posterior $p(z, c | x_{obs})$ onhandelbaar is, gebruiken de auteurs een Sampling-Importance-Resampling (SIR) procedure:

Sampling: Gezamenlijke latente samples $(z_k, c_k)$ worden getrokken uit de trainingsdata met behulp van het geleerde manifold model.
Weging: Voor een specifieke geobserveerde vector $x_{obs}$ worden gewichten berekend als $w_k = p(x_{obs} | z_k, c_k)$ .
Resampling: Een nieuwe latente paren $(z^*, c^*)$ wordt gesampled uit de set van trainingsparen volgens de genormaliseerde gewichten.
Generatie: De ontbrekende waarden worden gegenereerd door te samplen uit $p(x_{mis} | z^*, c^*)$ , wat Gaussisch is vanwege de structuur van het model.
Dit proces levert een model-gebaseerde, inductieve imputatie op die zowel geometrische als distributionele restricties respecteert en onzekerheidskwantificatie mogelijk maakt.

3. Joint Latent Diffusion Process

Om de beperking te overwinnen dat men beperkt is tot de support van de geobserveerde trainingssamples, introduceren de auteurs een joint diffusieproces in de latente ruimte $(z, c)$ .

Forward Process: Ruis wordt onafhankelijk toegevoegd aan de continue latente coördinaten $z_t$ en de discrete chart-labels $c_t$ .
Reverse Process: Een neuraal netwerk wordt getraind om de schone latente variabelen $(z_0, c_0)$ te voorspellen vanuit de ruisige staat $(z_t, c_t)$ en tijdstap $t$ .
Sampling: Het reverse proces maakt het genereren van hoogwaardige latente samples op een willekeurige schaal mogelijk, die vervolgens gedecodeerd worden om imputaties te produceren. Dit verbetert de kwaliteit van de imputatie, met name in regio's van de dataruimte die niet dicht bezet zijn door de oorspronkelijke trainingsset.

Belangrijkste Bijdragen

Model-gebaseerde Imputatie via SIR: De auteurs stellen een procedure voor die direct sampleert uit $p(x_{mis} | x_{obs})$ met behulp van SIR, waarbij gebruik wordt gemaakt van geleerde manifold-structuren. Deze benadering is inductief, ondersteunt on-the-fly imputatie zonder hertraining, en biedt onzekerheidskwantificatie.
Joint Latent Diffusion: Er is een nieuw joint diffusieproces ontwikkeld voor de latente ruimte dat gelijktijdig continue coördinaten en discrete chart-lidmaatschapslabels bijwerkt. Dit verbetert de generatie van hoogwaardige samples die de onderliggende geometrie en distributie behouden.
Geometrie-bewuste Prestaties: De methode is ontworpen om de intrinsieke geometrie van de data te respecteren, waarmee het falen van traditionele methoden om structurele consistentie te handhaven, wordt aangepakt.

Experimentele Resultaten

De voorgestelde methode werd geëvalueerd op synthetische datasets (cirkels, sferen, tori) en zes real-world datasets (supergeleidbaarheid, energie, financiën, elektriciteitscentrales, wijn, gezichtsuitdrukking) onder Missing Completely at Random (MCAR), Missing at Random (MAR) en Missing Not at Random (MNAR) mechanismen.

Metrieken: De evaluatie maakte gebruik van Root Mean Squared Error (RMSE) en de Wasserstein-afstand. De auteurs merken op dat hoewel RMSE de puntgewijze accuratesse meet, de Wasserstein-afstand beter de uitlijning met de onderliggende geometrie en distributie vangt.
Synthetische Data: De voorgestelde methode behaalde de laagste Wasserstein-afstand op alle synthetische datasets, wat wijst op een superieure preservatie van de geometrische structuur vergeleken met baselines zoals MissForest, MICE en GAIN.
Real-World Data:
- De methode behaalde competitieve prestaties met MissForest, en presteerde vaak beter naarmate de ontbrekende ratio toenam of onder complexe ontbrekende mechanismen (MAR/MNAR).
- Op de supergeleidbaarheid-dataset toonde de methode robuustheid, waarbij de laagste gemiddelde RMSE en Wasserstein-afstand werd behouden over de verschillende ontbrekende mechanismen.
- In downstream voorspellings-taken (lineaire regressie op supergeleidbaarheid-data) behaalde de voorgestelde methode de beste voorspellende prestaties onder MNAR-instellingen en de op één na beste onder MCAR/MAR.
- De methode vertoonde beperkingen op de wijn-dataset (kleine steekproefomvang), waar KNN beter presteerde, wat suggereert dat betrouwbare manifold learning voldoende volledig geobserveerde gevallen vereist.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het overbruggen van de kloof tussen manifold learning en imputatie van ontbrekende data. Door imputatie te behandelen als een sampling-probleem uit een geleerde geometrische structuur, biedt de methode een systematische manier om ontbrekende waarden in te vullen die consistent zijn met de intrinsieke manifold van de data.

De auteurs benadrukken dat hun benadering inductief is, waardoor de imputatie van nieuwe datapunten mogelijk is zonder de gehele procedure opnieuw te optimaliseren, wat een duidelijk voordeel is ten opzichte van transductieve methoden. Bovendien maakt het probabilistische karakter van de sampling de onzekerheidskwantificatie van de imputaties mogelijk, een functie die vaak ontbreekt bij deterministische methoden.

Het artikel erkent bescheiden de beperkingen: de methode steunt op de aanname dat data voldoet aan de manifold hypothese, wat in de praktijk moeilijk te verifiëren kan zijn. Daarnaast is de methode, vanwege de afhankelijkheid van gladde structuren, primair geschikt voor continue variabelen en mogelijk niet direct toepasbaar op discrete data zonder modificatie. Tot slot merken de auteurs op dat het ontwikkelen van evaluatiemetrieken die gelijktijdig geometrische getrouwheid en distributionele consistentie vangen, een openstaande richting is voor toekomstig werk.