🤖 machine learning

Learning What Not to Impute: An Uncertainty-Aware Diffusion Framework for Meaningful Missingness

Dit artikel introduceert Diff-Joint, een onzekerheidsbewust diffusiekader dat het probleem van selectieve imputatie aanpakt door onderscheid te maken tussen betekenisvol ontbrekende vermeldingen en op observaties gebaseerde hiaten, waardoor gezamenlijk wordt afgeleid welke waarden behouden moeten worden en welke hersteld moeten worden om de prestaties van downstream-taken te verbeteren.

Oorspronkelijke auteurs: Lixing Zhang, Yidong Ouyang, Weifu Li, Shixiang Zhu, Guang Cheng, Liyan Xie

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lixing Zhang, Yidong Ouyang, Weifu Li, Shixiang Zhu, Guang Cheng, Liyan Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Mysterie van de "Lege Ruimte"

Stel je voor dat je een detective bent die een zaak probeert op te lossen aan de hand van een getuigenverklaring. De getuige heeft een lijst met feiten opgeschreven, maar sommige delen zijn leeg.

In de wereld van data science worden deze lege plekken missing values (ontbrekende waarden) genoemd. Traditioneel gaan computers ervan uit dat een leegte een fout is — zoals een stuk papier dat is uitgescheurd of een pen die zonder inkt is geraakt. De taak van de computer is meestal om te raden wat er had moeten staan en dit in te vullen. Dit wordt imputatie genoemd.

Maar de auteurs van dit paper wijzen op een cruciale fout in deze logica: Niet alle lege plekken zijn fouten.

Soms is een lege plek eigenlijk een geldig antwoord.

De Fout: Een arts is vergeten de bloeddruk van een patiënt op te schrijven. Dit is een "missing value" die geraden moet worden.
De Geldige Lege Plek: Een enquête vraat: "Wat is het inkomen van uw echtgenoot?" Als de persoon ongeverloofd is, is het antwoord niet "onbekend"; het antwoord is "Niet van toepassing" (N/A). De lege plek is een betekenisvol deel van het verhaal.

Als een computer blindelings een "Niet van toepassing"-leegte invult met een willekeurige gok (zoals "$50.000"), creëert het een leugen. Het vervormt de data en verwart het model.

De Oplossing: Diff-Joint (De Slimme Detective)

De auteurs stellen een nieuwe methode voor genaamd Diff-Joint. Denk aan een detective die niet alleen probeert de gaten op te vullen, maar eerst vraagt: "Is deze lege plek een fout, of is het een bewuste 'N/A'?"

Zo werkt het, met behulp van een paar metaforen:

1. De Twee Lagen

De methode behandelt elk ontbrekend stukje data also als een object met twee lagen:

De Waarde-laag: Welk getal of woord zou hier moeten staan?
De Masker-laag: Is deze lege plek een "Fout" (moet ingevuld worden) of een "Betekenisvolle Lege Plek" (moet leeg blijven)?

2. Het "Diffusion" Spel (De Versnipperaar en de Assembler)

De kern van de methode gebruikt iets dat een Diffusion Model wordt genoemd. Stel je voor dat je een duidelijke foto van een gezicht hebt, en je verandert deze langzaam in statische ruis (zoals tv-sneeuw) totdat je niets meer kunt zien. Een diffusion model leert hoe je dat proces kan omkeren: beginnend bij pure ruis, "ontruist" het de foto langzaam weer tot een helder beeld.

Diff-Joint doet dit met een twist. Het probeert niet alleen de foto te reconstrueren (de datawaarden); het probeert ook het Masker te reconstrueren (de beslissing welke delen leeg moeten blijven).

3. De "Onzekerheidstest" (De Vertrouwenscheck)

Dit is het geheime ingrediënt. De methode voert een simulatie uit waarbij het vele mogelijke versies van de ontbrekende data genereert.

Scenario A (De Fout): Als de computer probeert een ontbrekende bloeddruk te raden, genereert het misschien 10 verschillende gokken (120, 125, 118, enz.). Deze gokken liggen dicht bij elkaar. De computer is zelfverzekerd (lage onzekerheid). De computer weet dat hij dit moet invullen.
Scenario B (De Betekenisvolle Lege Plek): Als de computer probeert het "Inkomen van de echtgenoot" te raden voor een alleenstaande persoon, genereert het misschien 10 totaal verschillende, absurde gokken (omdat er geen echt antwoord is). De gokken liggen overal verspreid. De computer is verward (hoge onzekerheid).

De Regel: Als de computer zeer verward is (hoge onzekerheid), besluit hij: "Deze lege plek is waarschijnlijk betekenisvol. Ik laat hem met rust." Als hij zelfverzekerd is, vult hij het in.

Hoe het leert (De Iteratieve Lus)

De methode krijgt het niet in één keer goed. Het werkt als een beeldhouwer die een standbeeld verfijnt:

Gokken: Het begint met de aanname dat alle lege plekken fouten zijn en vult ze in met willekeurige gokken.
Trainen: Het leert van de data wat de "echte" patronen zijn.
Testen: Het voert de "Onzekerheidstest" opnieuw uit. Het ziet welke gokken wankel waren en welke solide waren.
Verfijnen: Het werkt zijn kaart bij. Het zegt: "Oké, ik zat hier naast; dit is eigenlijk een betekenisvolle lege plek." Het laat de plek leeg.
Herhalen: Dit doet het keer op keer, waarbij het steeds beter wordt in het onderscheiden tussen "Fouten" en "Betekenisvolle Lege Plekken" totdat het beeld duidelijk is.

De Resultaten: Waarom het ertoe doet

De auteurs hebben dit getest op twee soorten data:

Nepdata: Een verzonnen database waar ze precies wisten welke lege plekken fouten waren en welke "N/A" waren.
Echte Data: Medische dossiers uit een ziekenhuis (MIMIC-IV-ED).

De Bevindingen:

Betere Detectie: Diff-Joint was veel beter in het opsporen van de "Betekenisvolle Lege Plekken" (de "N/A"s) dan andere methoden, die simpelweg alles probeerden in te vullen.
Betere Nauwkeurigheid: Omdat het stopte met het invullen van de "N/A"-plekken met leugens, was de resterende data nauwkeuriger.
Betere Voorspellingen: Toen ze deze opgeschoonde data gebruikten om toekomstige uitkomsten te voorspellen (zoals of een patiënt in het ziekenhuis wordt opgenomen), waren de voorspellingen nauwkeuriger.

De Kernboodschap

De meeste datatools behandelen elke ontbrekende waarde als een kapot puzzelstukje dat weer teruggeplakt moet worden. Diff-Joint leert de computer te herkennen dat een puzzelstukje soms met opzet ontbreekt. Door te leren wat niet geïmputeerd moet worden, behoudt het de ware betekenis van de data, wat leidt tot slimmere en eerlijkere resultaten.

Technische Samenvatting: Diff-Joint – Een Onzekerheidsbewust Diffusiekader voor Betekenisvolle Ontbrekende Waarden

1. Probleemdefinitie

Standaardmethoden voor de imputatie van ontbrekende waarden werken onder de aanname dat alle ontbrekende vermeldingen in een dataset overeenkomen met niet-geobserveerde reguliere waarden die hersteld moeten worden. Echter, in veel reële scenario's ontstaat ontbrekende data uit twee verschillende bronnen:

Betekenisvol Ontbrekend (Meaningfully Missing - MM): Vermeldingen die intrinsiek afwezig zijn en semantisch valide zijn (bijv. "N/A" voor inkomen in een enquête voor een werkloze respondent, of een laboratoriumtest die niet is aangevraagd in klinische dossiers). Het imputeren van deze waarden met reguliere waarden vervormt de datadistributie en verwijdert semantische informatie.
Observatie-geïnduceerd Ontbrekend: Vermeldingen die ontbreken als gevolg van het observatieproces (bijv. registatiefouten, fouten bij dataoverdracht) en die geïmputeerd moeten worden.

De kernuitdaging is dat deze twee bronnen niet direct gelabeld zijn in geobserveerde data; ze verschijnen beide als dezelfde ontbrekende token (bijv. NA). Bestaande methoden behandelen deze ontbrekende vermeldingen doorgaans allemaal als herstelbaar, waardoor ze er niet in slagen te onderscheiden welke vermeldingen betekenisvol ontbrekend zijn (en behouden moeten worden) en welke observatie-geïnduceerd ontbrekend zijn (en geïmputeerd moeten worden). Dit papier formaliseert dit als een selectief imputatieprobleem: het doel is om gezamenlijk te extraheren welke ontbrekende vermeldingen betekenisvol ontbrekend zijn (en behouden moeten worden) en welke observatie-geïnduceerd zijn (en geïmputeerd moeten worden).

2. Methodologie: Diff-Joint

De auteurs stellen Diff-Joint voor, een diffusiegebaseerd framework dat is ontworpen voor selectieve imputatie door zowel tabeldata als een latente ontbrekende-waarden-masker gezamenlijk te modelleren.

2.1 Gezamenlijke Diffusietoestand

De methode definieert een gezamenlijke diffusietoestand $s = (x, c)$ , waarbij:

$x$ de voltooide tabelwaarden vertegenwoordigt.
$c$ een binaire maskering is die aangeeft welke vermeldingen betekenisvol ontbrekend zijn ( $c_j=1$ ) versus observatie-geïnduceerd ontbrekend ( $c_j=0$ ).

2.2 Iteratief Verfijningskader

Diff-Joint werkt via een iteratief schema dat afwisselt tussen modeltraining en updates van de latente toestand:

Initialisatie: Geobserveerde ontbrekende waarden worden willekeurig ingevuld om een initiële gezamenlijke toestand te creëren, waarbij alle ontbrekende vermeldingen worden behandeld als observatie-geïnduceerd ( $c=0$ ).
Modelupdate: Een diffusiemodel wordt getraind op de huidige gezamenlijke toestand $\{(\hat{x}^{(t)}, \hat{c}^{(t)})\}$ om de afhankelijkheden tussen datawaarden en de patronen van betekenisvol ontbrekende waarden te vangen.
Latente Toestand Update (Conditionele Sampling & Aggregatie):
- Sampling: Gegeven de geobserveerde data, trekt het model $K$ conditionele samples van de gezamenlijke toestand $(x, c)$ .
- Imputatie Update: De geïmputeerde waarde wordt voor ontbrekende vermeldingen bijgewerkt met behulp van de modus (discreet) of het gemiddelde (continu) van de $K$ samples.
- Onzekerheidsbewuste Aggregatie: Om MM te onderscheiden van observatie-geïnduceerd ontbrekend, berekent de methode een onzekerheidsscore voor elke ontbrekende vermelding op basis van de variantie (continu) of entropie (discreet) van de $K$ $K$ samples.
  - Hypothese: Observatie-geïnduceerde ontbrekende vermeldingen komen overeen met herstelbare reguliere waarden en vertonen daarom een lage onzekerheid (geconcentreerde predictieve distributies). Betekenisvol ontbrekende vermeldingen worden niet goed verklaard door een enkele reguliere staat, wat leidt tot een hogere onzekerheid.
- Masker Update: De methode combineert twee signalen om het masker $\hat{c}$ $\overset{c}{^}$ bij te werken:
  1. Onzekerheidssignaal: Vermeldingen met hoge onzekerheidsscores worden geclusterd (via k-means) en gemarkeerd als potentiële MM.
  2. Gesamplede Maskersignaal: De meerderheidsstemming van de gesamplede maskers $c^{(k)}$ .
  3. Fusieregel: Het definitieve masker wordt bijgewerkt met een logische OF-operatie: een vermelding wordt geclassificeerd als MM als ofwel het onzekerheidspatroon ofwel het gesamplede masker de MM-interpretatie ondersteunt.

2.3 Identificeerbaarheid

Het papier biedt theoretische inzichten (Propositie 3.1) die de voorwaarden vaststellen waaronder betekenisvol ontbrekend is identificeerbaar vanuit geobserveerde data. Specifiek is identificeerbaarheid gegarandeerd als het mechanisme van observatie-geïnduceerd ontbrekend bekend is (bijv. MCAR met bekende waarschijnlijkheden) of als de structurele beperkingen van de data de scheiding van de twee mechanismen mogelijk maken.

3. Belangrijkste Bijdragen

Probleemformulering: De auteurs formaliseren het probleem van selectieve imputatie voor tabeldata, waarbij onderscheid wordt gemaakt tussen betekenisvol ontbrekende vermeldingen (om te behouden) en observatie-geïnduceerd ontbrekende vermeldingen (om te imputeren).
Diff-Joint Framework: Ze introduceren een diffusiegebaseerd framework dat gezamenlijk voltooide waarden en een betekenisvol-ontbrekende-masker modelleert. De methode verfijnt iteratief zowel de geïmputeerde waarden als de MM-labels via conditionele sampling en onzekerheidsbewuste aggregatie.
Empirische Validatie: De methode wordt geëvalueerd op een synthetische Bayesiaanse netwerkdataset en een reële MIMIC-IV-ED dataset. De resultaten tonen aan dat Diff-Joint effectief betekenisvol ontbrekende vermeldingen identificeert, terwijl het een concurrerende imputatie-nauwkeurigheid behoudt en de prestaties van downstream taken verbetert.

4. Experimentele Resultaten

De auteurs hebben Diff-Joint geëvalueerd tegenover baselines, waaronder eenvoudige statistische imputatie (Gemiddelde/Modus), klassieke iteratieve methoden (missForest), gemaskeerde autoencoders (CACTI/CMAE) en diffusiegebaseerde imputatie (DiffPuter).

Synthetische Dataset (Bayesiaans Netwerk):
- MM Identificatie: Diff-Joint is de enige methode die expliciet MM identificeert. Het behaalde een hoge recall (76,99%–92,02%) over variërende ontbrekende ratio's (10%–40%).
- Imputatie Nauwkeurigheid: Diff-Joint behaalde de beste token-niveau herstelnauwkeurigheid voor discrete variabelen over alle ratio's heen. Voor continue variabelen bleef het competitief en balanceerde het de dubbele doelstellingen van MM-identificatie en waardeherstel.
- Downstream Prestaties: In multi-class classificatietaken presteerde Diff-Joint significant beter dan alle baselines (bijv. een Macro-F1 van 75,54% versus ~46% voor de op één na beste methode), wat aantoont dat het behouden van MM-staten de voorspellende bruikbaarheid verbetert.
Reële Dataset (MIMIC-IV-ED):
- MM Identificatie: Diff-Joint identificeerde succesvol synthetische MM-labels die waren toegevoegd aan klinische uitkomstvariabelen.
- Imputatie: Het behaalde de beste nauwkeurigheid voor discrete token-niveau herstel bij lagere ontbrekende ratio's en bleef competitief voor continue imputatie (vaak de op één na beste met een verwaarloosbaar verschil ten opzichte van de beste).
- Downstream Prestaties: Diff-Joint liet consistente winsten zien in Macro-F1 en ROC-AUC voor het voorspellen van klinische uitkomsten (bijv. kritieke status, IC-overplaatsing), vooral voor ernstige uitkomsten waar het behouden van het "betekenisvol ontbrekend" signaal cruciaal was.

5. Betekenis en Claims

Het papier claimt dat Diff-Joint een kritiek gat in de afhandeling van ontbrekende data opvult: het onvermogen van huidige methoden om te onderscheiden tussen "ontbrekend omdat het niet van toepassing is" en "ontbrekend omdat het niet is geregistreerd".

Semantische Preservatie: Door expliciet de "betekenisvol ontbrekende" staat te modelleren, voorkomt het framework de vervorming van datadistributies die optreedt wanneer NA naïef wordt geïmputeerd met een reguliere waarde.
Downstream Bruikbaarheid: De auteurs argumenteren dat het behandelen van NA als een geldige semantische staat, in plaats van een fout die gecorrigeerd moet worden, voorspellende signalen levert die besluitvorming verbeteren, met name in hoogwaardige domeinen zoals de gezondheidszorg.
Robuustheid: De methode blijft robuust over verschillende ontbrekende mechanismen (MCAR, MAR, MNAR) en vereist geen ground-truth labels voor het type ontbrekende data tijdens de training.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het framework ervan uitgaat dat kandidaat-kolommen voor MM bekend zijn en vertrouwt op een detecteerbaar onzekerheidsverschil. Zij merken ook op dat de iteratieve diffusieprocedure computationeel duurder is dan niet-iteratieve baselines, hoewel deze kosten kunnen worden beheerst door het aantal iteraties. Toekomstig werk wordt gesuggereerd om de identificeerbaarheidsvoorwaarden te versoepelen en de schaalbaarheid te verbeteren.