Technische Samenvatting: Voorbij Accuratesse: Een Empirische Studie naar Onzekerheidsschatting bij Imputatie

1. Probleemstelling

Het afhandelen van ontbrekende gegevens is een fundamentele stap in statistische analyse- en machine learning-pipelines. Hoewel moderne imputatiemethoden aanzienlijk zijn geavanceerd in het reconstrueren van ontbrekende waarden met een hoge puntaccuratesse (bijv. het minimaliseren van MAE of MSE), is er een kritiek gat in het begrip van de betrouwbaarheid en kalibratie van de onzekerheidschattingen die deze methoden produceren.

In praktische toepassingen zoals de gezondheidszorg, financiën en sociale wetenschappen is weten hoe zeker een model is van een geïmputeerde waarde even cruciaal als de waarde zelf. Betrouwbare onzekerheid maakt het volgende mogelijk:

• Actieve Imputatie: Het prioriteren van entries met een hoge onzekerheid voor deskundige beoordeling of nieuwe gegevensverzameling.
• Selectieve Imputatie: Het signaleren van schattingen die geen gevoelige beslissingen mogen aansturen (bijv. leningaanvragen).
• Robuustheid: Het detecteren wanneer een model buiten zijn trainingsdistributie opereert (dataset shift).

Ondanks de beschikbaarheid van methoden die onzekerheid genereren (bijv. Multiple Imputation, Bayesiaanse benaderingen, deep generative modellen), blijft het onduidelijk of deze onzekerheidsschattingen gekalibreerd zijn — oftewel, of de nominale waarschijnlijkheden (bijv. een 90% predictie-interval) overeenkomen met de empirische frequenties waarin de werkelijke waarde wordt bevat. Bovendien is de afruil tussen puntaccuratesse, kalibratiekwaliteit en computationele runtime over verschillende ontbrekende mechanismen (MCAR, MAR, MNAR) slecht begrepen.

2. Methodologie

2.1 Experimenteel Ontwerp

De auteurs voerden een systematische empirische studie uit waarbij representatieve imputatiemethoden werden vergeleken binnen drie belangrijke families:

1. Statistisch/Model-gebaseerd: MICE (Multiple Imputation by Chained Equations).
2. Matrix/Optimalisatie-gebaseerd: SoftImpute (low-rank recovery) en OT-Impute (distributie-uitlijning via Optimal Transport).
3. Deep Generative: GAIN (adversarial), MIWAE (variational inference), en TabCSDI (diffusion-based).

Datasets en Ontbreken:
De studie maakte gebruik van vijf numerieke tabulaire datasets (huisvesting, biodegradatie, kanker, energie, wijn). Ontbrekende waarden werden synthetisch geïnjecteerd met gecontroleerde percentages (10–30%) onder drie mechanismen:

• MCAR (Missing Completely at Random): Uniform willekeurige masking.
• MAR (Missing at Random): Masking afhankelijk van geobserveerde kenmerken.
• MNAR (Missing Not at Random): Masking afhankelijk van de ontbrekende waarde zelf.

2.2 Strategieën voor Onzekerheidsextractie

Om een eerlijke vergelijking te garanderen, standaardiseerde de studie de extractie van onzekerheid in drie complementaire routes:

1. Herhaalde Modelruns: Het meerdere keren draaien van de imputer met verschillende seeds of gebootstraapte data (bijv. MICE, multi-run GAIN). Dit vangt variabiliteit op vanuit training/initialisatie.
2. Conditionele Sampling: Het trekken van meerdere samples uit de conditionele distributie van een gefixeerd, getraind model (bijv. GAIN-S, MIWAE-S, TabCSDI-S). Dit onderzoekt aleatorische onzekerheid.
3. Modellering van de Predictieve Distributie: Het gebruik van modellen die expliciet getraind zijn om distributieparameters (gemiddelde en variantie) voor elke cel te produceren (bijv. GAIN-U, MIWAE-U).

2.3 Evaluatiemetrieken

De studie evalueerde methoden op twee assen:

• Accuratesse: Gemeten door de Mean Absolute Error (MAE) op gemaskeerde cellen.
• Kalibratie: Gemeten met behulp van Kalibratiecurves (het plotten van empirische dekking versus nominale zekerheid) en de Expected Calibration Error (ECE). Een lagere ECE geeft aan dat de geclaimde zekerheid van het model overeenkomt met de werkelijke nauwkeurigheid.

3. Belangrijkste Bijdragen

1. Verenigd Onzekerheid-gecentreerd Framework: Het artikel stelt een gestandaardiseerd protocol vast voor het extraheren en evalueren van onzekerheid over diverse imputatieparadigma's (statistisch, optimalisatie en deep learning) heen, waarbij de focus verder gaat dan alleen puntaccuratesse.
2. Empirisch Bewijs van Misalignment: De studie levert robuust bewijs dat hoge reconstructie-accuratesse geen betrouwbare onzekerheidskalibratie garandeert. Methoden die excelleren in puntvoorspelling falen vaak in het leveren van goed gekalibreerde betrouwbaarheidsintervallen.
3. Uitgebreide Afruilanalyse: De auteurs brengen de afruilen tussen accuratesse, kalibratie en runtime in kaart over verschillende mechanismen van ontbreken (MCAR, MAR, MNAR) en datasetkarakteristieken.
4. Methode-specifieke Inzichten:
   • MICE: Vertoont de meest stabiele en betrouwbare kalibratie over datasets heen, ondanks soms een lagere puntaccuratesse.
   • SoftImpute: Behaalt competitieve accuratesse maar vertoont slechte kalibratie vanwege de deterministische aard en het gebrek aan inherent onzekerheidsmodellering.
   • Deep Generative Modellen (MIWAE, TabCSDI): Tonen potentieel om een balans te vinden tussen accuratesse en kalibratie, maar brengen aanzienlijk hogere computationele kosten met zich mee.
   • GAIN: Hoewel accuraat, produceert de standaard GAIN over-gedispergeerde (onder-confidente) onzekerheid; heteroscedastische varianten (GAIN-U) verbeteren de kalibratie maar introduceren instabiliteit tijdens de training.

4. Belangrijkste Resultaten

• Accuratesse vs. Kalibratie: Er werd een consistente misalignment geobserveerd. Zo scoort SoftImpute vaak hoog op MAE, maar heeft het een hoge ECE (slechte kalibratie). Daarentegen behoudt MICE een lage ECE (goede kalibratie), zelfs wanneer de MAE niet de laagste is.
• Impact van Ontbrekende Mechanismen: Zowel de accuratesse als de kalibratie verslechteren over het algemeen van MCAR naar MAR naar MNAR. Desalniettemin vertoonden specifieke datasets (bijv. woningbouw) uitzonderingen waarbij feature-collineariteit zorgde dat MAR/MNAR-imputaties de MCAR-imputaties overtroffen.
• Deep Learning Prestaties:
  • MIWAE biedt een gunstige balans tussen accuratesse en kalibratie door gebruik te maken van importance-weighted sampling om de ware datadistributie te benaderen.
  • TabCSDI (diffusion-based) vertoonde een lage ECE in datasets met sterke correlaties (wijn), maar vertoonde gemengde zekerheid (over/onder-confidentie) in andere datasets (energie).
  • Sampling vs. Variance Heads: Voor GAIN en MIWAE verbeterden varianten die expliciet variantie modelleren (U-varianten) of conditionele sampling gebruiken (S-varianten) over het algemeen de kalibratie ten opzichte van de standaard multi-run aanpak, zij het tegen de kosten van verhoogde complexiteit of runtime.
• Runtime: Klassieke methoden (MICE, SoftImpute) zijn over het algemeen sneller. Deep generative modellen, met name de diffusion-gebaseerde TabCSDI, zijn computationeel duur vanwege de training en sequentiële denoising-stappen.

5. Betekenis en Claims

Het artikel claimt dat de keuze van de imputatiestrategie gedreven moet worden door de vereisten van de downstream taak, in plaats van enkel door de accuratesse.

• Voor Betrouwbare Besluitvorming: In scenario's die menselijk toezicht, risicobeheer of selectieve automatisering vereisen (bijv. medische triage), zijn methoden die goed gekalibreerde onzekerheid produceren (zoals MICE of MIWAE) te verkiezen, zelfs als ze enige puntaccuratesse opofferen.
• Voor Efficiëntie en Snelheid: Wanneer snelheid en hoge puntaccuratesse de primaire beperkingen zijn, kunnen efficiënte methoden geschikt zijn, mits hun onzekerheidsschattingen post-hoc gekalibreerd zijn of de taak niet afhankelijk is van de betrouwbaarheidsintervallen.

De auteurs concluderen dat imputatiemethoden niet alleen beoordeeld moeten worden op "hoe dicht ze gemiddeld bij de waarde komen", maar ook op "of hun geclaimde zekerheid overeenkomt met de geobserveerde frequenties". Dit werk dient als een gids voor praktijkgebruikers om onzekerheid-bewuste imputers te selecteren die aansluiten bij de betrouwbaarheidsbehoeften van data-opschoningsprocessen en downstream machine learning-pipelines.

Beperkingen en Toekomstige Richtingen:
De studie is beperkt tot numerieke tabulaire datasets. De auteurs merken op dat het uitbreiden van dit framework naar categorische en gemengde typen data een noodzakelijke volgende stap is. Daarnaast, hoewel de studie de algehele kalibratie evalueert, scheidt het de aleatorische en epistemische onzekerheid niet expliciet, wat een openstaand gebied blijft voor toekomstig onderzoek. Tot slot beperkte de computationele kost van diffusion-modellen de evaluatie op alle datasets.