📊 statistics

Predicting missing values: A good idea?

Dit artikel betoogt dat het minimaliseren van de gemiddelde kwadratische fout voor het imputeren van ontbrekende waarden systematische vertekeningen in downstream-analyses introduceert door natuurlijke datavariabiliteit te onderdrukken, en toont aan dat het toevoegen van ruis evenredig aan de MSE (stochastische imputatie) essentieel is om variabiliteit te behouden en onbevooroordeelde statistische schattingen te waarborgen.

Oorspronkelijke auteurs: Stef van Buuren

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stef van Buuren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom "Perfecte" Gissingen Gevaarlijk Kunnen Zijn

Stel je voor dat je een chef-kok bent die probeert een beroemd soeprecept na te maken, maar je mist de hoeveelheden voor het zout. Je hebt een zeer slimme assistent (een computeralgoritme) die kijkt naar alle andere ingrediënten en de smaak van de soep tot nu toe.

De assistent heeft twee manieren om de ontbrekende hoeveelheid zout te raden:

De "Perfecte" Gissing (Predictieve Methode): De assistent berekent het exacte gemiddelde benodigde zout op basis van de andere ingrediënten. Als het recept meestal 5 gram nodig heeft, schrijft de assistent "5 gram" op.
De "Realistische" Gissing (Stochastische Methode): De assistent berekent het gemiddelde (5 gram) maar voegt vervolgens een beetje willekeurige "beweegruimte" toe. Soms schrijven ze "4,8 gram", soms "5,2 gram". Ze erkennen dat het echte leven niet perfect precies is.

Het artikel stelt dat, hoewel de "Perfecte" gissing er op papier beter uitziet, de "Realistische" gissing eigenlijk is wat je nodig hebt om later goede beslissingen te nemen.

Het Probleem: Het "Smoothie"-Effect

Het artikel legt uit dat wanneer we de "Perfecte" gissing gebruiken (het minimaliseren van de Mean Squared Error, of MSE), we onze data per ongeluk veranderen in een smoothie.

Echte Data: Stel je een kom fruitsalade voor. Sommige stukjes zijn groot, sommige klein, sommige zoet, sommige zuur. Het heeft natuurlijke variatie.
De "Perfecte" Gissing: Wanneer de computer de ontbrekende vruchten invult met de exacte gemiddelde grootte en smaak, verplettert het alle variatie. Het resultaat is een gladde, uniforme pasta.

Waarom is dit slecht?
Als je later probeert de "smoothie" te analyseren om te zien hoeveel suiker er in de vruchten zit, of hoe de vruchtgrootte zich verhoudt tot de zoetheid, zullen je resultaten verkeerd zijn.

Variantie (Verspreiding): De smoothie ziet er minder gevarieerd uit dan de echte fruitsalade. Je denkt dat de vruchten uniformer zijn dan ze echt zijn.
Correlatie (Relaties): Omdat de computer elke ontbrekende stukje perfect liet passen bij het gemiddelde, creëert het neppe, overdreven sterke relaties tussen variabelen. Het lijkt alsof alles perfect verbonden is, wat niet waar is.
De "R-Kwadraat"-Valstrik: De computer zal je vertellen: "Kijk! Mijn model verklaart 99% van de data!" Dit is een leugen. Het is alleen hoog omdat de computer de gaten invulde met de exacte antwoorden die het probeerde te voorspellen.

De Oplossing: "Ruis" Toevoegen

Het artikel stelt dat we, om dit op te lossen, ruis (willekeur) moeten toevoegen aan onze gissingen.

Denk eraan als een darten spel:

Predictieve Methode: Je richt op het bullseye en raakt elke keer het exacte centrum. Je score (MSE) is perfect. Maar als je kijkt waar je pijlen landden, staan ze allemaal opgestapeld in één tiny stip. Je kunt niet zien hoe verspreid je aim normaal gesproken is.
Stochastische Methode: Je richt op het centrum, maar je laat je hand bewust een beetje trillen. Je raakt iets links, iets rechts, iets hoog. Je score (MSE) is iets slechter omdat je een paar keer het bullseye miste. Echter, het patroon van je pijlen ziet er nu precies uit als dat van een echt persoon dat darten. Het toont de ware spreiding en onzekerheid.

De Bevinding van het Artikel:
Hoewel de methode met de "trillende hand" een hogere foutenscore (MSE) heeft, behoudt het de natuurlijke variabiliteit van de data. Dit zorgt ervoor dat wanneer je later je analyse uitvoert (zoals het berekenen van gemiddelden, correlaties of trends), de resultaten eerlijk en onbevooroordeeld zijn.

De Softwaretest

De auteur testte drie populaire computertools die worden gebruikt om ontbrekende data in te vullen:

missForest en softImpute: Deze fungeren als de "Perfecte" gissers. Ze proberen de fout te minimaliseren en creëren gladde, deterministische antwoorden. Het artikel vond dat ze de "smoothie"-bias introduceerden, waardoor data er minder gevarieerd uitzag en relaties sterker waren dan ze echt waren.
mice: Deze tool fungeert als de "Realistische" gisser. Het voegt willekeur toe aan zijn antwoorden. Het artikel vond dat mice de meest accurate resultaten opleverde voor downstream-analyse, waarbij de natuurlijke spreiding van de data intact bleef.

De Conclusie: Voorspelling versus Imputatie

Het artikel maakt een cruciaal onderscheid:

Voorspelling gaat over het zo nauwkeurig mogelijk raden van een enkel getal (zoals het raden van de winnaar van een race).
Imputatie gaat over het invullen van een puzzel zodat je later het hele plaatje kunt bestuderen.

Als je imputatie behandelt als voorspelling (proberen de laagste foutenscore te krijgen), verpest je de puzzel. Je creëert een plaatje dat te schoon en te perfect lijkt.

De Kernboodschap:
Om geldige resultaten uit je data te halen, moet je niet alleen proberen de ontbrekende getallen perfect te raden. Je moet ze raden met onzekerheid. Door een beetje willekeurige ruis toe te voegen aan je gissingen, voorkom je dat de data een "smoothie" wordt en zorg je ervoor dat je uiteindelijke analyse de rommelige, mooie realiteit van de echte wereld weerspiegelt.

Kortom: Een iets "slechtere" gissing die willekeur bevat, is eigenlijk een "betere" gissing voor de wetenschap dan een "perfecte" gissing die alle onzekerheid verwijdert.

Technische Samenvatting: Het Voorspellen van Ontbrekende Waarden. Een Goed Idee?

Probleemstelling
Het artikel adresseert een kritieke disconnectie in de behandeling van ontbrekende data binnen machine learning en statistische analyse. Hoewel het minimaliseren van de Gemiddelde Kwikwafel (MSE) de dominante criterium is voor het evalueren van imputatiemethoden—met prioriteit voor de nauwkeurigheid van punt-schattingen—introduceert deze aanpak systematisch vertekeningen in downstream-analyses. Het kernprobleem is dat MSE-geoptimaliseerde imputaties in wezen conditionele gemiddelden (gemiddelden) zijn. Door ontbrekende waarden te vervangen door deze deterministische gemiddelden, wordt de natuurlijke variabiliteit van de data kunstmatig gereduceerd. Deze reductie vervormt cruciale statistische parameters, waaronder variantie, prevalentie, correlatie, regressieslopes en verklaarde variantie ( $R^2$ ), wat leidt tot ongeldige inferenties en overmoedige schattingen in daaropvolgende modellering.

Methodologie
De auteur hanteert een theoretisch kader en simulatiestudies om twee distincte imputatiestrategieën te vergelijken binnen een multivariate normale setting:

Predictieve Imputatie (Predict): Deze methode minimaliseert MSE door de verwachte waarde ( $\hat{y}$ ) te imputeren op basis van waargenomen voorspellers. Het is deterministisch en komt overeen met regressie-imputatie of conditioneel gemiddelde imputatie.
Stochastische Imputatie (Draw): Deze methode voegt willekeurige ruis ( $\epsilon$ ) toe aan de voorspelde waarde, zodanig dat $\dot{y} = \hat{y} + \epsilon$ . De ruis wordt getrokken uit de residu-verdeling van het imputatiemodel. Deze aanpak erkent de inherente onzekerheid van ontbrekende data.

De studie maakt gebruik van een simulatie-opzet met synthetische populaties die "hoog-signaal" ( $R^2=0.8$ ) en "laag-signaal" ( $R^2=0.2$ ) data vertegenwoordigen. Ontbrekendheid wordt geïntroduceerd via twee mechanismen: Volledig Willekeurig Ontbrekend (MCAR) en Willekeurig Ontbrekend (MAR). De prestaties van deze methoden worden niet alleen beoordeeld op MSE, maar op hun impact op downstream-parameters ( $\mu, \sigma, P90, \rho, \gamma, R^2$ ) in regressiemodellen waarbij de geïmputeerde variabele dient als zowel voorspeller als uitkomst.

Bovendien evalueert het artikel drie populaire softwaretools—missForest, softImpute en mice—om te beoordelen of hun standaardgedrag overeenkomt met predictieve of stochastische paradigma's.

Belangrijkste Resultaten

Vertekening in Predictieve Methoden: De "predict"-methode reduceert consequent de standaardafwijking ( $\sigma$ ) en het aandeel gevallen dat de 90e percentiel ( $P90$ ) overschrijdt. Omgekeerd inflateert het correlaties ( $\rho$ ), regressieslopes ( $\delta$ ) en het aandeel verklaarde variantie ( $R^2$ ). Deze vertekeningen zijn het ernstigst in laag-signaal scenario's waar de relatie tussen variabelen zwak is.
Validiteit van Stochastische Methoden: De "draw"-methode, die ruis incorporeert, produceert schattingen voor variantie, correlatie en slopes die nauw aansluiten bij de ware populatieparameters, waardoor de systematische vertekeningen die door predictieve methoden worden geïntroduceerd effectief worden geëlimineerd.
De MSE-Paradox: Hoewel de "draw"-methode onbevooroordeelde downstream-schattingen oplevert, resulteert het in een MSE die ongeveer twee keer zo groot is als die van de "predict"-methode ( $MSE_{draw} \approx 2 \times MSE_{predict}$ ). Uitsluitend vertrouwen op MSE zou de bevooroordeelde predictieve methode ten onrechte als superieur identificeren.
Software-evaluatie:
- missForest gedraagt zich vergelijkbaar met de predictieve methode en introduceert aanzienlijke vertekening.
- softImpute toont gemengde resultaten; het presteert goed op variantie in hoog-signaal settings, maar vertoont excessieve spreiding en hoge MSE in laag-signaal settings, terwijl het nog steeds verklaarde variantie overschat.
- mice (met zijn standaard Bayesiaanse kader) produceert de meest accurate downstream-schattingen en behoudt data-variabiliteit. Het artikel merkt een minor probleem op met $P90$ in mice bij gebruik van predictieve gemiddelde matching, wat kan worden opgelost door over te schakelen naar normale imputatie.

Belangrijkste Bijdragen

Demonstratie van Systematische Vertekening: Het artikel levert empirisch bewijs dat het minimaliseren van MSE voor imputatie systematisch downstream-statistische eigenschappen vervormt, specifiek door de data-verdeling te comprimeren naar het conditionele gemiddelde.
Ruis als Oplossing: Het stelt de toevoeging van ruis (stochastische imputatie) voor en valideert dit als een eenvoudige, effectieve mechanisme om de natuurlijke variabiliteit van de data te herstellen en onbevooroordeelde downstream-analyse te waarborgen.
Kritiek op Evaluatiemetrics: Het werk daagt de afhankelijkheid van de machine learning-gemeenschap van MSE als primaire metric voor imputatiekwaliteit uit, en betoogt dat dit prioriteit geeft aan punt-nauwkeurigheid boven de statistische validiteit van de data-verdeling.
Praktische Tool-beoordeling: Het biedt een vergelijkende analyse van veelgebruikte imputatietools, waarbij wordt benadrukt dat veel populaire "black box"-methoden (zoals missForest) onbedoeld de vertekeningen van deterministische imputatie in stand houden.

Betekenis en Claims
Het artikel betoogt dat het doel van imputatie niet moet zijn om de ware ontbrekende waarden perfect na te bootsen (wat onmogelijk is), maar om geldige en informatieve downstream-analyses te faciliteren. De auteur stelt dat "het voorspellen van ontbrekende waarden" alleen een "goed idee" is als het voorspellingsproces de toevoeging van ruis omarmt om data-variabiliteit te behouden.

De betekenis ligt in het verschuiven van het paradigma van nauwkeurigheid (minimaliseren van MSE) naar validiteit (behoud van variabiliteit). Het artikel concludeert dat het incorporeren van ruis essentieel is om vertekeningen in variantie-, correlatie- en slopeschattingen te voorkomen. Hoewel wordt erkend dat het toevoegen van ruis de MSE verhoogt, stelt de auteur dat dit een noodzakelijke trade-off is om rekening te houden met de irreduceerbare fout die inherent is aan ontbrekende data. Het werk overbrugt statistische strengheid met praktische bruikbaarheid, en suggereert dat stochastische benaderingen superieur zijn voor het behandelen van incomplete data in scenario's die betrouwbare inferentie vereisen.