When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

In de wereld van data science staan onderzoekers vaak voor een puzzel: hoe bepaal je of het ene het andere veroorzaakt wanneer je geen gecontroleerd experiment kunt uitvoeren? Stel je voor dat je probeert te begrijpen of een nieuw medicijn werkt, maar je hebt alleen gegevens van mensen die er zelf voor hebben gekozen om het in te nemen, gemengd met mensen die dat niet hebben gedaan. Om dit te ontrafelen, gebruiken wetenschappers een methode genaamd causale inferentie. Deze benadering berust op het bouwen van wiskundige modellen om de achtergrondfactoren te beschrijven — zoals leeftijd, inkomen of medische geschiedenis — die zowel de beslissing om het medicijn in te nemen als de gezondheidsuitkomst beïnvloeden. Deze achtergrondmodellen staan bekend als "nuisance functions" (storende functies). Ze worden "nuisance" genoemd, niet omdat ze irritant zijn, maar omdat ze noodzakelijke afleidingen zijn; de onderzoeker moet ze nauwkeurig schatten om het ware effect van de behandeling te isoleren. Jarenlang was de standaardmanier om te controleren of deze achtergrondmodellen goed waren, kijken naar hoe goed ze de data voorspelden, vergelijkbaar met hoe een weervoorspeller controleert of zijn temperatuurvoorspellingen overeenkomen met het werkelijke weer. De aanname was simpel: als het model de achtergronddata goed voorspelt, zou het ook moeten helpen bij het vinden van het juiste oorzaak-gevolgantwoord.

Een recente studie door Cong Cao aan de Yale University daagt deze langgebleven aanname uit. De onderzoeker zette zich af om te testen of een model dat uitstekend is in het voorspellen van achtergronddata, noodzakelijkerwijs uitstekend is in het vinden van de ware oorzaak. Om dit te doen, keek Cao niet naar echte medische dossiers, maar creëerde hij duizenden gesimuleerde werelden op een computer. In deze simulaties was de ware oorzaak-gevolgrelatie ontworpen bekend, waardoor de onderzoeker precies kon zien hoe goed verschillende computerprogramma's presteerden. De studie vergeleek verschillende populaire methoden voor het bouwen van deze achtergrondmodellen, variërend van traditionele statistische instrumenten tot moderne, flexibele machine learning-algoritmen. Het doel was om te zien of de score die een model krijgt voor het voorspellen van de achtergronddata overeenkomt met de score die het krijgt voor het vinden van het juiste oorzaak-gevolgantwoord.

De resultaten onthulden een verrassende discrepantie. De studie vond dat de methode die het beste was in het voorspellen van de achtergronddata, niet altijd de beste was in het schatten van het causale effect. In de simulaties was een machine learning-tool genaamd XGBoost het meest accuraat bij het voorspellen van de achtergrondvariabelen en produceerde de kleinste fouten in zijn voorspellingen. Echter, wanneer het aankwam op het uiteindelijke doel van het schatten van het causale effect, presteerde een andere methode genaamd Double Machine Learning, die XGBoost binnen een specifieke statistische structuur gebruikte, beter bij een andere cruciale taak: het bieden van betrouwbare betrouwbaarheidsintervallen. Een betrouwbaarheidsinterval is een reeks waarden die onderzoekers gebruiken om uit te drukken hoe zeker ze zijn over hun antwoord. In deze simulaties gaf de methode met de beste voorspellingsnauwkeurigheid een interval dat te nauw was, wat betekende dat het overmoedig was en vaak het ware antwoord miste. De methode met een iets lagere voorspellingsnauwkeurigheid produceerde echter bredere, eerlijkere intervallen die het ware antwoord ongeveer 93 procent van de tijd vingen, wat zeer dicht bij de ideale 95 procent ligt.

Dit suggereert dat een goede voorspeller zijn niet hetzelfde is als een goede detective voor oorzaak en gevolg. De studie toonde aan dat een model zeer precies kan zijn in het raden van de achtergrondcijfers, maar nog steeds kan falen in het geven van een betrouwbaar bereik voor het uiteindelijke antwoord. De onderzoekers testten ook een nieuw idee: of het kijken naar de gecombineerde fouten van twee verschillende achtergrondmodellen het uiteindelijke resultaat kon voorspellen. Ze ontdekten dat deze gecombineerde maatstaf zwak was en niet betrouwbaar kon aangeven welke methode het beste zou werken. De bevindingen wijzen erop dat hoewel het controleren van hoe goed een model data voorspelt nuttig is, dit op zichzelf niet genoeg is om een goed causaal antwoord te garanderen. Onderzoekers kunnen niet simpelweg het model met de laagste voorspellingsfout kiezen en ervan uitgaan dat het causale antwoord correct zal zijn. In plaats daarvan moeten ze kijken naar de specifieke eigenschappen van de causale methode zelf, zoals hoe deze met onzekerheid omgaat, om ervoor te zorgen dat de uiteindelijke conclusie robuust is.

De studie onderzocht ook wat er gebeurt wanneer datapunten niet onafhankelijk zijn, zoals wanneer patiënten gegroepeerd zijn in hetzelfde ziekenhuis of familie, wat een verborgen link tussen hen creëert. Zelfs in deze complexere, geclusterde situaties hield het patroon stand. De methode die de achtergronddata het best voorspelde, bood nog steeds niet de meest betrouwbare betrouwbaarheidsintervallen. De onderzoekers merkten op dat hun werk gebaseerd was op computersimulaties met specifieke condities, dus de resultaten kunnen er in andere scenario's in de echte wereld met andere soorten data anders uitzien. De kernboodschap blijft echter duidelijk: in de zoektocht naar oorzaak en gevolg, vertaalt het vermogen van een model om het verleden te voorspellen zich niet automatisch in een vermogen om de toekomst te verklaren. De instrumenten die worden gebruikt om de achtergrondruis op te ruimen, moeten worden beoordeeld op hoe goed ze het uiteindelijke antwoord beschermen, en niet alleen op hoe goed ze de ruis zelf raden.