🤖 machine learning

Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect

Dit artikel introduceert UNIVERSE, een nieuw framework dat Rashomon-sets benut om robuuste grenzen te bieden aan de belangrijkheid van variabelen in de aanwezigheid van niet-geobserveerde confounding en modelmultipliciteit, waarmee kritieke beperkingen in standaard feature selectie en hypothesegeneratie worden geadresseerd.

Oorspronkelijke auteurs: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Gepubliceerd 2026-08-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van data science proberen onderzoekers vaak te begrijpen wat een specifieke uitkomst aanstuurt, zoals of een lening zal worden terugbetaald of of een patiënt zal herstellen. Om dit te doen, bouwen ze wiskundige modellen die kijken naar verschillende factoren, of kenmerken, zoals inkomen, kredietgeschiedenis of leeftijd. Een standaard onderdeel van dit proces is het bepalen welke van deze factoren werkelijk belangrijk zijn. Wetenschappers vertrouwen al lang op methoden die een score toekennen aan elk kenmerk op basis van hoeveel de prestaties van het model dalen als dat kenmerk wordt verwijderd of gehusseld. Dit helpt hen te beslissen welke variabelen ze in de toekomst moeten verzamelen en welke ze kunnen negeren. Echter, deze standaard aanpak heeft een verborgen gebrek: het gaat er meestal van uit dat het geanalyseerde model het enige goede model is. In werkelijkheid kunnen veel verschillende modellen dezelfde gegevens even goed verklaren, een fenomeen dat bekend staat als het Rashomon-effect. Bovendien zijn gegevens in de echte wereld vaak incompleet; cruciale informatie, zoals het exacte inkomen of de medische geschiedenis van een persoon, kan volledig ontbreken uit de dataset. Wanneer deze ontbrekende stukjes aanwezig zijn, kunnen de standaardmethoden misleidende conclusies trekken, waardoor een kenmerk belangrijk lijkt terwijl dat niet zo is, of een kenmerk verbergen dat er eigenlijk wel toe doet.

Een team van onderzoekers van de Duke University en de Bocconi University heeft een nieuw framework ontwikkeld genaamd UNIVERSE om deze problemen op te lossen. Hun werk pakt de dubbele uitdaging aan van het hebben van meerdere even goede modellen en het hebben van ontbrekende gegevens die de resultaten kunnen verkenen. In plaats van één enkel beste model te kiezen en dit in isolatie te analyseren, kijken de onderzoekers naar de gehele groep modellen die bijna net zo goed presteren als het beste model. Ze noemen deze groep een Rashomon-set. Door de gehele set te onderzoeken, kunnen ze zien hoe de belangrijkheid van een kenmerk verandert over verschillende geldige modellen heen. Maar ze gaan nog een stap verder. Ze houden ook rekening met het feit dat sommige belangrijke variabelen ontbreken in de gegevens. Dit doen ze door een vangnet van wiskundige grenzen te creëren. Deze grenzen fungeren als een bereik van mogelijke waarden, wat garandeert dat de ware belangrijkheid van een kenmerk ergens binnen dat bereik valt, zelfs als de onderzoekers niet precies weten wat de ontbrekende variabelen zijn of welk specifiek model de waarheid is.

De onderzoekers testten hun methode met behulp van een slim simulatietechniek. Ze namen real-world datasets, zoals gegevens over recidive bij criminelen, uitvalpercentages van studenten in het hoger onderwijs en kredietrisicoanalyses, en creëerden kunstmatig een scenario waarin sommige gegevens verborgen waren. Ze splitsten de gegevens in groepen en trainden verschillende modellen op elke groep, waardoor effectief een situatie ontstond waarin het "ware" model afhankelijk was van de groep waarbij een persoon hoorde, een stukje informatie dat de hoofdanalyse niet zag. Ze pasten vervolgens hun UNIVERSE-framework toe om te zien of het de belangrijkheid van kenmerken correct kon identificeren ondanks deze verborgen informatie. De resultaten waren duidelijk: zonder hun nieuwe aanpassingen faalden standaardmethoden vaak in het vastleggen van de ware belangrijkheid van variabelen, vooral wanneer de steekproefomvang groot was of wanneer de gegevens complex waren. In contrast hiermee produceerde de UNIVERSE-methode consistent bereiken die het juiste antwoord bevatten. In hun tests slaagde de methode erin de correcte belangrijkheid van variabelen te vangen in meer dan tachtig procent van de proeven, zelfs toen de gegevens cruciale stukjes informatie misten.

Een van de meest overtuigende demonstraties van hun werk betrof een dataset voor kredietrisico die door banken wordt gebruikt. In dit scenario werd een specifieke risicoscore, de External Risk Estimate, breed beschouwd als een cruciale factor voor het voorspellen van wanbetalingen op leningen. Standaardanalyse suggereerde dat deze score essentieel was. Echter, toen de onderzoekers hun UNIVERSE-framework toepasten, ontdekten ze dat de belangrijkheid van deze score niet zo robuust was als het leek. Ze toonden aan dat als er ongemeten factoren waren, zoals het inkomen van een persoon, die niet in de gegevens waren opgenomen, de External Risk Estimate misschien helemaal niet nodig is. Hun analyse suggereerde dat andere, meer interpreteerbare kenmerken deze gemakkelijk zouden kunnen vervangen. Deze bevinding is significant omdat het impliceert dat banken mogelijk vertrouwen op een complexe, dure metriek die vervangen zou kunnen worden door simpelere, meer transparante informatie, wat potentieel kan leiden tot betere feedback voor leningaanvragers.

De kracht van deze nieuwe aanpak ligt in haar vermogen om met onzekerheid om te gaan zonder onrealistische aannames te doen. Traditionele methoden vereisen vaak dat men precies weet hoe de ontbrekende gegevens verdeeld zijn of dat men een specifiek type relatie tussen variabelen aanneemt. Het UNIVERSE-framework heeft dit niet nodig. In plaats daarvan vraagt het de analist om een redelijke schatting te geven van hoeveel de ontbrekende gegevens de resultaten zouden kunnen veranderen. Op basis van deze schatting berekent de methode een bereik van mogelijke belangrijkheidswaarden. De onderzoekers hebben wiskundig bewezen dat deze bereiken betrouwbaar zijn, wat betekent dat als de schatting van de analist over de impact van de ontbrekende gegevens correct is, de ware belangrijkheid van het kenmerk vrijwel zeker binnen de berekende grenzen valt. Ze hebben ook aangetoon en dat deze grenzen nauwer en nauwkeuriger worden naarmate er meer gegevens beschikbaar komen, wat de methode bruikbaar maakt voor zowel kleine als grote datasets.

Dit werk vertegenwoordigt een verschuiving in hoe wetenschappers over de belangrijkheid van variabelen denken. In plaats van te zoeken naar één enkel, definitief antwoord dat afhangt van een specifiek model en een volledige dataset, omarmen de onderzoekers de complexiteit van de echte wereld. Ze erkennen dat meerdere modellen juist kunnen zijn en dat gegevens vaak incompleet zijn. Door een methode te bieden die rekening houdt met deze realiteiten, bieden ze een instrument dat eerlijker is over wat de gegevens wel en niet kunnen vertellen. Het framework claimt niet het ene ware model of de ene ware belangrijkheidsscore te vinden. In plaats daarvan biedt het een betrouwbaar interval dat de waarheid vangt, waardoor wordt gewaarborgd dat beslissingen op basis van gegevens niet ontsporen door verborgen variabelen of de illusie van één enkele beste verklaring. Deze aanpak biedt een pad naar meer betrouwbare en robuuste wetenschappelijke conclusies in velden variërend van financiën tot openbaar beleid.

Technische Samenvatting: UNIVERSE – Variabele Belangrijkheid met Ongeobserveerde Confounding en het Rashomon-effect

Probleemstelling

Methoden voor variabele belangrijkheid (variable importance, VI) zijn standaardinstrumenten voor hypothesegeneratie, feature selectie en wetenschappelijke validatie. De standaard VI-pipelines lijden echter aan twee kritieke beperkingen die kunnen leiden tot misleidende inzichten:

Het Rashomon-effect: Meerdere verschillende modellen kunnen een dataset even goed verklaren. Een kenmerk dat belangrijk wordt geacht in één bijna-optimaal model, kan irrelevant zijn in een ander. Hoewel recent werk dit heeft geadresseerd door de "Rashomon-set" (de verzameling van alle bijna-optimale modellen) te analyseren, gaan deze methoden doorgaans uit van de aanname dat alle relevante variabelen geobserveerd zijn.
Ongeobserveerde Confounding: In observationele datasets ontbreken vaak essentiële variabelen. Wanneer ongeobserveerde confounders aanwezig zijn, weerspiegelt de geschatte belangrijkheid van een kenmerk op geobserveerde data mogelijk niet de werkelijke belangrijkheid ten opzien van de onderliggende conditionele gemiddelde functie.

Bestaande benaderingen voor ongeobserveerde confounding (sensitiviteitsanalyse) vertrouwen vaak op restrictieve aannames (bijv. lineariteit) die niet standhouden voor moderne, niet-lineaire VI-metrieken zoals SHAP of permutatie-belangrijkheid. Omgekeerd houden bestaande Rashomon-set methoden geen rekening met weggelaten variabelen. Dit artikel adresseert de kloof in het uitvoeren van robuuste variabele belangrijkheidsinferentie in de aanwezigheid van zowel het Rashomon-effect als ongeobserveerde confounding.

Methodologie: Het UNIVERSE-framework

De auteurs introduceren UNIVERSE (UNobservables and Inference for Variable importancE using Rashomon SEts), een framework dat grenzen (bounds) afleidt voor de ware variabele belangrijkheid, zelfs wanneer kenmerken ontbreken. De aanpak integreert drie bronnen van onzekerheid: het Rashomon-effect, ongeobserveerde variabelen en fouten door eindige steekproeven (finite sample error).

1. Theoretische Fundering

Het framework definieert de ware conditionele gemiddelde functie $g^*(x, u)$ die afhankelijk is van zowel geobserveerde covariaten $X$ als ongeobserveerde covariaten $U$ . Het doel is om de variabele belangrijkheid $\Phi_j(g^*, P_U)$ voor deze ware functie te begrenzen.

De methode verloopt in drie logische stappen:

Stap A: Het begrenzen van de ware submodellen via de Rashomon-set.
De auteurs definiëren een verzameling conditionele submodellen $S^* = \{f_u \mid u \in \mathcal{U}\}$ , waarbij elke $f_u$ het optimale model is gegeven een specifieke waarde van de ongeobserveerde variabele $U$ . Zij bewijzen dat $S^*$ een deelverzameling is van de populatie Rashomon-set $R(\epsilon_{unobs})$ , waarbij $\epsilon_{unobs}$ de verwachte loss van deze submodellen op de geobserveerde data begrenst.
Stap B: Correctie voor eindige steekproeven.
Omdat de populatie Rashomon-set niet observeerbaar is, construeert de methode een empirische Rashomon-set $\hat{R}^{(n)}$ . Stelling 1 biedt een probabilistische garantie dat een aangepaste empirische Rashogen-set (met een drempelwaarde gecorrigeerd voor steekproefomvang en regularisatiebias) de populatie Rashomon-set met een hoge waarschijnlijkheid bevat. Dit zorgt ervoor dat alle noodzakelijke submodellen in $S^*$ worden gevangen.
Stap C: Rekening houden met distributieverschuiving (VI-Drift).
Variabele belangrijheidsmetrieken zijn vaak afhankelijk van de inputdistributie. De belangrijkheid van een kenmerk in een submodel $f_u$ , geëvalueerd op de conditionele distributie $P_{XY|U=u}$ , kan verschillen van de belangrijkheid op de marginale geobserveerde distributie $P_{XY}$ . De auteurs introduceren een parameter $\tau_j$ (VI-drift) om de maximale verschuiving in belangrijkheid te begrenzen die wordt veroorzaakt door het conditioneren op ongeobserveerde variabelen.

2. De Definitieve Grens (Final Bound)

Door deze componenten te combineren, stelt Stelling 3 vast dat de ware variabele belangrijkheid $\Phi_j(g^*, P_U)$ met een hoge waarschijnlijkheid ( $1 - (\delta + \gamma)$ ) binnen een interval ligt:
$\Phi_j(g^*, P_U) \in \left[ \inf_{f \in \hat{R}} \Phi_j(f, D^{(n)}) - \tau_j - \alpha, \quad \sup_{f \in \hat{R}} \Phi_j(f, D^{(n)}) + \tau_j + \alpha \right]$
Waarbij:

$\hat{R}$ de aangepaste empirische Rashomon-set is.
$\alpha$ de onzekerheid in de schatting van de VI-metriek zelf account.
$\tau_j$ de distributieverschuiving door ongeobserveerde confounding account.
De grenzen worden afgeleid met behulp van subtractieve model-reliantie (of andere compatibele metrieken) en zijn van toepassing op elke modelklasse waarvoor de Rashomon-set geschat kan worden.

Belangrijkste Bijdragen

Eerste Geïntegreerd Framework: UNIVERSE is de eerste methode die gelijktijdig het Rashomon-effect, ongeobserveerde confounding en onzekerheid door eindige steekproeven aanpakt bij de schatting van variabele belangrijkheid.
Theoretische Garanties: Het artikel biedt rigoureuze eindige-steekproefgrenzen (Stellingen 1–3) die garanderen dat de ware variabele belangrijkheid met een hoge waarschijnlijkheid binnen het berekende interval valt, zelfs onder ongeobserveerde confounding.
Generaliteit: In tegen tegenstelling tot sensitiviteitsanalyse-frameworks die beperkt zijn tot lineaire estimanden, is UNIVERSE compatibel met een brede klasse van model-agnostische VI-metrieken (bijv. SHAP, permutatie-belangrijkheid, model reliance).
Praktische Implementatie: De auteurs bieden een methode om de omvang van de Rashomon-set te schatten om grenzen te verfijnen en demonstreren het nut van het framework via een casestudy naar kredietrisico.

Experimentele Resultaten

De auteurs evalueerden UNIVERSE met behulp van "semi-synthetische" datasets afgeleid van vier reële bronnen (COMPAS, Dropout, FICO, Wine Quality). In deze opzet was de "ongeobserveerde" variabele de partitie van de data die werd gebruikt om een specifieke submodel te trainen, waardoor de auteurs de grondwaarheid kenden.

Validatie van Dekking (Coverage): Over variërende steekproefgroottes en datasets heen, bereikte het framework consistent de beoogde dekkingspercentages (bijv. $\geq 80\%$ of $\geq 90\%$ ) alleen wanneer alle drie de aanpassingen (modelonzekerheid, VI-schattingsonzekerheid en VI-drift) werden toegepast.
Noodzaak van Aanpassingen: Experimenten toonden aan dat het weglaten van correcties voor eindige steekproeven of VI-drift-aanpassingen leidde tot ernstige onderdekking, waarbij de ware belangrijkheid buiten de berekende grenzen viel.
Casestudy (FICO Kredietrisico): In een analyse van de "External Risk Estimate" (ERE) feature, toonde UNIVERSE aan dat de schijnbare belangrijkheid van ERE niet robuust was tegen ongeobserveerde confounding. De grenzen suggereerden dat andere, potentieel beter interpreteerbare kenmerken ERE konden vervangen indien zij een specifiek niveau van signaal vastleggen, wat de conclusie dat ERE onmisbaar is, uitdaagt.

Betekenis en Claims

Het artikel claimt dat UNIVERSE een substantiële stap voorwaarts vertegenwoordigt in het gebruik van variabele belangrijkheid in uitdagende, realistische settings waar data incompleet is. Door wiskundig gegarandeerde grenzen te bieden, stelt het framework beoefenaars in staat om:

Onderscheid te maken tussen kenmerken die robuust belangrijk zijn over alle plausibele modellen en ongeobserveerde scenario's versus kenmerken wier belangrijkheid een artefact is van weggelaten variabelen.
Misleidende conclusies te vermijden die voortkomen uit single-model analyses of analyses die het Rashomon-effect negeren.
De "kosten" van ongeobserveerde confounding te kwantificeren in termen van de breedte van het belangrijheidsinterval.

De auteurs merken op dat hoewel het vinden van de volledige Rashomon-set computationeel intensief kan zijn, het framework algemeen en toepasbaar is op elke modelklasse waarvoor de set benaderd kan worden (bijv. beslissingsbomen, random forests). Zij erkennen dat toekomstig werk nodig is om deze methoden uit te breiden naar continue uitkomsten en complexere modelklassen zoals neurale netwerken.