📊 statistics

Local MDI+: Local Feature Importances for Tree-Based Models

Dit artikel introduceert Local MDI+ (LMDI+), een nieuwe methode die het globale MDI+-kader uitbreidt om stabiele, structuurbewuste lokale kenmerkenbelangrijkheden voor op bomen gebaseerde modellen te bieden, die bestaande basismodellen overtreffen bij het identificeren van instance-specifieke voorspellende kenmerken en geavanceerde interpretabiliteitsgebruiksscenario's zoals het genereren van contrafactuelen mogelijk maken.

Oorspronkelijke auteurs: Zhongyuan Liang, Zachary T. Rewolinski, Abhineet Agarwal, Tiffany M. Tang, Bin Yu

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhongyuan Liang, Zachary T. Rewolinski, Abhineet Agarwal, Tiffany M. Tang, Bin Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, complexe robot hebt (een "boomgebaseerd model" zoals een Random Forest) die voorspellingen doet over zaken zoals huizenprijzen of medische diagnoses. Je weet dat de robot goed is in gokken, maar het is een beetje een "black box". Je wilt weten: "Waarom deed de robot deze specifieke gok voor deze specifieke persoon?"

Hier komt Local Feature Importance (LFI) om de hoek kijken. Het is alsof je de robot vraagt om te wijzen naar de specifieke ingrediënten in een recept die de taart zoet maakten.

Het probleem met huidige methoden

Op dit moment zijn de meest populaire manieren om de robot "waarom?" te vragen, zoals LIME en TreeSHAP. Het paper betoogt dat deze methoden een beetje lijken op een onhandige detective:

Ze gokken door dingen te schudden: Ze proberen een voorspelling te verklaren door de data willekeurig te verstoren (perturbaties) en te kijken hoe de robot reageert. Het is alsof je probeert uit te vinden waarom een auto-motor luid is door er willekeurig met een hamer op te slaan en naar het geluid te luisteren.
Ze zijn instabiel: Als je de detective twee keer dezelfde vraag stelt, kunnen ze je twee verschillende antwoorden geven omdat hun "willekeurige schudden" iets anders was.
Ze missen het echte signaal: Soms geven ze de verkeerde ingrediënten (ruis) de schuld in plaats van de echte (signaal).

De nieuwe oplossing: Local MDI+

De auteurs stellen een nieuwe methode voor genaamd Local MDI+. Denk hierbij aan een meester-architect die niet alleen gokt; ze kijken naar de echte blauwdrukken van de robot.

Hier is hoe het werkt, met een eenvoudige analogie:

De Blauwdruk (De Boomstructuur): In plaats van te gokken, kijkt Local MDI+ in het brein van de robot. Het ziet de beslissingsbomen (de stroomdiagrammen die de robot gebruikt om beslissingen te nemen).
De Vertaling (Lineaire Regressie): Het paper ontdekte een slimme truc: je kunt de complexe beslissingsboom van de robot vertalen naar een eenvoudige wiskundige vergelijking (een lineair model). Stel je voor dat je een complex, kronkelend doolhof neemt en beseft dat het eigenlijk gewoon een rechte lijn is als je het vanuit het juiste perspectief bekijkt.
De "Out-of-Bag" Veiligheidsnet: De robot is getraind op een hoop data. Meestal wordt het getest op dezelfde data waar het van heeft geleerd, wat vergelijkbaar is met een student die een toets maakt over de exacte vragen die ze hebben uit het hoofd geleerd. Local MDI+ gebruikt een speciale "out-of-bag"-techniek, waarbij het de robot test op data die het niet uit het hoofd heeft geleerd. Dit voorkomt dat de robot cheat en geeft een eerlijker score van wat echt belangrijk is.
Het Resultaat: Door de interne kaart van de robot te combineren met deze "veiligheidsnet"-wiskunde, kan Local MDI+ je precies vertellen welke kenmerken belangrijk waren voor deze specifieke persoon, zonder dat er willekeurig aan de data geschud hoeft te worden.

Waarom is dit beter? (De claims van het paper)

Het paper testte deze nieuwe methode tegen de oude (LIME, TreeSHAP en Local MDI) op 12 real-world datasets (zoals huizendata en medische data). Hier is wat ze vonden:

Het vindt de echte aanwijzingen: Toen de onderzoekers de methoden testten op nepdata waar ze het antwoord wisten, was Local MDI+ veel beter in het vinden van de echte "signaal"-kenmerken en het negeren van de "ruis". Het was als een detective die daadwerkelijk een vingerafdruk vindt in plaats van te gokken op basis van een schaduw.
Het is consistent: Als je de robot 100 keer draait met verschillende willekeurige zaden, geeft Local MDI+ elke keer dezelfde rangschikking van belangrijke kenmerken. De oude methoden zouden van mening veranderen. Dit is cruciaal voor vertrouwen; je wilt niet dat een diagnose van een arts verandert alleen omdat de computer opnieuw is opgestart.
Het gaat om met rommelige data: Wanneer kenmerken sterk gecorreleerd zijn (zoals "lengte in inches" en "lengte in centimeters"), raken oude methoden in de war en geven ze de verkeerde de schuld. Local MDI+ blijft kalm en rangschikt de belangrijke eren correct.
Het werkt voor "Wat-als"-vragen: Het paper toonde aan dat Local MDI+ beter is in het vinden van "counterfactuelen". Dit betekent dat als een lening werd afgewezen, Local MDI+ je de kleinste, meest realistische verandering kan vertellen die nodig is om goedgekeurd te worden (bijvoorbeeld "verhoog het inkomen met $500" in plaats van "verander je naam"). Het vindt het pad van minste weerstand.
Het vindt verborgen groepen: In een case study met huizendata uit Miami, groepeerde de methode huizen in wijken die geografisch en financieel echt zinvol waren. Het vond dat huizen in één cluster goedkoop waren omdat ze klein en ver weg waren, terwijl een ander cluster duur was omdat ze enorm waren, zelfs als ze in vergelijkbare gebieden lagen.

De bottom line

Local MDI+ is een nieuw hulpmiddel om uit te leggen hoe boomgebaseerde AI-modellen beslissingen nemen. In plaats van te gokken door dingen willekeurig kapot te maken, kijkt het naar de interne structuur van het model, gebruikt het een slimme wiskundige vertaling en controleert het zijn werk op data die het nog niet heeft gezien. Het resultaat is een uitleg die nauwkeuriger, stabieler en betrouwbaarder is dan de huidige populaire methoden.

Opmerking: Het paper vermeldt expliciet dat de implementatie beschikbaar is in het imodels-pakket en werkt met Random Forests en Gradient Boosting-modellen. Het claimt niet te werken op deep learning-modellen of specifieke klinische uitkomsten buiten de gegeven algemene voorbeelden.

Technische Samenvatting: Lokale MDI+ (LMDI+)

Probleemstelling

Boomgebaseerde ensemble-methoden, zoals Random Forests (RF's) en Gradient Boosting, blijven de state-of-the-art voor tabulaire data vanwege hun voorspellende prestaties en computationele efficiëntie. Bijgevolg worden ze op grote schaal ingezet in hoog-risicodomeinen zoals gezondheidszorg en strafrecht, wat betrouwbare lokale interpretaties vereist.

Huidige methoden voor lokale kenmerkbelang (Local Feature Importance, LFI), zoals LIME en TreeSHAP, staan voor aanzienlijke beperkingen:

Afhankelijkheid van Perturbaties: Deze model-agnostische benaderingen vertrouwen op willekeurige perturbaties of permutaties van kenmerken om modelgedrag te benaderen. Dit negeert de interne structuur van het model, wat leidt tot onstabiele verklaringen en het falen om ware signaalkenmerken in de onderliggende Data Generating Processes (DGPs) te identificeren.
Instabiliteit: Bestaande methoden produceren vaak inconsistente kenmerk-rangschikkingen bij herhaalde modelaanpassingen met verschillende willekeurige zaden.
Bias in Boomgebaseerde Methoden: Traditionele lokale belangrijkheid op basis van bomen (Local MDI) lijdt onder biases waarbij kenmerken met hoge entropie of lage correlatie opgeblazen belangrijkheidsscores krijgen. Bovendien zijn boomgebaseerde modellen inefficiënt in het vastleggen van additieve en gladde functies.

Hoewel de globale kenmerkbelangmethode MDI+ deze biases aanpakte door een equivalentie tussen beslisbomen en kleinste-kwadratenregressie op een getransformeerde knooppuntenbasis te exploiteren, blijft het een globale maatstaf. Het kan geen uitkomsten op steekproefniveau verklaren, die vaak afhankelijk zijn van unieke individuele kenmerken.

Methodologie: Het LMDI+-Kader

De auteurs stellen Local MDI+ (LMDI+) voor, een nieuwe uitbreiding van het MDI+-kader naar de steekproefspecifieke setting. Ontwikkeld binnen het Predictability-Computability-Stability (PCS)-kader voor waarheidsgetrouwe datawetenschap, streeft LMDI+ ernaar om steekproefspecifieke signaalkenmerken getrouw en consistent te identificeren zonder afhankelijkheid van perturbaties.

Het kader maakt gebruik van de equivalentie tussen voorspellingen van beslisbomen en Ordinary Least Squares (OLS)-regressie op een getransformeerde basis (stompfuncties). De LMDI+-procedure omvat drie belangrijke stappen:

Uitgebreide Representatie: Voor elke boom in een ensemble construeert de methode een kenmerkafbeelding $\tilde{\Psi}(X)$ $\tilde{Ψ} (X)$ die bevat:
- De getransformeerde stompfuncties $\Psi(X; S)$ afgeleid van de boomstructuur (gebaseerd op in-bag en Out-of-Bag (OOB)-steekproeven).
- De ruwe kenmerkwaarden $x_k$ die aan de afbeelding worden toegevoegd. Deze uitbreiding stelt het model in staat lineaire en additieve structuren te vangen die pure boomverdelingen mogelijk missen.
Geregulariseerde GLM-aanpassing: In plaats van OLS past LMDI+ een geregulariseerd Generalized Linear Model (GLM) (bijv. ElasticNet) aan op de getransformeerde data. Deze stap mitigeert overfitting en gaat beter om met gecorreleerde kenmerken dan standaard boomgebaseerde belangrijkheidsmaatstaven.
Steekproefspecifieke Toewijzing: Voor een specifieke observatie $x$ wordt de belangrijkheid van het $k$ -de kenmerk berekend als de bijdrage van dat kenmerk aan de voorspelling binnen het gelineariseerde model:
$\text{LMDI}^+_k(x) = \tilde{\Psi}^{(k)}(x)^\top \hat{\beta}^{(k)}_\lambda$
waarbij $\hat{\beta}^{(k)}_\lambda$ de GLM-coëfficiënten voorstelt. Als een kenmerk nooit in een verdeling voorkomt, is zijn bijdrage nul. De uiteindelijke ensemblescore is het gemiddelde van deze scores over alle bomen.

Belangrijkste Bijdragen en Resultaten

Het artikel valideert LMDI+ over twaalf real-world benchmarkdatasets (zes regressie, zes classificatie) en diverse synthetische settings.

1. Superieure Identificatie van Signaalkenmerken

Synthetische Experimenten: In data-geïnspireerde simulaties met variërende signaal-ruisverhoudingen (SNR), steekproefgroottes en responsfuncties (lineair, polynoom en lokaal-spikig-sparse), behaalde LMDI+ consistent hogere AUROC-scores in het onderscheiden van signaal van niet-signaalkenmerken in vergelijking met LIME, TreeSHAP en Local MDI.
Robuustheid tegen Correlatie: In settings met sterk gecorreleerde kenmerken rangschikte LMDI+ signaalkenmerken correct als het belangrijkst. In tegenstelling hieraan prioriteerden baselines zoals LIME en TreeSHAP vaak onterecht ongecorreleerde niet-signaalkenmerken wanneer de correlatiesterkte hoog was ( $\rho \ge 0.9$ ).
Real-World Prestaties: Met behulp van een "remove-and-retrain"-evaluatietechniek toonde LMDI+ aan dat de door het geselecteerde kenmerken beter voorspellend waren voor individuele uitkomsten. Bij het opnieuw trainen van modellen op gemaskerde data waarbij alleen de top $k\%$ van de kenmerken behouden bleef, leverde LMDI+ hogere $R^2$ (regressie) en AUROC (classificatie) scores op dan baselines, met een gemiddelde verbetering van 10% in voorspellende prestaties bij gebruik van alleen geselecteerde kenmerken.

2. Verhoogde Stabiliteit

LMDI+ produceerde de meest consistente kenmerk-rangschikkingen bij herhaalde modelaanpassingen met verschillende willekeurige zaden.
Stabiliteitsexperimenten toonden aan dat LMDI+ het minste aantal unieke kenmerken selecteerde over verschillende modelaanpassingen, wat aangeeft dat zijn belangrijkheidsrangschikkingen robuust zijn voor modelvariaties, een kritieke vereiste voor betrouwbare interpretaties.

3. Generaliseerbaarheid en Ablatie

Componentanalyse: Ablatiestudies bevestigden dat elke component van LMDI+ (OOB-steekproeven, toevoeging van ruwe kenmerken en geregulariseerde GLM's) bijdraagt aan prestatiewinst.
Modelagnosticisme binnen Bomen: De verbeteringen reikten verder dan Random Forests tot Gradient Boosting-modellen, wat de toepasbaarheid van het kader op diverse boomensembles aantoont.

4. Praktische Toepassingen

Contrastieve Verklaringen: Door prioriteit te geven aan signaalkenmerken, identificeerde LMDI+ contrasten (minimale wijzigingen om een voorspelling om te draaien) die kleinere modificaties vereisten (lagere $\ell_1$ -afstand) in vergelijking met baselines.
Subgroepontdekking: In een casestudie over de Miami Housing-dataset onthulde het clusteren van steekproeven op basis van LMDI+-scores homogene subgroepen. Het aanpassen van eenvoudige OLS-modellen aan deze subgroepen verminderde de voorspellingsfout (MSE) aanzienlijk in vergelijking met een globaal model, waarbij LMDI+ andere LFI-methoden overtrof in subgroep-homogeniteit.

Betekenis en Claims

Het artikel beweert dat LMDI+ de kritieke kloof tussen globale boomgebaseerde belangrijkheid en de behoefte aan lokale, steekproefspecifieke interpreteerbaarheid aanpakt. Door weg te bewegen van perturbatiegebaseerde benaderingen en in plaats daarvan de interne lineaire structuur van boomensembles te exploiteren, biedt LMDI+:

Getrouwheid: Het identificeert de ware signaalkenmerken die individuele voorspellingen aandrijven nauwkeuriger.
Stabiliteit: Het biedt consistente verklaringen over modelruns, wat het risico op onbetrouwbaar besluitvorming in hoog-risicosituaties vermindert.
Actieerbaarheid: Het maakt praktische use-cases mogelijk, zoals het genereren van efficiënte contrasten en het ontdekken van homogene data-subgroepen.

De auteurs positioneren LMDI+ als een stap naar waarheidsgetrouwe datawetenschap, waarbij wordt verzekerd dat lokale interpretaties niet alleen berekenbaar zijn, maar ook voorspelbaar en stabiel. Hoewel de methode een eenmalige overhead introduceert voor het aanpassen van de GLM en het transformeren van de basis, is de inferentiefase voor nieuwe steekproeven efficiënt (eenvoudige lineaire vermenigvuldiging), wat het levensvatbaar maakt voor praktische implementatie waar de modelstructuur vast blijft.