Aggregate Models, Not Explanations: Improving Feature Importance Estimation

Titel: Aggregatie van Modellen, Niet Verklaringen: Verbetering van de Schatting van Feature-Importance

Probleemstelling
Methoden voor feature importance worden steeds vaker gebruikt om machine learning (ML)-modellen om te vormen van voorspellende engines naar instrumenten voor wetenschappelijke ontdekking, met name in hoog-risico biomedische toepassingen. Uitdrukkingskrachtige modellen (zoals diepe neurale netwerken en random forests) vertonen echter vaak instabiliteit als gevolg van variaties in datasampling en algorithmische stochasticiteit (zoals willekeurige initialisatie). Dit fenomeen, bekend als het "Rashomon-effect", resulteert in modellen met vergelijkbare voorspellende prestaties die tegenstrijdige verklaringen van dezelfde data geven.

Een kritieke praktische vraag rijst bij het aanpakken van deze instabiliteit via ensembling: Moet men de importance-scores die zijn afgeleid van individuele submodellen aggregeren (de "submodellen"-strategie), of moet men de voorspellingen van individuele modellen aggregeren om een enkel ensemble-voorspeller te vormen en vervolgens importance af te leiden uit dit geaggregeerde model (de "ensemble"-strategie)? Vanwege de nonlineariteit van gangbare importance-maatstaven (zoals risicoverschillen) zijn deze twee benaderingen wiskundig niet equivalent. De eerdere literatuur heeft zich grotendeels gericht op het aggregeren van individuele verklaringen zonder een formele analyse van de resulterende schattingsfout, waardoor de optimale strategie onduidelijk blijft.

Methodologie en Theoretisch Kader
De auteurs ontwikkelen een theoretische analyse om de fout in de schatting van feature importance te decomponeren, en gaan voorbij aan eerdere aannames die extreem snelle convergentiesnelheden voor ML-modellen vereisten (bijvoorbeeld $o_P(n^{-1/4})$), die vaak niet worden gehaald door moderne overgeparameteriseerde modellen.

1. Foutdecompositie: Op basis van het kader van Bottou & Bousquet (2007) decomponeren de auteurs het excessieve risico ($E$) van een model in approximatiefout ($E_{app}$), schattingsfout ($E_{est}$) en optimalisatiefout ($E_{opt}$). Zij betogen dat voor moderne uitdrukkingskrachtige modellen het excessieve risico de dominante bron van fout is bij de schatting van feature importance.
2. Risicoverschil-maatstaven: De analyse richt zich op methoden die importance schatten via risicoverschillen, specifiek:
   • LOCO (Leave-One-Covariate-Out): Vergelijkt het risico van een volledig model met dat van een model waarin een specifieke feature is weggelaten.
   • SAGE (Shapley Additive Global importancE): Aggregeert risicoverschillen over alle mogelijke subsets van features.
   • CFI (Conditional Feature Importance) & PFI (Permutation Feature Importance): Methoden waarbij hetzelfde model wordt geëvalueerd op originele en verstoorte inputs.
3. Theoretische Vergelijking:
   • Voor LOCO en SAGE hangt de schattingsfout kwadratisch af van het excessieve risico van het model. De auteurs bewijzen dat ensembling op modelniveau dit excessieve risico vermindert (via de ongelijkheid van Jensen voor convexe verliezen), waardoor de leidende foutterm (bias) wordt verlaagd. Daarentegen vermindert het aggregeren van individuele importance-scores (submodellen) alleen de stochastische rest (variatie), maar laat de bias (excessief risico) onveranderd.
   • Voor CFI en PFI wordt hetzelfde model toegepast op beide termen van het risicoverschil, waardoor de kwadratische excessieve-risico-termen elkaar opheffen. De resterende fout hangt lineair af van de model-schattingsfout. Bijgevolg is het theoretische voordeel van ensembling op modelniveau minder uitgesproken voor deze methoden in vergelijking met LOCO en SAGE.

Belangrijkste Bijdragen

1. Theoretische Analyse: Het artikel biedt een rigoureuze foutdecompositie voor de schatting van feature importance onder versoepelde aannames die geschikt zijn voor moderne ML-modellen. Het identificeert formeel het excessieve risico van het model als de primaire drijver van schattingsfout voor risicoverschil-methoden.
2. Strategie-Vergelijking: De auteurs demonstreren dat het aggregeren van modellen op het voorspellingsniveau (ensembling op modelniveau) theoretisch superieur is aan het aggregeren van individuele verklaringen (submodellen) voor methoden zoals LOCO en SAGE, met name in bias-dominante regimes waar convergentie traag is.
3. Empirische Validatie: De bevindingen worden gevalideerd op klassieke synthetische benchmarks (Friedman 1, G-functie, Ishigami) en een grootschalige real-world proteomische studie van de UK Biobank.

Resultaten

• Synthetische Benchmarks: Experimenten op de Friedman 1, G-functie en Ishigami datasets met Multi-Layer Perceptrons (MLP) en Random Forests (RF) tonen aan dat ensembling op modelniveau consequent een lagere Mean Squared Error (MSE) oplevert in de schatting van importance en een hogere ROC AUC voor feature selectie in vergelijking met de submodellen-strategie.
• Bias-Variantie Decompositie: Analyse onthult dat terwijl de submodellen-strategie effectief de variantie vermindert, deze faalt in het mitigeren van de significante bias die wordt geïntroduceerd door het excessieve risico van individuele modellen. Ensembling op modelniveau adresseert deze bias direct.
• Methode-specifieke Winsten: Het prestatieverschil tussen de twee strategieën is het meest significant voor LOCO en SAGE. Voor CFI en PFI zijn de verschillen verwaarloosbaar, in overeenstemming met de theoretische voorspelling dat de kwadratische risicotermen in deze methoden elkaar opheffen.
• UK Biobank Toepassing: In een studie waarbij Body Mass Index (BMI) werd voorspeld op basis van 2.922 plasma-eiwitten, identificeerde ensembling op modelniveau biologisch relevante proteomische signatuur (zoals FABP4, LEP, ADM, IGFBP-1, IGFBP-2) met grotere precisie en lagere variantie dan de submodellen-aanpak. De submodellen-aanpak toonde importance-schattingen voor sleuteleiwitten die overlappen met nul, terwijl de ensemble-strategie duidelijke, significante rangschikkingen opleverde.
• Stabiliteit: De ensemble-strategie produceerde stabielere importance-rangschikkingen over cross-validatie-vouwen heen, gemeten aan de hand van Spearman's rangcorrelatie.

Betekenis en Claims
Het artikel claimt dat de keuze van de aggregatiestrategie niet louter een heuristiek is, maar wordt gedreven door het excessieve risico van het model. Door de focus te verschuiven van het aggregeren van verklaringen naar het aggregeren van modellen, kunnen onderzoekers de betrouwbaarheid van feature-importanceschattingen voor uitdrukkingskrachtige architecturen aanzienlijk verbeteren. Dit is bijzonder cruciaal voor wetenschappelijke ontdekking in gebieden zoals biomedicine, waar instabiele verklaringen de identificatie van therapeutische doelen of risicofactoren kunnen ondermijnen.

De auteurs benadrukken dat hun bevindingen specifiek zijn voor methoden die goed gedefinieerde theoretische indices schatten (zoals LOCO en SAGE) en niet noodzakelijkerwijs van toepassing zijn op heuristische methoden die populatie-level estimands missen. Zij concluderen dat voor risicoverschil-maatstaven de "ensemble"-strategie de voorkeursbenadering is om het Rashomon-effect te mitigeren en de robuustheid van model-agnostische feature-importanceschatting te verbeteren.