RoSHAP: A Distributional Framework and Robust Metric for Stable Feature Attribution

Technische Samenvatting: RoSHAP – Een Distributioneel Kader en Robuuste Metriek voor Stabiele Feature-Attributie

1. Probleemstelling

Feature-attributie is essentieel voor het interpreteren van machine learning-modellen en het ondersteunen van datagedreven beslissingen. Echter, standaard attributiematen (bijv. SHAP, LIME) vertonen vaak aanzienlijke stochastische variatie. Factoren zoals willekeurige train-test splitsingen, willekeurige zaden en stochastische optimalisatieprocedures kunnen leiden tot aanzienlijk verschillende attributiewaarden en feature-rangschikkingen. Deze instabiliteit is bijzonder problematisch in hoogdimensionale, ruizige of gecorreleerde settings (bijv. genomica), waar onbetrouwbare rangschikkingen wetenschappelijke conclusies en kostbare downstream-experimenten kunnen misleiden. Bestaande methoden richten zich doorgaans op gemiddelde attributiegroottes of rangschikkingen, maar houden geen rekening met de volledige empirische verdeling van attributiescores over resampling-runs.

2. Methodologie

Het artikel stelt RoSHAP (Robust SHAP) voor, een kader dat feature-attributie behandelt als een distributioneel probleem in plaats van een punt-schatting. De methodologie bestaat uit drie hoofdbestanddelen:

• Bootstrap-gebaseerde Distributieschatting:
  Het kader resamplet herhaaldelijk de trainingsdata (bootstrap), past het model opnieuw aan en berekent attributiescores (specifiek SHAP-waarden) voor elke feature opnieuw. Dit genereert een empirische verdeling van attributiescores voor elke feature, waarbij zowel de grootte van de bijdrage als de variabiliteit worden vastgelegd.

  • Algoritme: Voor $B$ bootstrap-iteraties wordt het model aangepast op een geresamplede dataset en worden out-of-bag (OOB) SHAP-waarden berekend. Deze waarden worden geaggregeerd om de verdeling van feature-niveau attributie te vormen.

• Zero-Inflated Modellering en Gaussische Benadering:
  Aangezien SHAP-waarden (vooral in op bomen gebaseerde modellen) vaak exacte nullen bevatten, modelleren de auteurs de sample-feature SHAP-waarde $T_{ij}$ als een zero-inflated mengsel:
  $$T_{ij} \sim w_{ij} \delta_0 + (1 - w_{ij}) G_{ij}$$
  waarbij $\delta_0$ een puntmassa bij nul is, $w_{ij}$ de waarschijnlijkheid van nul-attributie is, en $G_{ij}$ het niet-nul component is.
  De geaggregeerde grootte op feature-niveau wordt gedefinieerd als $U_j = \sum |T_{ij}|$. Onder lichte regulariteitsvoorwaarden (specifiek, een Lyapunov-voorwaarde die garandeert dat de aggregate wordt gedreven door vele kleine termen in plaats van een paar dominante) wordt aangetoond dat de verdeling van $U_j$ asymptotisch Gaussisch is. Dit maakt het mogelijk de verdeling samen te vatten door middel van het gemiddelde en de standaardafwijking, wat de rekenkosten van bootstrapping aanzienlijk verlaagt in vergelijking met niet-parametrische kernel-dichtheidsschatting (KDE) voor grote $B$.

• De RoSHAP-Metriek:
  RoSHAP synthetiseert de geschatte verdeling in een enkele robuuste rangschikkingscriterium dat features beloont op basis van drie eigenschappen:

  1. Activiteit: Het aandeel niet-nul attributies ($1 - P_{0j}$, waarbij $P_{0j} = \text{Pr}(U_j = 0)$).
  2. Sterkte: De mediaan-grootte van niet-nul attributies ($m_j$).
  3. Stabiliteit: Het omgekeerde van de standaardafwijking ($1/s_j$), wat het signaal-ruisverhouding voorstelt.

  De metriek is gedefinieerd als:
  $$\text{RoSHAP}_j := (1 - P_{0j}) \frac{m_j^2}{s_j}$$
  Deze formulering prioriteert features die consistent actief zijn, sterke bijdragen hebben en lage variabiliteit vertonen over resampling-runs.

3. Belangrijkste Bijdragen

• Distributioneel Kader: Verandert het paradigma van attributie op basis van punt-schatting naar het modelleren van de volledige verdeling van attributiescores via bootstrapping en KDE.
• Theoretische Rechtvaardiging: Bewijst dat onder regulariteitsvoorwaarden de geaggregeerde feature-attributiescore asymptotisch Gaussisch is, wat het gebruik van gemiddelde-variatie samenvattingen rechtvaardigt om de rekenlast te verminderen.
• Robuuste Metriek (RoSHAP): Introduceert een samengestelde metriek die instabiliteit en inactiviteit expliciet straft, waardoor de beperkingen van rangschikking op basis van standaard grootte worden aangepakt.
• Empirische Validatie: Demonstreert de effectiviteit van het kader over diverse datamodaliteiten (tabulaire, moleculaire, ruimtelijke en beelddata) en modeltypen (XGBoost, LightGBM, CatBoost, Neurale Netwerken, ViT).

4. Resultaten

• Simulatiestudies:
  In een binaire classificatiesimulatie met 1.000 features (10 ware signalen) identificeerde RoSHAP succesvol 8 van de 10 signaalfeatures binnen de top 12 rangschikkingen met 1000 bootstrap-runs. Zelfs met slechts 10 bootstrap-runs herstelde het 8 signalen in de top 12. Daarentegen identificeerde standaard single-run SHAP slechts 4 signalen in de top 12 en kende het bijna nul-impact toe aan de sterkste signaalfeature ($x_1$). Andere metrieken zoals Information Gain en LIME vertoonden ook onstabiele rangschikkingen.

  • Gaussische Benadering: De empirische verdelingen van robuuste belangrijkheidsschattingen bleken ongeveer Gaussisch te zijn, wat de theoretische reductie in benodigde bootstrap-herhalingen valideert.

• Experimenten in de Wereld:

  • Golub (Genomica): In een hoogdimensionale setting met kleine steekproef (7.129 genen) bood RoSHAP een duidelijkere samenvatting van consequent belangrijke genen in vergelijking met seed-specifieke SHAP. Modellen getraind op door RoSHAP geselecteerde features bereikten prestaties vergelijkbaar met full-feature-modellen, terwijl ze minder voorspellers gebruikten.
  • Musk (Moleculair): RoSHAP verwerkte onevenwichtige data en verdeelde signalen effectief, met prestaties die vergelijkbaar waren met andere methoden maar met een stabielere feature-selectie.
  • UJIIndoorLoc (Regression): In een hoogdimensionale regressietaken (WiFi-vingerafdrukken) bereikte RoSHAP concurrerende en stabiele prestaties over RMSE, MAE en MAPE-metrieken.
  • CIFAR-10 (Beeld): Toegepast op Vision Transformers (ViT) onthulde het kader dat single-run beeldverklaringen gevoelig zijn voor trainingswillekeur (bijv. verschuiving van attributie van water naar het schiplichaam over runs). De geaggregeerde RoSHAP-kaart bood een stabiele, interpreteerbare focus op de juiste objectregio's, wat hielp bij het diagnosticeren van voorspelfouten waarbij modellen zich richtten op irrelevante achtergrondregio's.

5. Betekenis en Claims

Het artikel claimt dat RoSHAP de stabiliteit en interpreteerbaarheid van machine learning-modellen verbetert door een betrouwbare basis te bieden voor feature-rangschikking die rekening houdt met stochastische variatie.

• Betrouwbaarheid: Het stelt consistente inzichten voor analyse in staat, waardoor het risico wordt verkleind om conclusies te trekken uit artefacten van willekeurige datasplitsingen of zaden.
• Efficiëntie: De Gaussische benadering zorgt voor aanzienlijke rekenbesparingen (verlaging van bootstrap-runs van 1.000 naar 10) terwijl robuuste prestaties behouden blijven.
• Praktische Impact: Modellen gebouwd met door RoSHAP geselecteerde features bereiken voorspellende prestaties die vergelijkbaar zijn met full-feature-modellen, maar met aanzienlijk minder voorspellers, wat efficiëntere en interpreteerbaardere downstream-toepassingen faciliteert.

De auteurs positioneren RoSHAP niet als een vervanging voor bestaande attributiemethoden, maar als een robuuste aanvulling die de kritieke kloof van attributie-instabiliteit aanpakt, met name in hoog-risico of hoogdimensionale domeinen.