WISCA: A Consensus-Based Approach to Harmonizing Interpretability in Tabular Datasets

1. Probleemstelling

Hoewel Machine Learning (ML)-modellen hoge voorspellingsnauwkeurigheid bereiken, vormt hun "black-box"-karakter aanzienlijke uitdagingen in hoog-risicodomeinen zoals gezondheidszorg en financiën, waar transparantie en interpreteerbaarheid wettelijk en ethisch vereist zijn.

• Het Kernconflict: Bestaande Explainable AI (XAI)-algoritmen (bijv. SHAP, LIME, Permutatie-importantie) produceren vaak tegenstrijdige verklaringen voor dezelfde modelvoorspelling. Verschillende algoritmen kunnen verschillende kenmerken benadrukken of verschillende groottes van belangrijkheid toekennen.
• Beperkingen van Huidige Consensusmethoden: Om deze conflicten op te lossen, hebben onderzoekers geprobeerd verklaringen te aggregeren met eenvoudige consensusfuncties (bijv. rekenkundig gemiddelde, stemming, meetkundig gemiddelde). Deze traditionele methoden lijden echter aan kritieke gebreken:
  • Ze negeren vaak modelnauwkeurigheid (een betrouwbare voorspelling wordt gelijk behandeld als een willekeurige gok).
  • Ze falen in het normaliseren van toewijzingsschalen over verschillende algoritmen (bijv. SHAP-waarden versus permutatie-importantie).
  • Ze maken geen onderscheid tussen globale (dataset-brede) en lokale (steekproefspecifieke) verklaringen, wat leidt tot bias bij aggregering.
  • Ze kampen met negatieve waarden of nul-toewijzingen, wat resultaten kan vertekenen (bijv. het meetkundig gemiddelde stort in tot nul als één waarde nul is).

2. Methodologie

De auteurs stellen een nieuw kader voor om consensus in interpreteerbaarheid te evalueren en te verbeteren.

A. Experimentele Opstelling

• Datasets: Zes synthetische datasets werden gecreëerd met bekende grondwahrheden (specifieke kenmerken die werden gebruikt om de doelvariabele te genereren). Dit maakt een objectieve evaluatie mogelijk van of een verklaring de relevante kenmerken correct identificeert.
  • 2 Binaire classificatie, 2 Meerklassenclassificatie, 2 Regressie.
  • Kenmerken omvatten relevante variabelen en significante ruis (irrelevante variabelen).
• ML-modellen: Zes diverse modellen werden getraind: Logistische Regressie (LR), K-Nearest Neighbors (KNN), Random Forests (RF), Support Vector Machines (SVM), Extreme Gradient Boosting (XGB) en Kunstmatige Neurale Netwerken (ANN).
• Interpreteerbaarheidsalgoritmen: Een mix van globale en lokale, model-onafhankelijke methoden werd gebruikt:
  • Globaal: Mean Decrease in Impurity (MDI), Permutatie-importantie.
  • Lokaal: LIME, SHAP, Integrated Gradients, Counterfactual Explanations.

B. De Voorgestelde Oplossing: WISCA

De auteurs introduceren WISCA (Weighted Scaled Consensus Attributions), een nieuwe consensusfunctie die is ontworpen om verklaringen te harmoniseren door de beperkingen van bestaande methoden aan te pakken.

Belangrijkste Componenten van WISCA:

1. Min-Max Schaling: Alle toewijzingen van verschillende algoritmen worden genormaliseerd tot een bereik van $[0, 1]$ om een eerlijke vergelijking te waarborgen.
2. Differentiatie van Globaal versus Lokaal:
   • Globale methoden leveren één waarde per kenmerk op.
   • Lokale methoden leveren waarden per steekproef op. WISCA aggregeert lokale toewijzingen door te delen door het totale aantal steekproeven ($N$) om te waarborgen dat ze evenredig bijdragen aan globale methoden.
3. Nauwkeurigheidsweging (Correctiefactoren):
   • Classificatie: Weegt toewijzingen op basis van de klassenwaarschijnlijkheid ($\pi$). Voorspellingen met hoog vertrouwen (kansen dicht bij 0 of 1) worden zwaar gewogen, terwijl onzekere voorspellingen (kans dicht bij 0,5) worden afgezwakt. De auteurs kozen voor een paraboolfunctie ($1 - 4p(1-p)$) voor deze correctie.
   • Regressie: Weegt toewijzingen op basis van de voorspellingsfout ($|y - \hat{y}|$). Voorspellingen met lage fouten (hoge betrouwbaarheid) behouden hun toewijzingsgewicht, terwijl voorspellingen met hoge fouten worden gestraft met een exponentiële afnamefactor ($e^{-\alpha|y-\hat{y}|}$).

Formulering:
$$\phi(f) = \sum_{s \in S} \frac{\phi'(f)}{N} \times \text{Correctiefactor}$$
Waarbij $\phi'(f)$ de geschaalde toewijzing is en de correctiefactor afhangt van het probleemtype (classificatiekans of regressiefout).

C. Evaluatiemetrieken

• Hit Rate Metric: Een aangepaste metriek die de precisie van kenmerkranking berekent. Het kent hogere scores toe als de "grondwaarheid"-kenmerken bovenaan de consensuslijst verschijnen.
• Scheidingsafstand: Meet de kloof tussen de minimale toewijzing van verwachte kenmerken en de maximale toewijzing van ruiskenmerken.
• Statistische Correlatie: Spearman-correlatie en Jensen-Shannon-divergentie werden gebruikt om WISCA te vergelijken met individuele algoritmen.

3. Belangrijkste Bijdragen

1. Nieuwe Consensusfunctie (WISCA): Een robuuste methode die modelnauwkeurigheid integreert (via kans of fout) en toewijzingen schaalt, waardoor de biases van eenvoudig middelen of stemmen worden overwonnen.
2. Uitgebreide Benchmarking: Een systematische evaluatie van vijf bestaande consensusfuncties (Rekenkundig Gemiddelde, Harmonisch Gemiddelde, Meetkundig Gemiddelde, Stemming, Relatieve Positie) tegen WISCA in diverse synthetische scenario's.
3. Identificatie van Gebreken in Bestaande Methoden: De studie toont aan dat:
   • Harmonisch Gemiddelde ongeschikt is omdat het belangrijkheid omgekeerd weegt.
   • Meetkundig Gemiddelde faalt wanneer een toewijzing nul of negatief is.
   • Stemming zeer gevoelig is voor modelnauwkeurigheid en de grootte van bijdragen negeert.
4. Validatie op Real Data: Toepassing van WISCA op real-world datasets (Risico op Baarmoederhalskanker, Wijnherkomst, Fietsverhuur) om logische consistentie in kenmerkselectie te demonstreren.

4. Resultaten

• Synthetische Datasets: WISCA presteerde consequent beter dan andere consensusmethoden.
  • In Regressie-datasets was WISCA de enige functie die alle verwachte kenmerken correct identificeerde over alle modellen heen.
  • In Classificatie-datasets presteerden WISCA en Stemming goed, maar toonde WISCA een lagere standaardafwijking (compactere/consistente toewijzingen) en betere prestaties in complexe meerklassenscenario's.
  • Traditionele methoden zoals Meetkundig en Harmonisch gemiddelde presteerden slecht.
• Correlatie met Grondwaarheid: WISCA toonde een hoge Spearman-correlatie met het "beste" individuele interpreteerbaarheidsalgoritme voor elk specifiek model, wat aangeeft dat het effectief de meest betrouwbare signalen synthetiseert.
• Vergelijking met Lineaire Modellen: De kenmerkrankingen van WISCA waren vergelijkbaar met, en in sommige gevallen beter dan, die van een Logistische Regressiemodel (dat van nature interpreteerbaar is), wat de capaciteit valideert om ware causale kenmerken te extraheren.
• Real-World Toepassing:
  • Baarmoederhalskanker: Identificeerde correct de "Schiller"-test als een belangrijke marker.
  • Wijn: Identificeerde correct "Proline" als een marker voor wijnherkomst.
  • Fietsverhuur: Identificeerde correct "Geregistreerde Gebruikers" als de primaire drijver voor verhuur.

5. Betekenis en Conclusie

Het paper stelt vast dat consensus essentieel is voor betrouwbare XAI, maar dat eenvoudig middelen onvoldoende is. Door modelvertrouwen en normalisatie te integreren, biedt WISCA een betrouwbaardere verklaring van black-box-modellen.

• Impact: Deze aanpak vermindert onzekerheid voor belanghebbenden in kritieke velden (geneeskunde, financiën) door verklaringen te bieden die niet alleen consistent zijn over algoritmen, maar ook gewogen zijn op de betrouwbaarheid van de onderliggende voorspelling.
• Toekomstig Werk: De auteurs suggereren WISCA uit te breiden om meerklassenspecifieke kansen te hanteren en het gebruik van ML-modellen te verkennen om kenmerktoewijzingen te voorspellen op basis van bestaande interpretaties.

Kortom, WISCA vertegenwoordigt een significante stap richting het harmoniseren van interpreteerbaarheid, van subjectieve of tegenstrijdige verklaringen naar een robuuste, nauwkeurigheidsgegewogen consensus die nauw aansluit bij de ware besluitvormingslogica van ML-modellen.