🤖 machine learning

Measuring Explainer Stability via Attribution Separability

Dit artikel stelt een op distributie gebaseerd kader voor om de stabiliteit van attributiemethoden te evalueren door de scheidbaarheid van gerangschikte attributiescores te meten en de betrouwbaarheid van kenmerkenschikkingen te bepalen, waarmee een aanvullend criterium wordt geboden voor het vergelijken van de robuustheid van verschillende explainers.

Oorspronkelijke auteurs: Eddie Conti, Álvaro Parafita, Axel Brando

Gepubliceerd 2026-08-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Eddie Conti, Álvaro Parafita, Axel Brando

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een mysterieuze zwarte doos te begrijpen die beslissingen neemt, zoals een robot die beslist of een lening wordt goedgekeurd of een ziekte wordt gediagnosticeerd. In de wereld van Kunstmatige Intelligentie wordt dit "Explainable AI" genoemd. Om in de zwarte doos te kunnen kijken, gebruiken wetenschappers speciale hulpmiddelen die "Attribution Methods" worden genoemd. Denk aan deze hulpmiddelen als een spotlight die schijnt op de specifieke aanwijzingen (of kenmerken) die de robot gebruikte om zijn keuze te maken. Als de robot "Nee" zegt tegen een lening, kan de spotlight "laag inkomen" en "hoge schulden" highlighten als de redenen.

Maar er is een addertje onder het gras. Sommige van deze spotlight-hulpmiddelen zijn een beetje nerveus. Omdat ze willekeurige stappen gebruiken om het antwoord te vinden, kunnen ze als je ze twee keer dezelfde vraag stelt, net iets andere aanwijzingen aanwijzen of een andere volgorde aanhouden. Het is alsof je aan een groep vrienden vraagt om hun favoriete ijsjes te rangschikken; als ze onbeslist zijn of de wind waait, zegt de ene vriend vandaag misschien "Chocolade is #1" en morgen "Aardbei is #1". Deze "nerveusheid" is een probleem omdat, als de uitleg elke keer verandert als je ernaar kijkt, kun je er dan wel echt op vertrouwen? Dit artikel pakt precies die zorg aan: hoe weten we of de lijst met redenen die een robot ons geeft stabiel is, of slechts een toevalstreffer van willekeur?

De auteurs van dit artikel, Eddie Conti en zijn team, stellen een slimme nieuwe manier voor om deze stabiliteit te meten. In plaats van alleen te vragen: "Is het antwoord veranderd?", vragen ze: "Hoe duidelijk zijn de antwoorden van elkaar gescheiden?" Ze behandelen het belang van elke aanwijzing niet als een enkel vast getal, maar als een wolk van mogelijkheden. Als de wolk voor "laag inkomen" ver weg is van de wolk voor "hoge schulden", is de rangschikking stabiel en betrouwbaar. Maar als de wolken overlappen als twee samensmeltende mistige vlekken, is de rangschikking wankel.

Om dit te visualiseren, stel je een race voor waarbij de aanwijzingen de hardlopers zijn. Als de eerste loper ver voor de tweede uit sprint, en de tweede ver voor de derde uit, is de volgorde duidelijk. Maar als iedereen in een compact pakketje rent, is het moeilijk te zeggen wie er echt de eerste is. De onderzoekers hebben ontwikkeld een wiskundige "liniaal" om de afstand tussen deze lopers te meten. Ze noemen dit "attribution separability". Hun belangrijkste bevinding is dat ze een specifiek getal kunnen berekenen, dat ze k-stability noemen. Dit getal vertelt je precies hoeveel top-aanwijzingen in de lijst je kunt vertrouwen voordat de volgorde wazig wordt. Bijvoorbeeld, als je k-stability 3 is, kun je er zeker van zijn dat de top drie redenen in de juiste volgorde staan, maar daarna kan de lijst een puinhoop zijn.

Wanneer ze deze liniaal testten op populaire tools zoals SHAP, LIME en DiCE, ontdekten ze enkele interessante patronen. Ze ontdekten dat SHAP over het algemeen de meest stabiele loper was, die vaak zijn top-aanwijzingen in een duidelijke, niet-overlappende lijn hield, vooral op eenvoudigere datasets. LIME was redelijk maar werd soms wat wankel, terwijl DiCE vaak in zo'n compact pakketje rende dat het moeilijk was te zien wie de leiding had. Ze controleerden ook of het vaker draaien van de tools hielp. Ze kwamen tot de conclusie dat voor de meeste tools, het 50 keer draaien voldoende was om een duidelijk beeld te krijgen, en dat het zelfs nog vaker draaien de resultaten niet veel veranderde, wat goed nieuws is voor het besparen van computerkracht.

Het artikel beweert niet dat één tool de "beste" is voor elke denkbare taak in het universum. Sterker nog, de auteurs benadrukken voorzichtig dat geen enkele tool altijd wint; het hangt af van de specifieke data en het model dat wordt gebruikt. In plaats daarvan bieden ze deze nieuwe liniaal aan als een manier voor wetenschappers om tools eerlijk te vergelijken. Ze argumenteren dat stabiliteit een vereiste is voor vertrouwen. Als een tool niet consistent over zijn eigen top-redenen kan eensluiten, is het moeilijk om erop te vertrouwen voor belangrijke beslissingen. Door hun methode te gebruiken, kunnen onderzoekers nu zeggen: "Deze tool is betrouwbaar voor de top 5 redenen, maar wees voorzichtig met de rest," wat ons een veel helderder en eerlijker beeld geeft van hoe deze AI black boxes echt denken.

Technische Samenvatting: Het meten van de stabiliteit van uitleggers via attributie-scheidbaarheid

Probleemdefinitie
Attributiemethoden (AM's), of uitleggers, worden breed gebruikt om black-box modellen te interpreteren door belangsscores toe te kennen aan invoerkenmerken. Veel populaire AM's (bijv. SHAP, LIME, DiCE) bevatten echter stochastische componenten, zoals Monte Carlo-sampling of willekeurige perturbaties. Deze stochastiek leidt tot variabiliteit in attributiescores over verschillende uitvoeringen heen, wat vragen oproept over reproduceerbaarheid en de betrouwbaarheid van de resulterende kenmerkens rangschikkingen. Waar eerder werk zich richtte op stabiliteit via input-gebaseerde perturbaties (testen hoe uitleg verandert wanneer de input licht wordt gewijzigd), adresseert dit artikel een andere uitdaging: het kwantificeren van de stabiliteit van de rangschikking zelf die voortkomt uit een enkele instantie over meerdere runs van dezelfde uitlegger. De kernonderzoeksvraag is: gegeven een geordende vector van kenmerkbelangrijkheden geproduceerd door een AM, in welke mate kunnen we erop vertrouwen dat de hoogst gerangschikte kenmerken werkelijk belangrijker zijn dan de daaropvolgende?

Methodologie
De auteurs stellen een op distributie gebaseerd framework voor om de stabiliteit van kenmerkens rangschikkingen te kwantificeren door de scheidbaarheid van attributiescore-distributies te analyseren.

Distributiemodellering: In plaats van attributiescores als deterministische waarden te behandelen, modelleert de methode de score voor elk kenmerk $i$ als een waarschijnlijkheidsdistributie $p_i$ , geschat vanuit meerdere runs van de AM op een specifieke instantie $x$ .
Attributie-scheidbaarheidsmetriek: Om de onderscheidbaarheid tussen twee kenmerken in de ranglijst te meten, gebruiken de auteurs een afstandmetriek $d(p, q)$ gebaseerd op de continue generalisatie van de Jaccard-afstand. Deze metriek berekent de overlap tussen twee distributies $p$ en $q$ :
$d(p, q) = 1 - \frac{\int_{\text{supp}(p) \cap \text{supp}(q)} \min(p(x), q(x))dx}{\int_{\text{supp}(p) \cup \text{supp}(q)} \max(p(x), q(x))dx}$
Een waarde van $d(p, q)$ nabij 1 duidt op een hoge scheidbaarheid (lage overlap), terwijl een waarde nabij 0 duidt op significante overlap.
k-Stabiliteit Definitie: Het framework definieert k-stabiliteit als de grootste prefixlengte $k$ van de gerangschikte kenmerkenlijst waarvoor alle opeenvolgende paren kenmerken in de top- $k$ een distributieafstand $d(p_i, p_j)$ hebben die een door de gebruiker gedefinieerde drempel $l$ overschrijdt. Dit identificeert het punt in de rangschikking waar de ordening onbetrouwbaar wordt door overlappende distributies.
Vergelijkend Framework: De methode maakt het mogelijk om verschillende AM's te vergelijken door het aandeel instanties in een dataset te berekenen waarbij de ene methode een hogere $k$ -stabiliteit bereikt dan een andere.

Belangrijkste Bijdragen

Nieuwe Stabiliteitsmetriek: Het artikel introduceert een wiskundig onderbouwde aanpak om de stabiliteit van AM-rangschikkingen te kwantificeren op basis van distributieanalyse in plaats van input-perturbaties.
Formele Validatie: De auteurs bewijzen dat in een ideaal geval waarin een AM perfect getrouw (faithful) is en stochastiek verdwijnt, de voorgestelde afstandmetriek convergeert naar 1 (maximale scheidbaarheid). Ze demonstreren verder empirisch dat de metriek gevoelig is voor de mate van scheiding tussen kenmerkbelangrijkheden.
Vergelijkend Evaluatietool: Het framework biedt een mechanisme om de robuustheid van verschillende uitleggers (LIME, SHAP, DiCE) te vergelijken over diverse modellen en datasets, zonder te claimen dat één methode universeel superieur is.

Experimentele Resultaten
De auteurs evalueerden het framework op vier benchmark-datasets (Diabetes, Heart Disease, Mobile, Churn) met behulp van Random Forest, SVM, Logistische Regressie en Decision Tree modellen.

Scheidbaarheidsanalyse: Experimenten toonden aan dat SHAP over het algemeen bijna-deterministische attributies produceerde (scheidbaarheidswaarde van 1) op eenvoudigere datasets, terwijl LIME en DiCE meer variabiliteit vertoonden. In complexe datasets nam de scheidbaarheid de neiging te nemen naar de "staart" van de rangschikking (minder relevante kenmerken).
k-Stabiliteitsvergelijkingen: SHAP vertoonde consequent hogere $k$ -stabiliteitswaarden vergeleken met LIME, DiCE en een willekeurige baseline (RAND) over de meeste datasets en modellen. DiCE vertoonde in verschillende gevallen stabiliteitsniveaus die dicht bij de willekeurige baseline lagen.
Run-gevoeligheid: De studie vond dat de metriek een beperkte sensitiviteit vertoont voor het aantal runs voor LIME, SHAP en DiCE, wat suggereert dat betrouwbare schattingen verkregen kunnen worden met een modaal aantal executies (bijv. 15–30 runs), terwijl de willekeurige baseline meer runs vereiste om te stabiliseren.

Betekenis en Claims
Het artikel positioneert dit werk als een aanvullend criterium voor het evalueren van AM's, met de focus op de betrouwbaarheid van de geïnduceerde kenmerkens rangschikking. De auteurs verklaren expliciet dat hun doel niet is om één AM universeel superieur te verklaren, waarbij zij erkennen dat er een "No Free Lunch Theorem" voor uitlegbaarheid bestaat. In plaats daarvan beargumenteren zij dat stabiliteit een vereiste is voor gebruikersvertrouwen en de generaliseerbaarheid van inzichten.

De voorgestelde methode biedt een principiële manier om het "punt van verminderde meeropbrengst" in een kenmerkens rangschikking te bepalen—het identificeren van hoeveel topkenmerken men kan vertrouwen voordat de ordening ambigu wordt door stochastische ruis. De auteurs noemen beperkingen, waaronder de focus op tabulaire data en de noodzaak om parameters voor dichtheidschatting en drempelwaarden te selecteren. Zij benadrukken dat een lage $k$ -stabiliteit niet noodzakelijkerwijs wijst op een gebrek aan getrouwheid (unfaithfulness) aan het besluitvormingsproces van het model, maar eerder aangeeft dat de stochastische aard van de uitlegger de specifieke ordening van kenmerken onbetrouwbaar maakt. Daarom moet deze metriek worden gebruikt in combinatie met andere evaluatiedimensies zoals getrouwheid (faithfulness) en eenvoud (simplicity).

Meer zoals dit