💻 computer science

The Attribution Impossibility: No Feature Ranking Is Faithful, Stable, and Complete Under Collinearity

Dit artikel bewijst dat geen enkele feature-rankingmethode onder feature-collineariteit tegelijkertijd trouw, stabiliteit en volledigheid kan bereiken, waarbij de resulterende ontwerpruimte wordt gekarakteriseerd als een strikte dichotomie tussen onstabiele trouwe methoden en stabiele ensemblebenaderingen zoals DASH, met alle bevindingen mechanisch geverifieerd in Lean 4.

Oorspronkelijke auteurs: Drake Caraker, Bryan Arnold, David Rhoads

Gepubliceerd 2026-05-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Drake Caraker, Bryan Arnold, David Rhoads

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Muntworp" van AI-verklaringen

Stel je hebt een machine learning-model (een AI) dat voorspelt of een leningnemer zijn geld terugbetaalt. Je wilt weten waarom de AI een beslissing heeft genomen. Je vraagt het: "Welke eigenschap was het belangrijkst? Was het hun Inkomen of hun Schuld-tot-Inkomen-ratio?"

In de echte wereld zijn deze twee getallen vaak sterk gecorreleerd (als je een hoog inkomen hebt, kun je een hoge schuldlimiet hebben). Het paper stelt dat wanneer eigenschappen gecorreleerd zijn, het vragen aan de AI om een "winnaar" te kiezen, hetzelfde is als een scheidsrechter vragen om een muntworp te doen.

De Grote Ontdekking:
De auteurs bewijzen wiskundig dat geen enkel AI-model je een verklaring kan geven die tegelijkertijd:

Getrouw is: Het geeft nauwkeurig weer wat dat specifieke model heeft geleerd.
Stabiel is: Het geeft elk keer hetzelfde antwoord wanneer je het model opnieuw traint.
Volledig is: Het dwingt een rangschikking af (zeggend "Inkomen is #1, Schuld is #2"), zelfs wanneer de data geen duidelijke winnaar ondersteunt.

De Vangst: Je kunt er maar twee kiezen.

Als je wilt dat de verklaring Getrouw en Volledig is (een winnaar kiezen), zal deze niet Stabiel zijn. Als je het model opnieuw traint met een iets andere willekeurige zaad, kan de AI plotseling beslissen "Schuld is #1" en "Inkomen is #2". Het is een muntworp.
Als je wilt dat de verklaring Stabiel is (altijd hetzelfde), moet je toegeven dat je de winnaar niet kent. Je moet zeggen: "Inkomen en Schuld zijn gelijk." Dit offert Volledigheid op (je kunt geen rangschikking afdwingen).

Het "Rashomon"-effect: Veel Waarheden, Één Verhaal

Het paper gebruikt een concept dat de Rashomon-eigenschap wordt genoemd (genoemd naar een beroemde film waarin vier mensen verschillende versies van hetzelfde misdrijf vertellen).

Bij AI, wanneer eigenschappen gecorreleerd zijn, is er niet slechts één "beste" model. Er zijn duizenden bijna perfecte modellen die allemaal even goed de toekomst voorspellen. Deze modellen zijn het echter niet eens over hoe ze daar zijn gekomen.

Model A zegt: "Ik heb Inkomen gebruikt om de beslissing te nemen."
Model B zegt: "Nee, ik heb Schuld gebruikt."

Beide modellen zijn even goed in het voorspellen van het leningresultaat. Maar omdat ze het niet eens zijn, is elke enkele verklaring die je krijgt slechts een momentopname van het "oordeel" van één specifiek model. Als je het model opnieuw traint, kun je in plaats van Model A's mening, Model B's mening krijgen.

De Oplossing: Het "Dash"-ensemble

Omdat je niet kunt vertrouwen op de rangschikking van één enkel model, stellen de auteurs een oplossing voor genaamd Dash (Diversified Aggregation of SHAP).

De Analogie: De Jury
Stel je probeert te beslissen wie de beste speler is van een sportteam, maar de statistieken zijn verwarrend.

De Enkele Model-aanpak: Je vraagt één coach. Hij zegt: "Speler A is de beste." Je vraagt het hem morgen opnieuw (opnieuw trainen), en hij zegt: "Speler B is de beste." Je bent in de war.
De Dash-aanpak: Je vraagt 25 verschillende coaches (een ensemble van modellen) en neemt het gemiddelde van hun meningen.
- Als de coaches 50/50 verdeeld zijn tussen Speler A en Speler B, is het gemiddelde resultaat een Gelijkspel.
- De Dash-methode zegt: "We kunnen geen onderscheid maken tussen Speler A en Speler B. Ze zijn even belangrijk."

Waarom dit beter is:

Eerlijkheid: Het geeft toe wanneer de data dubbelzinnig is. In plaats van te liegen en een winnaar te kiezen die elke dag verandert, rapporteert het een gelijkspel.
Stabiliteit: Als je de 25 coaches opnieuw vraagt, zullen ze nog steeds "Gelijkspel" zeggen. Het antwoord is stabiel.
Pareto-optimaliteit: Het paper bewijst wiskundig dat deze methode de best mogelijke manier is om met deze afweging om te gaan. Je kunt geen stabiel, eerlijk antwoord krijgen zonder gelijkspelen te accepteren voor dubbelzinnige eigenschappen.

Wat met Andere Methoden?

Het paper testte veel populaire tools (zoals SHAP, Lasso, Neuronale Netwerken) en vond dat ze allemaal last hebben van dit probleem wanneer eigenschappen gecorreleerd zijn.

Gradient Boosting (zoals XGBoost): De "winnaar" wisselt ongeveer 50% van de tijd tussen opnieuw trainingsruns.
Lasso: Het kiest één eigenschap en negeert de ander volledig, maar welke het kiest, is willekeurig.
Neuronale Netwerken: Ze zijn zelfs onstabiel dan boomgebaseerde modellen.

Het paper merkt ook op dat Conditional SHAP (een complexere versie van het verklaringstool) dit probleem niet oplost als de eigenschappen hetzelfde causale effect hebben. Het is nog steeds een muntworp.

De "Ontwerpruimte"-kaart

De auteurs hebben alle mogelijke manieren om AI-modellen te verklaren in kaart gebracht. Ze ontdekten dat er slechts twee geldige paden zijn:

Pad A (Het Enkele Model): Je krijgt een duidelijke rangschikking (Volledig) die overeenkomt met het model (Getrouw), maar deze verandert elke keer wanneer je opnieuw traint (Onstabiel).
Pad B (Het Dash-ensemble): Je krijgt een stabiel antwoord dat niet verandert (Stabiel), maar je moet gelijkspelen accepteren voor gecorreleerde eigenschappen (Onvolledig).

Er is geen Pad C. Je kunt geen rangschikking hebben die altijd stabiel, altijd getrouw en altijd volledig is wanneer eigenschappen gecorreleerd zijn.

Wereldwijde Impact (Zoals Stated in het Paper)

Het paper benadrukt dat dit niet alleen een wiskundig probleem is; het is een praktische realiteit.

Prevalentie: In een enquête onder 77 openbare datasets toonde 68% deze instabiliteit. Het komt voor in de gezondheidszorg, financiën en algemene data.
Regulatorisch Risico: Als een bank een AI gebruikt om een lening te weigeren, en de reden verandert van "Inkomen" naar "Schuld" alleen omdat ze het model opnieuw hebben getraind met een andere willekeurige zaad, is dat een compliance-risico. Het paper stelt dat onder regelgeving zoals de EU AI Act, bedrijven moeten openbaren dat hun eigenschapsrangschikkingen onstabiel zijn.
De Oplossing: Het paper beveelt aan om de Dash-methode te gebruiken (gemiddelde van 25 modellen) om een stabiele, eerlijke verklaring te krijgen die gelijkspelen rapporteert waar dat passend is.

Samenvatting in Één Zin

Wanneer AI-eigenschappen gecorreleerd zijn, is het vragen aan één enkel model om ze te rangschikken, hetzelfde als vragen aan een munt om een winnaar te beslissen; het enige eerlijke en stabiele antwoord is toe te geven dat de munt eerlijk is en een gelijkspel te rapporteren.

Technische Samenvatting: Het Onmogelijkheidstheorema voor Toewijzing

1. Probleemstelling

Het artikel behandelt een fundamentele beperking in Explainable AI (XAI): de betrouwbaarheid van rangschikkingen van kenmerkgewicht wanneer invoerkenmerken collineair zijn. Hoewel methoden zoals SHAP (SHapley Additive exPlanations) veel worden gebruikt om modelvoorspellingen te verklaren, tonen de auteurs aan dat voor collineaire kenmerken de rangschikking van belang geen stabiele eigenschap is van de relatie tussen model en data, maar een stochastisch artefact van het trainingsproces.

Specifiek onderzoekt het artikel of een rangschikking van kenmerken tegelijkertijd drie desiderata kan vervullen:

Getrouw: De rangschikking weerspiegelt de specifieke toewijzingen die door een individueel modelinstance zijn geleerd.
Stabiel: De rangschikking is reproduceerbaar over verschillende trainingsruns (bijv. verschillende willekeurige zaden) van dezelfde modelarchitectuur op dezelfde data.
Volledig: De rangschikking biedt een strikte ordening voor elk paar kenmerken (geen gelijke standen).

De centrale stelling is dat onder voorwaarden van kenmerkcollineariteit (correlatie $\rho > 0$ ) het wiskundig onmogelijk is om alle drie de voorwaarden gelijktijdig te vervullen.

2. Methodologie en Theoretisch Kader

De Rashomon-eigenschap en het Onmogelijkheidstheorema

De kerntheoretische bijdrage is het Onmogelijkheidstheorema voor Toewijzing (Stelling 5). Het bewijs steunt op de Rashomon-eigenschap, die stelt dat voor collineaire kenmerken meerdere bijna-optimale modellen bestaan (de Rashomon-set) die symmetrische kenmerken in omgekeerde volgorde rangschikken.

Bewijslogica: Als een rangschikking volledig is, moet het een volgorde kiezen (bijv. $j \succ k$ ). Als het stabiel is, moet deze volgorde gelden voor alle modellen. De Rashomon-eigenschap garandeert echter het bestaan van een model waar $k \succ j$ . Derhalve kan de rangschikking niet zowel getrouw zijn aan dat specifieke model als stabiel over de set heen.
Kwantitatieve grenzen: Het artikel leidt kwantitatieve grenzen af voor de ernst van deze instabiliteit voor verschillende modelklassen:
- Gradient Boosting (GBDT): De toewijzingsratio (dominantie van het "eerste-bewegende" kenmerk) divergeert als $1/(1-\rho^2)$ (of $1/(1-\alpha\rho^2)$ met dieptecorrecties).
- Lasso: De ratio is oneindig ( $\infty$ ) voor elke $\rho > 0$ vanwege harde selectie.
- Neuronale Netwerken: Instabiliteit is afhankelijk van initialisatie en trainingsdynamiek, maar volgt vergelijkbare patronen van symmetriebreking.
- Random Forests: Toont een begrenste schending ( $1 + O(1/\sqrt{T})$ ) door onafhankelijke boomtraining, in tegenstelling tot de divergente instabiliteit van sequentiële boosting.

De Symmetrische Bayes-dichotomie

De auteurs generaliseren dit resultaat met behulp van de Symmetrische Bayes-dichotomie (Stelling 37), een twee-families-theorema uit de invariante besluitvormingstheorie. Zij tonen aan dat voor elk symmetrisch beslissingsprobleem (waarbij de data-verdeling invariant is onder permutaties van kenmerken) de bereikbare set van oplossingen instort tot precies twee families:

Familie A (Enkel-model): Getrouw en volledig, maar onstabiel (ongetrouwheid $U = 1/2$ voor symmetrische paren).
Familie B (Ensemble): Stabiel en getrouw aan het populatiegemiddelde, maar onvolledig (rapporteert gelijke standen voor symmetrische kenmerken, $U=0$ ).
Er is geen derde optie.

Constructieve Oplossing: DASH

Om de onmogelijkheid op te lossen, stelt het artikel DASH (Diversified Aggregation of SHAP) voor. Dit is een ensemble-methode die SHAP-waarden middelt over $M$ onafhankelijk getrainde modellen.

Mechanisme: Door te middelen, neutraliseert DASH de willekeurige "eerste-bewegende" bias die inherent is aan individuele modellen, en convergeert naar de populatieverwachting.
Optimaliteit: DASH is bewezen Pareto-optimaal onder onbevooroordeelde aggregaties. Het bereikt de Cramér–Rao variantiegrens ( $\sigma^2/M$ ) voor rangschikkingsstabiliteit.
Trade-off: DASH offert volledigheid binnen de groep op (het rapporteert gelijke standen voor symmetrische kenmerken) om stabiliteit en getrouwheid tussen groepen te winnen.

Formele Verificatie

Een aanzienlijk deel van de methodologie omvat mechanische verificatie met behulp van Lean 4.

De auteurs formaliseerden het volledige theoretische kader, inclusief het onmogelijkheidstheorema, kwantitatieve grenzen en het optimaliteitsbewijs voor DASH.
De formalisatie bestaat uit 305 getypeerde theorema's verspreid over 54 bestanden met 0 sorry (geen onbewezen aannames).
Het proces omvatte 16 axioma's (14 domeinspecifiek, 2 voor query-complexiteit). Opmerkelijk is dat het kern-onmogelijkheidstheorema nul gedragsaxioma's vereist en uitsluitend steunt op de Rashomon-eigenschap.
Het formalisatieproces zelf identificeerde twee logische inconsistenties en één type-mismatch in het oorspronkelijke informele axiomasysteem.

3. Belangrijkste Resultaten en Empirische Validatie

Empirische Bevindingen

Het artikel valideert de theorie over 77 publieke datasets en meerdere model-implementaties (XGBoost, LightGBM, CatBoost, Neuronale Netwerken).

Prevalentie: In een enquête van 77 datasets vertoonde 68% toewijzingsinstabiliteit (flip-rate > 10%) voor gecorreleerde kenmerkenparen. Voor hoogdimensionale datasets ( $P \ge 20$ ) stijgt dit percentage naar 93%.
Flip-rates: Voor sterk gecorreleerde paren ( $\rho \approx 0,9$ ) met vergelijkbaar belang, nadert de flip-rate het theoretische maximum van 50% (een muntworp) over hertrainingszaden heen.
DASH-effectiviteit: Ensemble-middeling met $M \ge 25$ modellen verlaagt de flip-rate tot onder 1%, waardoor de instabiliteit effectief wordt opgelost.
Diagnostics: Het artikel introduceert een Multi-Model Z-Test en een Single-Model Screen (gebaseerd op splitsingsfrequenties) om onstabiele paren te detecteren. De Z-test toont een sterke negatieve correlatie ( $r \approx -0,89$ ) met waargenomen flip-rates.

Specifieke Gedragingen van Modelklassen

GBDT: Toont divergente instabiliteit. Het "eerste-bewegende" kenmerk absorbeert het signaal, waardoor er een residu-signaal overblijft voor anderen, wat een grote toewijzingskloof creëert die omklapt afhankelijk van welk kenmerk eerst wordt geselecteerd.
Lasso: Vertoont oneindige instabiliteit omdat het precies één kenmerk selecteert uit een gecorreleerde groep.
Neuronale Netwerken: Toonen hoge instabiliteit (87% van de paren onstabiel op Breast Cancer-data), gedreven door de grotere Rashomon-set en KernelSHAP-variatie.
Random Forests: Toonen aanzienlijk lagere instabiliteit door het ontbreken van sequentieel residu-delen.

Uitbreidingen

Conditionele Toewijzing: Het artikel bewijst dat het overschakelen naar conditionele SHAP de onmogelijkheid niet ontwijkt als de causale effecten van de kenmerken gelijk zijn ( $\beta_j = \beta_k$ ).
Fairness Audits: De auteurs tonen aan dat proxy-discriminatie-audits gebaseerd op single-model SHAP onder collineariteit bewezen onbetrouwbaar zijn, aangezien de conclusie (welk kenmerk de proxy is) een muntworp is.
Causale Identificatie: De instabiliteit weerspiegelt de moeilijkheid van causale identificatie onder collineariteit, waarbij de steekproefcomplexiteit divergeert als $1/(1-\rho)^2$ .

4. Betekenis en Claims

Het artikel claimt het eerste formeel geverifieerde onmogelijkheidresultaat in Explainable AI te leveren. De betekenis wordt in drie dimensies gepresenteerd:

Wiskundige Noodzaak: De instabiliteit is geen technisch falen (bijv. slechte hyperparameters of bugs) maar een wiskundige onvermijdelijkheid die voortkomt uit de geometrie van het verlieslandschap en de Rashomon-set. Het artikel herformuleert het probleem van "hoe SHAP te repareren" naar "wat haalbaar is gezien de beperkingen".
Karakterisering van de Ontwerpruimte: Door de Attribution Design Space te definiëren, stelt het artikel vast dat practitioners moeten kiezen tussen stabiliteit en volledigheid. Er is geen "gratis lunch" waarbij een enkel model een stabiele, getrouwe en volledige rangschikking biedt.
Regelgevende en Praktische Impact:
- EU AI Act Compliance: Het artikel betoogt dat toewijzingsinstabiliteit een "bekende en voorspelbare omstandigheid" vormt onder artikel 13(3)(b)(ii) van de EU AI Act. Providers moeten deze instabiliteit openbaren in plaats van willekeurige rangschikkingen als feiten te presenteren.
- Fairness: Single-model fairness audits worden onbetrouwbaar geacht voor gecorreleerde kenmerken, wat potentieel leidt tot vals-positieve of vals-negatieve resultaten bij het detecteren van proxy-discriminatie.
- Actiegericht Toolkit: Het artikel biedt een concrete workflow (Screen $\to$ Z-Test $\to$ DASH) en een formule voor de minimale ensemble-grootte ( $M_{min}$ ) die nodig is om een gewenst stabiliteitsniveau te bereiken.

De auteurs concluderen dat het vakgebied moet afstappen van het "single-model paradigma" voor verklaringen in aanwezigheid van collineariteit en ensemble-gebaseerde benaderingen zoals DASH moet adopteren om eerlijke, stabiele en verdedigbare verklaringen te bieden.