🤖 machine learning

A Human-Centered Validation of the Explainability-Performance Coefficient

Dit artikel introduceert de EPC-score, een model-agnostische metriek die de kwaliteit van uitleg kwantificeert door een balans te vinden tussen feature-schaarsheid en prestatiebehoud, en valideert de effectiviteit ervan over meerdere datamodaliteiten door de sterke afstemming met mensgericht begrip aan te tonen.

Oorspronkelijke auteurs: Christian Oliva, Luis F. Lago-Fernández

Gepubliceerd 2026-08-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christian Oliva, Luis F. Lago-Fernández

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robot hebt gebouwd die de toekomst kan voorspellen, ziekten kan diagnosticeren of kan beslissen wie een lening krijgt. Het is ongelooflijk goed in zijn werk, maar het is ook een "black box" — je kunt niet zien hoe hij denkt. Hij geeft je gewoon een antwoord, en je moet hem vertrouwen. Dit is de wereld van Deep Learning, een tak van kunstmatige intelligentie waarbij computers leren door het menselijk brein na te bootsen. Maar hier is de adder onder het gras: omdat deze robots zo complex zijn, weten we vaak niet waarom ze bepaalde beslissingen nemen. Dit is een groot probleem, vooral als de robot een fout maakt of als een wet voorschrijft dat we het recht hebben om te weten hoe beslissingen worden genomen.

Om dit op te lossen, hebben wetenschappers een veld genaamd Explainable AI (XAI) gecreëerd. Zie XAI als een vertaler die probeert het denken van de robot aan ons uit te leggen. Het benadrukt de "aanwijzingen" die de robot gebruikte om zijn keuze te maken, zoals het aanwijzen van een specifiek woord in een zin of een specifiek deel van een foto. Maar hier is het lastige deel: soms liegt de vertaler. De vertaler wijst misschien naar een aanwijzing die belangrijk lijkt, maar die eigenlijk niets met de beslissing te maken heeft, of hij mist de echte aanwijzing volledig. We hebben een manier nodig om te testen of deze uitleg de waarheid spreeft of gewoon dingen verzint.

Dit artikel gaat over het bouwen van een betere "leugendetector" voor deze AI-uitleg. De auteurs, Christian Oliva en Luis F. Lago-Fernández, introduceren een nieuwe tool genaamd de EPC Score. Stel je voor dat je een mysterie probeert op te lossen en je hebt een lijst met verdachten. Een goede uitleg zou je precies vertellen welke paar verdachten schuldig zijn en welke onschuldig zijn. De EPC Score test dit door een spelletig te spelen: het vraagt: "Als we de aanwijzingen verwijderen die de AI belangrijk vindt, stopt de robot dan met werken? En als we de aanwijzingen verwijderen die de AI onbelangrijk vindt, werkt de robot dan gewoon door?" Als de uitleg eerlijk is, zou de robot crashen wanneer je de belangrijke aanwijzingen weghaalt en kalm blijven wanneer je de rommel verwijdert. De EPC Score meet hoe goed een uitleg deze test doorstaat, door er één enkel getal aan te geven dat de betrouwbaarheid ervan weergeeft.

De onderzoekers hebben hun nieuwe score niet alleen theoretisch bedacht; ze hebben hun nieuwe score getest in drie zeer verschillende werelden: getallen (zoals bankgegevens voor leningen), plaatjes (zoals het herkennen van cijfers of complexe afbeeldingen) en woorden (zo zoals het bepalen of een filmrecensie positief of negatief is). Ze lieten verschillende uitlegmethoden tegen elkaar strijden, van eenvoudige methoden die alleen naar de wiskunde kijken tot complexe methoden die proberen de geest van de robot te raden zonder erin te kunnen kijken.

Wat ze vonden, is een beetje als een race waarbij de zwaargewichten struikelden en de sprinters wonnen. De complexe, "model-agnostische" methoden (die proberen op elke robot te werken zonder de binnenkant te kennen) bleken ongelooflijk traag en gaven vaak slechte uitleg, vooral wanneer de gegevens ingewikkelder werden. Aan de andere kant bleek een methode genaamd Integrated Gradients (IG) consequent de winnaar te zijn. Het was snel, nauwkeurig en leverde de hoogste EPC-scores over de hele linie.

Maar de echte magie gebeurde toen ze deze scores controleerden tegenover de menselijke intuïtie. In de wereld van tekst vergeleken ze de "belangrijke woorden" van de AI met een woordenboek van menselijke gevoelens. Ze ontdekten dat de uitlegmethoden met de hoogste EPC-scores de woorden kozen die mensen ook als positief of negatief zouden bestempelen. In de wereld van afbeeldingen controleerden ze of de AI naar het juiste deel van een foto keek (zoals het gezicht van een hond) versus alleen de achtergrond. Opnieuw waren de hoog scorende uitlegmethoden de methoden die zich concentreerden op het eigenlijke object, en niet op de omgeving.

Een van de meest interessante ontdekkingen was hoe de manier waarop je informatie "wist" de resultaten verandert. Toen ze de uitleg van afbeeldingen testten, ontdekten ze dat het simpelweg zwart maken van pixels (zero-masking) vreemde, neppe randen creëerde die de AI misleidden. Het maakte sommige uitlegmethoden goed omdat ze deze neppe randen vermeden. Maar wanneer ze een "vervaging" gebruikten in plaats van pixels zwart te maken, veranderden de resultaten volledig. Plotseling waren de uitlegmethoden die naar elke kleine pixel keken (zoals Integrated Gradients) de duidelijke winnaars, terwijl de methoden die alleen naar grote, wazige vlekken keken, achterbleven. Dit suggereert dat je, om een ware lezing van een AI-geest te krijgen, voorzichtig moet zijn dat je geen valse aanwijzingen introduceert terwijl je het test.

Uiteindelijk suggereert het artikel dat de EPC Score een betrouwbare manier is om een goede uitleg van een slechte te onderscheiden. Het bewijst dat de beste uitleg niet alleen gaat over het benadrukken van een algemeen gebied; het gaat over het aanwijzen van de exacte, noodzakelijke bewijslast die de AI nodig heeft om zijn beslissing te nemen. Hoewel de auteurs niet beweren dat dit elk mysterie in de AI oplost, suggereren hun experimenten sterk dat als je een uitleg wilt die je kunt vertrouwen, je moet zoeken naar de methode die hoog scoort op de EPC-test, en die methode, Integrated Gradients, lijkt de huidige kampioen in deze race te zijn.

Technische Samenvatting: Een Mensgerichte Validatie van de Explainability-Performance Coëfficiënt

Probleemstelling
De snelle adoptie van Deep Learning (DL) in risicovolle domeinen heeft de behoefte aan betrouwbare Explainable Artificial Intelligence (XAI) geïntensiveerd. Het blijft echter een kritieke uitdaging om de getrouwheid (fidelity) van verklaringen objectief te evalueren. Bestaande evaluatiemetrieken vertrouwen vaak op proxy-maten zoals getrouwheid, stabiliteit of robuustheid, die slechts gedeeltelijke aspecten van de kwaliteit van een verklaring vastleggen. Cruciaal is dat veel huidige metrieken er niet expliciet rekening mee houden dat er een afweging bestaat tussen de spaarzaamheid (sparsity) van geselecteerde kenmerken en het behoud van de voorspellende prestaties van het model. Bovendien is er een gebrek aan consensus over de vraag of hoog scorende verklaringen overeenstemmen met menselijk begrip, met name over diverse datamodaliteiten (tabulair, tekst en beeld) en netwerkarchitecturen heen.

Methodologie
De auteurs stellen een model-agnostische metriek voor, de EPC-score, die dient als een scalaire samenvatting van de Explainability-Performance Coëfficiënt (EPC). De methodologie is geworteld in het uitgangspunt dat een betekenisvolle verklaring niet alleen relevante kenmerken moet benadrukken, maar ook het voorspellende vermogen van het model moet behouden wanneer men beperkt is tot die kenmerken.

Theoretisch Kader: De EPC kwantificeert de "prestatiekloof" tussen twee perturbatieregimes gebaseerd op een relevantievector $R_x$ gegenereerd door een explainer:
- Deletion Top-k: Het elimineren van de $k\%$ van de kenmerken die als meest relevant worden beschouwd. Een getrouwe verklaring zou moeten leiden tot een snelle daling van het modelvertrouwen.
- Deletion Bottom-k: Het elimineren van de $k\%$ van de kenmerken die als minst relevant worden beschouwd. Een robuuste verklaring moet het modelvertrouwen behouden, aangezien niet-essentiële kenmerken worden verwijderd.
  De EPC-curve plot deze prestatiekloof tegen het spaarzaamheidsniveau $k$ . De EPC-score wordt afgeleid door de oppervlakte tussen de geobserveerde EPC-curve en een optimale lineaire referentiegrens ( $f(k) = k/100$ ) te berekenen, genormaliseerd om een enkele scalaire waarde te produceren waarbij hogere scores duiden op een betere afstemming met de ideale afweging.
Experimentele Opzet: Het framework werd gevalideerd over drie datamodaliteiten:
- Tabulaire Data: Banklening wanbetalingsdataset (Kaggle).
- Beelddata: MNIST (cijferherkenning) en ImageNet (via een Imagenette-subset).
- Tekstdata: IMDB sentimentanalyse.
De studie evalueerde een diverse suite van lokale explainers, waaronder model-agnostische methoden (SHAP, LIME) en model-specifieke methoden (Gradient $\times$ Input, LRP, Integrated Gradients, Grad-CAM). Een kritiek onderdeel van de methodologie was het testen van verschillende nullificatiestrategieën ( $\Phi$ ). Voor beelddata vergeleken de auteurs standaard zero-masking met Gaussian blurring om out-of-distribution artefactën te mitigeren die visuele evaluaties zouden kunnen beïnvloeden.
Mensgerichte Validatie: Om de afstemming met menselijk begrip te beoordelen, werden de EPC-scores gecorreleerd met onafhankelijke, door mensen geannoteerde bronnen:
- Tekst: De AFINN-sentimentlexicon, waarbij de overeenstemming tussen woordrelevantie-rangschikkingen en menselijk gecureerde sentimentpolariteit wordt gemeten.
- Beeld: ImageNet Object Localization-annotaties (Regions of Interest), waarbij de ruimtelijke precisie van verklaringen tegen menselijke geïdentificeerde objectgrenzen wordt gemeten.

Belangrijkste Resultaten

Prestaties van de Metriek: De EPC-score slaagt er succesvol in om onderscheid te maken tussen hoogwaardige en oppervlakkige verklaringen. Over alle modaliteiten en architecturen (MLP's, CNN's, LSTM's) behaalde Integrated Gradients (IG) consistent de hoogste EPC-scores, waarmee het eenvoudigere gradiënt-gebaseerde methoden en model-agnostische benaderingen overtrof.
Computationele Haalbaarheid: Model-agnostische methoden (SHAP, LIME) vertoonden een prohibitieve computationele kost in hoog-dimensionale ruimtes (bijv. ImageNet), wat leidde tot hun uitsluiting van complexe benchmarks. Gradiënt-gebaseerde methoden waren aanzienlijk efficiënter.
Impact van de Nullificatiestrategie: In beeldclassificatie veranderde de keuze van de nullificatie-operator de resultaten aanzienlijk. Zero-masking bevoordeelde grofmazige methoden zoals Grad-CAM door de introductie van kunstmatige randen. Daarentegen elimineerde Gaussian blurring deze structurele bias, waardoor bleek dat pixel-niveau explainers (specifiek IG) een superieure getrouwheid bezitten, waarbij ze significant hogere EPC-scores behaalden dan grovere regionale methoden.
Menselijke Afstemming:
- Tekst: Explainers met hogere EPC-scores vertoonden een sterkere Pearson-correlatie met de AFINN-sentimentlexicon. IG behaalde de hoogste correlatie ( $\rho = 0.65$ ), wat bevestigt dat de metriek overeenkomt met menselijke lexicale sentimentoordelen.
- Beeld: Hogere EPC-scores correleerden met een superieure precisie bij het identificeren van menselijk geannoteerde Regions of Interest (ROI's) bij fijnmazige drempelwaarden (Top@1). De studie toonde aan dat hoewel objectlokalisatie (ROI) en verklaringgetrouwheid gerelateerd zijn, ze niet equivalent zijn; pixel-niveau methoden identificeerden het noodzakelijke bewijs binnen een ROI effectiever dan grovere methoden, die vaak dispensabele achtergrondcontext benadrukten.

Betekenis en Claims
Het artikel beweert dat de EPC-score een robuust, gestandaardiseerd en kwantitatief framework biedt voor het vergelijken van XAI-methoden over diverse architecturen en datatypen. De primaire betekenis ligt in de mensgerichte validatie: de auteurs demonstreren dat de EPC-score niet slechts een abstract wiskundig construct is, maar sterk correleert met onafhankelijke menselijke oordelen (lexicale sentiment en ruimtelijke annotaties).

Het werk benadrukt dat verklaringgetrouwheid inherent verbonden is aan datamodaliteit, netwerkarchitectuur en de operationele condities van de explainer (bijv. activatiefuncties en nullificatiestrategieën). Specifiek betogen de auteurs dat:

Integrated Gradients de meest robuuste explainer is over de geëvalueerde benchmarks heen.
Evaluatiebias: Visuele getrouwheids-evaluaties zijn zeer gevoelig voor perturbatiestrategieën; Gaussian blurring is noodzakelijk om pixel-niveau methoden eerlijk te evalueren.
Complementaire Dimensies: Objectlokalisatie (waar het bewijs is) en verklaringgetrouwheid (welke delen van het bewijs noodzakelijk zijn) zijn complementaire, niet equivalente dimensies van verklaarbaarheid. De EPC-score legt de laatste effectief vast, door validatie uit te breiden voorbij eenvoudige objectlokalisatie naar de noodzaak van specifieke kenmerken voor modelvoorspelling.

De auteurs concluderen dat de EPC-score dient als een betrouwbaar diagnostisch instrument voor het identificeren van getrouwe verklaringen, hoewel zij opmerken dat toekomstig werk generatieve inpainting-technieken voor nullificatie moet verkennen en de metriek moet uitbreiden naar Large Language Models (LLM's) en Vision-Language Transformers.

Meer zoals dit