🤖 AI

A Formal Methodological Framework for Auditing Robustness and Fidelity in Explainable AI: From Application to Trust Certification

Dit artikel stelt een formeel auditingsframework voor dat de robuustheid en getrouwheid van uitlegbare AI-methoden kwantificeert om een Trust Score te genereren, waarbij door middel van een casestudy over ondervoeding in Madagaskar wordt aangetoond dat hoogpresterende modellen oninformatieve verklaringen kunnen opleveren en dat dergelijke auditing essentieel is voor betrouwbare besluitvorming in gevoelige domeinen.

Oorspronkelijke auteurs: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne wereld is kunstmatige intelligentie een krachtig hulpmiddel geworden om complexe gegevens te begrijpen, van het voorspellen van weerpatronen tot het diagnosticeren van ziekten. Veel van de meest krachtige systemen werken echter als "black boxes", wat betekent dat ze een resultaat kunnen produceren zonder te onthullen welke stappen ze hebben genomen om daar te komen. Om deze kloof te overbruggen, hebben wetenschappers tools ontwikkeld die fungeren als vertalers, die aanwijzen op welke stukjes informatie een computermodel vertrouwde om zijn beslissing te nemen. Deze tools zijn bedoeld om vertrouwen te kweken, waardoor menselijke experts de logica van de machine kunnen begrijpen en verifiëren. Toch blijft een kritische vraag bestaan: als de redenering van de computer drastisch verandert wanneer de invoergegevens door een minimale aanpassing worden gewijzigd, kunnen we die uitleg dan echt vertrouwen? Deze onzekerheid is de centrale uitdaging die een nieuwe studie aanpakt, die zich richt op hoe de betrouwbaarheid van deze AI-uitleg te verifiëren.

Onderzoekers van de Universiteit van Fianarantsoa in Madagaskar zetten zich in om dit probleem op te lossen door een formele methode te ontwikkelen om deze uitleg te auditeren. Ze richtten zich op twee specifieke kwaliteiten: stabiliteit en trouw (faithfulness). Stabiliteit vraagt of de uitleg consistent blijft wanneer de gegevens licht worden verstoord, vergelijkbaar met controleren of een kompas nog steeds naar het noorden wijst wanneer de grond eronder trilt. Trouw vraagt of de kenmerken die de uitleg benadrukt, ook daadwerkelijk de factoren zijn die de beslissing van het model drijven, om te garanderen dat het hulpmiddel niet simpelweg redenen verzint die plausibel klinken maar feitelijk onjuist zijn. Door metingen van deze twee kwaliteiten te combineren in één enkele score, creëerde het team een manier om te beoordelen hoeveel vertrouwen een gebruiker in een specifieke AI-uitleg moet stellen.

Om dit nieuwe auditsysteem te testen, pasten de onderzoekers het toe op een real-world dataset met betrekking tot voedselzekerheid in Madagaskar. De gegevens besloegen drieentwintig regio's over dertien jaar en volgden drieëntachtig verschillende factoren, zoals neerslag, rijstproductie, marktprijzen en kindergezondheidspercentages. Het doel was om de ernst van ondervoeding in deze regio's te voorspellen, die werd gecategoriseerd in vier niveaus variërend van acceptabel tot kritiek. Het team trainde drie verschillende soorten computermodellen op deze gegevens en gebruikte vervolgens twee populaire uitlegtools om te zien hoe goed ze de voorspellingen van de modellen konden verklaren. Ze voerden hun audit uit op een specifieke set testgevallen om te zien of de uitleg standhield onder kritische inspectie.

De resultaten onthulden een sober realiteit: een model dat extreem accuraat is in het doen van voorspellingen, is niet noodzakelijkerwijs betrouwbaar als het gaat om het verklaren van die voorspellingen. Sommige van de modellen behaalden bijna perfecte scores in het voorspellen van de malnutriatie-klassen, terwijl de uitleg die zij produceerden ofwel numeriek defect was, ofwel volkomen informatiefloos. In één opvallend geval, waarbij een model zeer zelfverzekerd was in zijn antwoorden, zorgde dit ervoor dat een van de uitlegtools een lijst met nulwaarden voor elke factor outputte, wat effectief zei dat niets ertoe deed omdat het antwoord al overduidelijk was. Toen de onderzoekers probeerden te meten hoe stabiel deze uitleg was, werden de cijfers onmogelijk te berekenen zonder een kleine wiskundige correctie, wat een fundamentele fout benadrukte in de interactie tussen de uitlegtool en het overmoedige model.

De studie vond ook dat de kwaliteit van een uitleg sterk afhangt van hoe het model is gebouwd. Wanneer de onderzoekers de modellen aanpasten om minder geneigd te zijn specifieke datapunten te memoriseren — een proces dat bekend staat als regularisatie — werden de uitleg veel betrouwbaarder. Zo begon een type model dat aanvankelijk vlakke, oninformatieve uitleg produceerde, een duidelijk patroon te tonen waarbij het verwijderen van de belangrijkste factoren de voorspelling daadwerkelijk significant veranderde. Deze verschuiving demonstreerde dat de uitleg eindelijk de werkelijke innerlijke werking van het model reflecteerde, in plaats van alleen maar de zelfverzekerdheid te echolalen. De onderzoekers observeerden dat de uitlegtool gebaseerd op boomstructuurmodellen (tree-based models) over het algemeen stabieler was dan de andere, maar beide tools hadden moeite wanneer het onderliggende model te zelfverzekerd was in zijn eigen antwoorden.

Uiteindelijk suggereert het onderzoek dat een hoge nauwkeurigheid in een machine learning-model geen garantie biedt dat de redenering deugt of begrijpelijk is. Het team heeft aangetoond dat zonder een specifieke controle op stabiliteit en trouw, gebruikers geconfronteerd kunnen worden met uitleg die overtuigend lijkt, maar in werkelijkheid fragiel of misleidend is. Door een enkele score te introduceren die deze controles combineert, boden zij een praktische manier voor besluitvormers om te weten wanneer een AI-uitleg veilig te gebruiken is en wanneer deze genegeerd moet worden. Dit is bijzonder cruciaal in gevoelige gebieden zoals voedselzekerheid, waar beleid en hulp worden verdeeld op basis van deze voorspellingen. De studie concludeert dat het auditeren van deze uitleg geen optionele extra stap is, maar een noodzakelijke vereiste om te waarborgen dat de kunstmatige intelligentie die kritieke menselijke beslissingen stuurt, werkelijk betrouwbaar is.

Technisch overzicht: Een formeel methodologisch kader voor het auditeren van robuustheid en getrouwheid in Explainable AI

1. Probleemstelling

Het artikel adresseert een kritieke kloof in de inzet van Explainable AI (XAI) binnen gevoelige domeinen, specifiek voedselzekerheid in Madagascar. Hoewel post-hoc explainers zoals SHAP en LIME de standaard zijn voor het interpreteren van black-box voorspellingen, zijn hun outputs vaak onbetrouwbaar. De auteurs observeerden dat kleine perturbaties in inputdata kunnen leiden tot substantiële variaties in de verklarende outputs, en dat er geen inherent mechanisme is om te verifiëren of de geaccentueerde kenmerken daadwerkelijk de voorspellingen van het model aansturen. Deze "illusie van transparantie" vormt een risico wanneer beleidsmakers deze verklaringen gebruiken voor besluitvorming. Het kernprobleem is het gebrek aan een verenigd, kwantitatief protocol om zowel de stabiliteit (robuustheid) als de getrouwheid (fidelity) van XAI-outputs simultaan te auditeren.

2. Methodologisch Kader

De auteurs stellen een formeel audit-pipeline voor die twee onderscheidende eigenschappen van elke post-hoc explainer kwantificeert en deze synthetiseert in één enkele Trust Score.

2.1 Robuustheid (Lokale Stabiliteit)

Robuustheid meet de stabiliteit van een verklaring onder input-perturbatie.

Mechanisme: Voor een gegeven input $x$ trekt de auditor $N$ ruisvectoren $\delta$ uit een Gaussische distributie $N(0, \sigma^2 I)$ .
Berekening: Het berekent de verklarende vectoren $E(x)$ en $E(x+\delta)$ , normaliseert deze zodat ze samen 1 optellen, en meet hun divergentie met behulp van de Jensen-Shannon Divergentie (JSD).
Metriek: $R(x) = 1 - \frac{1}{N} \sum D_{JS}(\tilde{E}(x) \parallel \tilde{E}(x+\delta_i))$ .
Afhandeling van randgevallen: Een specifiek numeriek probleem wordt aangepakt waarbij TreeSHAP op overfitte modellen mogelijk een nul-belang toekent aan alle kenmerken, waardoor JSD ongedefinieerd wordt. De auteurs lossen dit op door een kleine epsilon ( $\epsilon = 10^{-10}$ ) toe te voegen aan elke component vóór normalisatie.

2.2 Getrouwheid (Fidelity/Faithfulness)

Getrouwheid beoordeelt of de kenmerken die door de explainer als belangrijk worden beschouwd, daadwerkelijk de voorspelling van het model beïnvloeden.

Mechanisme: De methode maakt gebruik van feature-ablatie. De top- $k$ kenmerken die door de explainer zijn geïdentificeerd, worden gemaskeerd (vervangen door de gemiddelden van de kenmerken) om een geperturbeerde input $x \setminus F_k$ te creëren.
Berekening: De verandering in de modelvoorspelling $f(x)$ wordt gemeten ten opzichte van de oorspronkelijke voorspelling.
Metriek: $F_k(x) = 1 - \frac{|f(x) - f(x \setminus F_k)|}{|f(x)| + \epsilon}$ . De totale getrouwheid $F(x)$ is het gemiddelde over een set van ablatieniveaus $K$ .
Interpretatie: Een hoge getrouwheidsscore geeft aan dat het verwijderen van de belangrijkste kenmerken de voorspelling aanzienlijk verandert, wat de relevantie van de explainer bevestigt.

2.3 Trust Score

Het kader combineert deze metrieken in een gewogen som:
$T(x) = \alpha R(x) + \beta F(x)$
waarbij $\alpha + \beta = 1$ . Standaard is $\alpha = \beta = 0,5$ , wat gelijke wegting geeft aan stabiliteit en getrouwheid, hoewel de auteurs opmerken dat deze gewichten kunnen worden aangepast op basis van domeineisen (bijv. het prioriteren van stabiliteit voor niet-technische belanghebbenden).

3. Experimentele Opzet en Casestudy

Het kader werd gevalideerd op een multisectorale dataset met betrekking tot voedselzekerheid in Madagascar.

Data: 253 records over 23 regio's gedurende 13 jaar (2010–2023), bestaande uit 83 variabelen (klimaat, landbouw, socio-economie, voeding, demografie). De doelvariabele heeft 4 ordinale klassen (Acceptabel, Precariteit, Alarmerend, Kritiek), met een ernstige klassenimbalans (slechts 3 instanties in de klasse "Acceptabel").
Modellen: Drie classificatiesystemen werden getest: Random Forest (RF), XGBoost en een Neuraal Netwerk (NN). Reguliere varianten van elk werden eveneens getraind om de impact van overfitting te beoordelen.
Verklaarbaarheid: SHAP (TreeSHAP voor bomen, KernelSHAP voor NN) en LIME werden gebruikt.
Protocol: De audit werd uitgevoerd op 30 testinstanties met 10 perturbatieproeven ( $\sigma=0,1$ ) en ablatieniveaus $K = \{3, 5, 10, 41, 82\}$ .

4. Belangrijkste Resultaten

De experimenten leverden confronterende bevindingen op over de relatie tussen voorspellende prestaties en de kwaliteit van de verklaringen:

Hoge AUC $\neq$ Betrouwbare Verklaringen: Modellen behaalden macro-gemiddelde AUC-scores boven de 0,99. Echter, deze hoge voorspellende prestatie garandeerde geen stabiele of informatieve verklaringen.
Numerieke Degeneratie: In het XGBoost-model produceerde TreeSHAP nul-waardige belangvectoren voor sommige instanties vanwege bijna-zekere voorspellingen, wat de JSD-berekening deed falen zonder de voorgestelde $\epsilon$ -smoothing fix.
Fidelity-instorting in Overfitte Modellen: Het XGBoost-model vertoonde "platte" fidelity-scores (ongeveer 0,620) over alle ablatieniveaus voor zowel SHAP als LIME. Omdat het model zo zelfverzekerd was (voorspellingen nabij 0 of 1), veranderde het verwijderen van kenmerken de output met een constante hoeveelheid, ongeacht welke kenmerken werden verwijderd. Dit maakte de fidelity-metriek oninformatief en niet in staat om tussen goede en slechte verklaringen te onderscheiden.
Impact van Regularisatie: Reguliere modellen verbeterden over het algemeen de Trust Scores.
- RF en XGBoost: Regularisatie verbeterde de robuustheid licht en verbeterde de fidelity marginaal, hoewel de fidelity-curves van XGBoost relatief vlak bleven.
- Neuraal Netwerk: Het geregulariseerde NN (NNreg) vertoonde de meest significante herstel van discriminerend vermogen. De LIME-fidelity daalde van 0,977 (top 3 kenmerken) naar 0,802 (top 82 kenmerken), wat aangeeft dat de explainer de hiërarchie van kenmerkbelang correct identificeerde.
Robuustheidsvergelijking: SHAP presteerde consequent beter dan LIME wat betreft robuustheid op boomgebaseerde modellen (bijv. XGBoost: 0,978 vs. 0,658), toegeschreven aan het exacte computationele pad van TreeSHAP versus de sampling-variabiliteit van LIME.

5. Betekenis en Claims

Het artikel claimt dat het auditeren van XAI-outputs niet optioneel maar noodzakelijk is, vooral in gevoelige domeinen zoals voedselzekerheid. De primaire bijdragen zijn:

Verenigd Protocol: Het kader biedt een enkele pipeline om robuustheid en getrouwheid zij aan zij te meten, wat resulteert in een vergelijkbare Trust Score over verschillende model-explainer paren.
Detectie van "Oninformatieve" Verklaringen: De studie demonstreert dat het kader kan detecteren wanneer verklaringen numeriek degeneratief of vacuüm worden door model-overconfidence of overfitting. Specifiek benadrukt het dat een model met een bijna perfecte AUC verklaringen kan produceren die ofwel instabiel ofwel volledig oninformatief zijn.
De Noodzaak van Kalibratie: De resultaten suggereren dat voordat men XAI-outputs kan vertrouwen, de onderliggende modellen goed gekalibreerd en niet ernstig overfit moeten zijn. Als een model overconfident is, verliezen fidelity-metrieken hun discriminerende kracht.
Praktische Trade-offs: De Trust Score maakt de afweging tussen stabiliteit en getrouwheid expliciet, waardoor domeinexperts de gewichten ( $\alpha, \beta$ ) kunnen aanpassen op basis van of zij prioriteit geven aan consistente verklaringen voor communicatie of strikte naleving van de modellogica voor regelgevende compliance.

De auteurs concluderen dat hoewel het kader informatief is voor goed gekalibreerde modellen, de toepassing ervan op overfitte modellen voorzichtigheid vereist, en dat toekomstig werk zich moet richten op domeinspecifieke perturbatiestrategieën en temporele datastructuren.