Evaluation Cards for XAI Metrics

Technische Samenvatting: Evaluatiekaarten voor XAI-metrics

Probleemstelling
Het veld van de evaluatie van Explainable AI (XAI) is momenteel gefragmenteerd en mist standaardisatie. Ondanks een groeiende hoeveelheid literatuur die probeert XAI-evaluatiemetrics te systematiseren, blijven drie hoofdzaken bestaan:

1. Terminologische inconsistentie: Identieke metrische namen worden gebruikt voor verschillende operationele definities, terwijl dezelfde onderliggende eigenschappen verschillend worden gelabeld door onderzoeksgroepen.
2. Contextuele weglating: Metrics worden frequent geïntroduceerd zonder de specifieke eigenschappen aan te geven die ze targeten, het grondingsniveau (functioneel-, mens- of applicatie-gegrond) of de evaluatiecontext (modelarchitectuur, datamodaliteit). Dit leidt tot gerapporteerde resultaten zonder de nodige informatie voor reproduceerbaarheid of zinvolle vergelijking.
3. Validatie- en implementatiekloven: Veel voorgestelde metrics blijven theoretische definities zonder begeleidende code. Bovendien wordt validatiebewijs (zoals sensitiviteits- of stabiliteitsanalyse) zelden verstrekt, en worden risico's van "gaming" van de metric (het behalen van hoge scores zonder verbetering van de doel-eigenschap) zelden erkend.

Deze kwesties resulteren in een veld waar evaluatiepraktijken verschuiven naar functioneel-gegronde proxy-taken, terwijl mens-gegronde en applicatie-gegronde methoden ondervertegenwoordigd blijven. Het gebrek aan gestructureerde rapportage verhindert meta-analyse en vertroebelt de validiteit van claims over de kwaliteit van uitleg.

Methodologie
Dit artikel hanteert een meta-reviewbenadering, waarbij elf surveys over XAI-evaluatiemetrics die tussen 2021 en 2025 zijn gepubliceerd, worden geanalyseerd. De auteurs synthetiseren terugkerende gaten die in deze surveys zijn geïdentificeerd om de huidige staat van het veld te karakteriseren. In plaats van een nieuwe evaluatiemetric of een nieuwe taxonomie voor te stellen, stellen de auteurs een documentatiekader voor.

De kernmethodologie is het ontwerp van de XAI-evaluatiekaart, een gestructureerd documentatiesjabloon analoog aan Model Cards en Datasheets for Datasets. De kaart is ontworpen om elk onderzoek te begeleiden dat een nieuwe XAI-evaluatiemetric introduceert, en dwingt auteurs om kritieke informatie expliciet aan te geven die momenteel vaak wordt weggelaten.

Belangrijkste bijdragen
De primaire bijdrage is de XAI-evaluatiekaart, een sjabloon met vier secties dat is ontworpen om de rapportage van XAI-evaluatiemetrics te standaardiseren:

1. Identiteit: Vereist de naam van de metric, een lijst van alle uitlegbaarheidseigenschappen die het operationaliseert (met verwijzingen naar definities), en een verklaring van het grondingsniveau (functioneel-gegrond, mens-gegrond of applicatie-gegrond).
2. Scope en Context: Verplicht een beschrijving van de evaluatiecontext (modelarchitectuur, datamodaliteit, lokale versus globale scope) en een expliciete opsomming van alle aannames van de metric (bijv. feature-onafhankelijkheid, lineariteit, beschikbaarheid van baselines).
3. Implementatie en Validatie: Vereist dat auteurs de beschikbaarheid van implementatie aangeven (met links), validatiebewijs samenvatten (sensitiviteit, stabiliteit, correlatie), risico's van gaming beschrijven en bekende faalgevallen documenteren.
4. Relaties en Beperkingen: Vraagt auteurs om relaties met andere metrics die dezelfde eigenschap targeten op te sommen, overeenkomsten of onenigheden te noteren, prioriteiten te stellen voor eigenschappen in specifieke deploy-scenario's bij conflicten, en beperkingen en contexten waarin de metric niet mag worden gebruikt expliciet aan te geven.

Het artikel schetst ook een strategie voor adoptie, met suggesties voor integratie met bestaande reproduceerbaarheidchecklists op belangrijke venues, het gebruik van lichtgewicht sjablonen (Markdown, LaTeX, JSON) en LLM-ondersteunde opmaak om de kosten van het schrijven te verlagen.

Resultaten
Als voorstelartikel presenteert dit werk geen experimentele resultaten of empirische validatie van een nieuwe metric. In plaats daarvan zijn de "resultaten" de identificatie van specifieke, terugkerende faalmodi in de literatuur die de Evaluatiekaart is ontworpen aan te pakken:

• De vermenging van eigenschappen en metrics.
• Het rapporteren van metricscores in isolatie zonder context.
• Het ontbreken van sensitiviteits- en stabiliteitsanalyse in oorspronkelijke voorstellen.
• De inconsistentie in het rapporteren van implementatiebeschikbaarheid.
• Het falen om onenigheid over metrics of risico's van gaming te erkennen.

Het artikel betoogt dat het sjabloon oplossingen voor deze vijf geïdentificeerde problemen direct operationaliseert.

Betekenis en Claims
Het artikel beweert dat de XAI-evaluatiekaart een centraal, onderbelicht probleem aanpakt: het gebrek aan transparantie in evaluatierapportage. Door dit sjabloon als een gemeenschapsnorm te adopteren, betogen de auteurs dat het veld het volgende kan bereiken:

• Verminderde fragmentatie: Standaardisatie van documentatie om metrics vergelijkbaar te maken.
• Verbeterde verantwoordingsplicht: Het expliciet maken van de aannames, beperkingen en validiteitsvoorwaarden van evaluatieclaims.
• Versterkte meta-analyse: Het creëren van gestructureerde, machineleesbare records die aggregatie en vergelijking van evaluatieresultaten over studies heen mogelijk maken.
• Contextuele validiteit: Zorgen dat metricwaarden nooit in isolatie worden gerapporteerd, maar altijd vergezeld gaan van de context die nodig is voor interpretatie.

De auteurs benadrukken dat de kaart niet-prescriptief is; deze schrijft geen specifieke metrics of grondingsniveaus voor, maar vereist wel de expliciete verklaring van welke keuzes de auteurs ook maar hebben gemaakt. Het ultieme doel is om evaluatienormen te verschuiven naar grotere rigoreusheid en reproduceerbaarheid zonder een enkel evaluatieparadigma op te leggen.