🤖 machine learning

Learning Quantifiable Visual Explanations Without Ground-Truth

Dit artikel introduceert een grondwahrheidsvrije, kwantificeerbare metriek voor het evalueren van XAI-methoden op basis van inputperturbatie en noodzaak/voldoende, die vervolgens wordt gebruikt om een nieuwe adaptermodule te trainen die superieure causale verklaringen genereert voor black-box-modellen zonder hun prestaties te compromitteren.

Oorspronkelijke auteurs: Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar stille kok hebt (een deep learning-model) die elke keer een perfecte maaltijd kan bereiden (een voorspelling kan maken). Je vraagt: "Waarom heb je zout aan deze soep toegevoegd?" De kok wijst alleen naar de hele pot en zegt: "Vanwege de ingrediënten." Dat is niet erg behulpzaam. Je wilt precies weten welke snufjes zout er echt toe deden.

In de wereld van Kunstmatige Intelligentie is dit het probleem van Explainable AI (XAI). We moeten weten welke delen van een afbeelding (zoals een pixel van een kattenoor) de computer daadwerkelijk hebben laten besluiten: "Ja, dat is een kat."

Het probleem is dat we geen "antwoordenlijst" (ground truth) hebben om te controleren of de uitleg van de kok juist is. We kunnen de computer niet vragen: "Wat heeft je echt doen denken dat?" omdat de computer niet weet hoe het zichzelf in menselijke termen kan uitleggen.

Dit paper introduceert twee hoofdzaken om dit op te lossen: een nieuwe liniaal om uitleg te meten en een nieuw gereedschap om betere uitleg te creëren.

1. De Nieuwe Liniaal: MSI (Minimality-Sufficiency Integration)

Stel je voor dat je probeert aan een vriend uit te leggen waarom je een specifieke film hebt gekozen.

De Oude Manier (Bestaande Metrieken): Je zou kunnen zeggen: "Ik koos het vanwege de acteurs, de regisseur, de muziek, de belichting, de popcorn en het weer buiten." Dit is technisch waar (alle die dingen hebben invloed op je gehad), maar het is te veel informatie. Het is alsof je de hele pagina van een boek markeert om te laten zien waar het verhaal plaatsvindt.
Het Probleem: Huidige "linialen" voor AI-uitleg geven vaak hoge scores aan deze lange, rommelige uitleg. Ze geven niet om of je irrelevante details (zoals het weer) hebt opgenomen.
De Nieuwe Liniaal (MSI): De auteurs hebben een nieuwe metriek ontwikkeld genaamd MSI. Het beoordeelt een uitleg op basis van twee regels:
1. Voldoendheid: Als ik je alleen de belangrijke delen geef (de acteurs en het plot), kun je de film dan nog steeds raden? (Ja, dat is "voldoende").
2. Minimaliteit: Heb je alleen de belangrijke delen opgenomen, of heb je ook het weer en de popcorn erbij gesleept? (Je moet "minimaal" zijn).

De Analogie: Denk aan een schijnwerper op een podium.

Een slechte uitleg schijnt het licht op de hele theaterzaal, inclusief het publiek en de uitgangsborden. Het is "voldoende" (je kunt de acteur zien), maar het is niet "minimaal".
Een goede uitleg schijnt een strakke, heldere bundel alleen op het gezicht van de acteur. Het is zowel voldoende (je ziet de acteur) als minimaal (geen verspillend licht).

Het paper beweert dat MSI beter in staat is om het verschil te zien tussen een strakke schijnwerper en een rommelige vloedlicht dan de oude linialen. Het beloont uitleg die "precies goed" is – niet te groot, niet te klein.

2. Het Nieuwe Gereedschap: LAX (Learnable Adapter eXplanation)

Nu we een betere liniaal hebben, hoe leren we de AI dan om betere antwoorden te geven?

Meestal, om een AI te leren zichzelf uit te leggen, heb je een leraar nodig met een antwoordenlijst (bijvoorbeeld een mens die een cirkel om de kat tekent). Maar die antwoordenlijsten hebben we niet.

De Oplossing: De auteurs bouwden een "plug-in" module genaamd LAX.

Hoe het werkt: Stel je voor dat de AI een zwarte doos is. LAX is een klein, slim adaptertje dat je aan de buitenkant van de doos klikt.
De Training: In plaats van een menselijke leraar te vragen, speelt LAX een spelletje "Wat als?":
1. Het kijkt naar een afbeelding en tekent een "schijnwerper" (een masker) op de delen die het belangrijk vindt.
2. Het bedekt de rest van de afbeelding.
3. Het vraagt de zwarte doos: "Als ik je alleen de delen onder mijn schijnwerper laat zien, kun je dan nog steeds het antwoord correct raden?"
4. Als de zwarte doos "Ja" zegt, krijgt LAX een punt voor Voldoendheid.
5. Als LAX de schijnwerper te groot heeft gemaakt (te veel bedekkend), krijgt het een straf voor Minimaliteit.
6. LAX blijft zijn schijnwerper aanpassen totdat het het kleinste, meest precieze gebied heeft gevonden dat de zwarte doos nog steeds het juiste antwoord laat geven.

Het Resultaat: Het paper toont aan dat dit LAX-gereedschap, getraind met hun nieuwe MSI-liniaal, "schijnwerpers" creëert die veel scherper en accurater zijn dan andere populaire methoden (zoals Grad-CAM). Het slaagt erin de "naald in de hooiberg" te vinden zonder ooit een mens nodig te hebben om te laten zien waar de naald zit.

Samenvatting van Beweringen

Het Probleem: We kunnen niet meten of AI-uitleg goed is omdat we geen "correcte" voorbeelden hebben om ze mee te vergelijken.
De Metriek (MSI): Een nieuwe manier om uitleg te scoren die ze beloont voor precisie (minimaal) en effectiviteit (voldoende), in plaats van alleen maar veel grond te bestrijken.
De Methode (LAX): Een nieuwe trainingsmethode die een AI leert deze precieze uitleg te genereren door een zelfcontrole-spel te spelen, zonder dat er menselijk gelabelde data nodig is.
De Uitkomst: Wanneer getest op afbeeldingen van cijfers, vogels en alledaagse objecten, produceerde de LAX-methode uitleg die hoger scoorde op de nieuwe MSI-metriek en er meer "menselijk intuïtief" uitzag (gericht op de juiste kenmerken) dan bestaande methoden.

Het paper concludeert dat we door deze nieuwe liniaal en dit nieuwe trainingsgereedschap te gebruiken, AI-systemen kunnen laten zichzelf duidelijker en betrouwbaarder uitleggen, zelfs wanneer we geen antwoordenlijst uit een leerboek hebben om ze te verifiëren.

Technische Samenvatting: Leren van Kwantificeerbare Visuele Verklaringen Zonder Ground-Truth

1. Probleemstelling

Explainable AI (XAI) is cruciaal voor het valideren en waarborgen van het verantwoord gebruik van deep learning-modellen, met name in hoog-risicodomeinen die transparantie vereisen. Het evalueren van de kwaliteit van visuele verklaringen (bijvoorbeeld salientiekarten) blijft echter een aanzienlijke uitdaging. Het vakgebied mist een gestandaardiseerde metriek vanwege:

Gebrek aan Ground-Truth: De meeste datasets bevatten geen annotaties op pixelniveau voor wat een "correcte" verklaring uitmaakt.
Beperkingen van Bestaande Metrieken: Huidige op perturbatie gebaseerde metrieken (bijvoorbeeld Insertion, Deletion, MoRF) sluiten vaak niet aan bij menselijke intuïtie. Ze kunnen hoge scores toekennen aan verklaringen die grote, irrelevante gebieden bestrijken, of ze kunnen onderscheid maken tussen meerdere plausibele attributieroutes. Ze straffen vaak compactheid af of worstelen wanneer er meerdere geldige verklaringen bestaan voor een enkele voorspelling.

2. Methodologie

Het artikel stelt een tweeledige bijdrage voor: een nieuwe evaluatiemetriek en een nieuwe methode voor het genereren van verklaringen die is geoptimaliseerd voor die metriek.

A. De Minimality-Sufficiency Integration (MSI) Metriek
De auteurs introduceren MSI, een op perturbatie gebaseerde metriek die is ontworpen om verklaringen te evalueren op basis van twee principes die zijn afgeleid van het Information Bottleneck-kader:

Voldoendheid (Sufficiency): De verklaring moet voldoende informatie bevatten zodat het model een correcte voorspelling kan doen.
Minimaliteit: De verklaring moet zo compact mogelijk zijn en irrelevante gebieden vermijden.

MSI wordt berekend als de som van een Basiscore en een Maskerstraf:

Basiscore: Meet het discriminerend vermogen van de verklaring. Het vergelijkt de voorspellingnauwkeurigheid van het model wanneer alleen "relevante" pixels (boven een drempel $\alpha_{min}$ ) worden behouden versus wanneer alleen "niet-relevante" pixels worden behouden. Het omvat ook het Area Under the Curve (AUC) van perturbatieprestaties (zowel invoeging als verwijdering), afgekapt bij $\alpha_{min}$ .
Maskerstraf: Een term die de proportie pixels straft die als "belangrijk" worden beschouwd (boven $\alpha_{min}$ ). Dit dwingt zuinigheid af en beloont verklaringen die voldoendeheid bereiken met minder pixels.
Eindscore: $MSI = \text{Basiscore} - \text{Maskerstraf}$ .

Deze metriek is ontworpen om gevallen te hanteren waarin meerdere geldige verklaringen bestaan (bijvoorbeeld een afbeelding met meerdere distincte objecten die een klassenvoorspelling kunnen triggeren) door het scheiden van relevante en niet-relevante gebieden te belonen, zonder aan te nemen dat er één unieke ground-truth masker bestaat.

B. Het Learnable Adapter eXplanation (LAX) Kader
Om de MSI-metriek te benutten, stellen de auteurs LAX voor, een zelftoezichtmethode om verklaringen te genereren zonder ground-truth-annotaties.

Architectuur: LAX fungeert als een lichtgewicht adaptermodule die wordt getraind bovenop een bevroren, vooraf getraind black-box model (architectuur-onafhankelijk). Het neemt feature-representaties van de backbone en geeft een pixelgewijze belangrijkheidswarmtekaart uit.
Optimalisatiedoel: De trainingsverliesfunctie is afgeleid van het Information Bottleneck-principe, geapproximeerd om hanteerbaar te zijn:
- Minimaliteit ( $I(X, T)$ ): Afgedwongen via een op entropie gebaseerde regularisatieterm op het masker. In tegenstelling tot standaard $\ell_1$ -regularisatie, produceert entropie-regularisatie scherpere, semantisch betekenisvollere maskers die zich concentreren op kritieke gebieden.
- Voldoendheid ( $I(T, y)$ ): Afgedwongen door het maximaliseren van de wederzijdse informatie tussen het gemaskeerde invoer $T$ en het label $y$ . Dit wordt geapproximeerd door het minimaliseren van de cross-entropy-verlies tussen de voorspelling van het model op het gemaskeerde beeld en het ground-truth label.
Eindverlies: $L_{LAX} = L_{CE}(y, \hat{y}) + \lambda L_{entropy}(M)$ .

De module wordt getraind om een masker te genereren dat, wanneer toegepast op de invoer, het bevroren model in staat stelt een hoge voorspellingnauwkeurigheid te behouden terwijl het masker zo spaarzaam mogelijk blijft.

3. Belangrijkste Bijdragen

MSI-metriek: Een nieuwe, kwantificeerbare metriek voor XAI die voldoendeheid en minimaliteit in evenwicht brengt, en het onvermogen van bestaande metrieken aanpakt om onderscheid te maken tussen compacte en diffuse verklaringen of om meerdere geldige attributieroutes te hanteren.
LAX-kader: Een model-onafhankelijke, zelftoezicht verklaringgenerator die leert om compacte, causale verklaringen te produceren door direct te optimaliseren voor het MSI-doel (via zijn entropie- en fideliteitscomponenten) zonder dat ground-truth salientiekarten nodig zijn.
Empirische Validatie: Demonstratie dat LAX-gegenereerde verklaringen state-of-the-art baselines (Grad-CAM, Layer-CAM, Attention Rollout, enz.) overtreffen op meerdere datasets (Synthetic MNIST, CUB-200, CIFAR-10) en architecturen (CNN's, Vision Transformers).

4. Resultaten

Experimenten werden uitgevoerd op drie datasets met variërende complexiteit:

Synthetic MNIST: LAX presteerde aanzienlijk beter dan alle baselines op alle metrieken, inclusief MSI, en toonde sterke minimaliteit en voldoendeheid in situaties met weinig ambiguïteit.
CUB-200 (Vogels): Hoewel standaardmetrieken (Insertion/Deletion) vaak inconclusief waren of vergelijkbare prestaties toonden tussen LAX en Grad-CAM, behaalde LAX de hoogste MSI-score, wat wijst op een meer discriminerende focus.
CIFAR-10: LAX leidde op op invoeging gebaseerde metrieken. In scenario's waar meerdere informatieve gebieden bestaan (wat leidde tot gemengde resultaten in verwijderingsmetrieken voor baselines), slaagde MSI erin LAX hoog te beoordelen, terwijl traditionele metrieken moeite hadden om kwaliteit te differentiëren.
Vision Transformers (ViT): LAX behaalde superieure prestaties op ViT-modellen in vergelijking met Attention Rollout en Grad-CAM, met name in MSI-scores, wat de toepasbaarheid van de methode buiten CNN's bevestigt.

Kwalitatieve analyse toonde aan dat LAX scherpere, meer gefocuste warmtekaarten produceert in vergelijking met de vaak diffuse of ruisige salientiekarten van concurrerende methoden.

5. Betekenis en Aanspraken

Het artikel beweert dat het gebrek aan een gestandaardiseerde evaluatiemetriek de vooruitgang van XAI heeft belemmerd. Door MSI in te voeren, bieden de auteurs een hulpmiddel dat beter aansluit bij menselijke intuïties over de kwaliteit van verklaringen door verklaringen te belonen die zowel voldoende zijn voor de beslissing als minimaal in omvang.

De betekenis van LAX ligt in het vermogen om hoogwaardige verklaringen te genereren voor elk vooraf getraind black-box model zonder de noodzaak van ground-truth-annotaties of het opnieuw trainen van het basismodel. De auteurs positioneren dit als een stap naar betrouwbaardere en verantwoorde AI-systemen, waarbij verklaringen kwantitatief kunnen worden gevalideerd en geoptimaliseerd. Het werk suggereert dat toekomstige inspanningen in XAI zich moeten richten op metrieken die rekening houden met de afweging tussen informatieve volledigheid en zuinigheid, en dat optimalisatie-gebaseerde benaderingen effectief kunnen leren om aan deze criteria te voldoen.