Why Does It Look There? Structured Explanations for Image Classification

Het paper introduceert I2X, een raamwerk dat ongestructureerde interpretatie omzet in gestructureerde, prototype-gebaseerde verklaringen voor beeldclassificatiemodellen, waardoor niet alleen het besluitvormingsproces transparant wordt maar ook de voorspellingsnauwkeurigheid kan worden verbeterd door gerichte fine-tuning.

De kern

Waarom kijkt de AI daarheen? Een simpel verhaal over het ontrafelen van de "zwarte doos"

Stel je voor dat je een zeer slimme, maar zeer stilzwijgende kunstenaar hebt. Deze kunstenaar kan foto's van dieren of cijfers perfect herkennen. Maar als je vraagt: "Waarom denk je dat dit een kat is?" of "Waarom zie jij hier een 7?", dan zegt hij niets. Hij wijst alleen naar een wazig plekje op de foto en zegt: "Daar."

Dit is het probleem met moderne kunstmatige intelligentie (AI). Ze zijn slim, maar ze zijn een "zwarte doos": we zien het eindresultaat, maar we weten niet hoe ze erachter komen. Bestaande methoden om dit op te lossen, zijn vaak als een wazige vlek op een foto: ze laten zien waar de AI kijkt, maar niet waarom of hoe die beslissing tot stand kwam.

De auteurs van dit paper (van de Tulane Universiteit) hebben een nieuwe manier bedacht, genaamd I2X (Interpretability to Explainability). Ze willen niet alleen zien waar de AI kijkt, maar een gestructureerd verhaal vertellen over waarom hij daar kijkt.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het idee: De AI als een leerling die notities maakt

Stel je voor dat de AI een leerling is die een examen doet. Tijdens het leren (het trainen) maakt hij steeds nieuwe notities over wat hij ziet.

• De oude manier: Kijk naar de notities van de leerling op het moment dat hij klaar is. Je ziet alleen de eindconclusie.
• De I2X-methode: Kijk naar de evolutie van de notities. We kijken hoe de leerling van de eerste dag tot de laatste dag zijn denkproces verandert.

2. De "Bouwstenen" (Prototypes)

De AI kijkt niet naar een hele foto in één keer. Hij breekt de foto op in kleine stukjes, zoals een puzzel.

• De onderzoekers laten de AI deze stukjes groeperen in patronen (ze noemen dit "prototypes").
• Bijvoorbeeld: Een patroon voor "een diagonale streep", een patroon voor "een puntje linksboven", of "een horizontale lijn".
• Als de AI een cijfer '7' moet herkennen, zoekt hij niet naar een '7', maar naar een combinatie van deze bouwstenen: "Ah, hier is een diagonale streep en een puntje rechts!"

3. Het verhaal van de "Vertrouwen"

Tijdens het trainen kijkt I2X naar twee dingen tegelijk:

1. Hoe sterk de AI een patroon ziet (bijvoorbeeld: "Ik zie die diagonale streep heel duidelijk").
2. Hoe zeker de AI is van zijn antwoord (bijvoorbeeld: "Ik ben 90% zeker dat dit een 7 is").

Door te kijken hoe deze twee dingen samen veranderen, kunnen ze een verhaal vertellen: "Aan het begin dacht de AI dat het een 2 was, maar toen hij het patroon 'diagonale streep' zag, werd hij onzeker. Toen zag hij ook 'een puntje', en toen werd hij zeker dat het een 7 was."

4. Het grote probleem: De "Verwarrende" Bouwstenen

Soms ziet de AI een patroon dat hem in de war brengt.

• Voorbeeld: Stel je voor dat je een '7' en een '2' moet onderscheiden. Soms ziet de AI een patroon dat op beide lijkt (bijvoorbeeld een kromme lijn).
• Als de AI dit verwarrende patroon ziet, twijfelt hij: "Is dit een 7 of een 2?"
• De onderzoekers kunnen precies zien welk patroon deze verwarring veroorzaakt. Het is alsof ze zeggen: "Ah, het is die ene specifieke kromme lijn die de AI dwarszit!"

5. De oplossing: De AI "opfrissen"

Dit is het meest interessante deel. Omdat ze precies weten welk patroon de AI in de war brengt, kunnen ze de AI trainen om dat specifieke patroon te negeren.

• Ze nemen de foto's waar die verwarrende lijn voorkomt en zeggen: "Kijk niet naar die lijn, kijk naar de rest!"
• Hierdoor wordt de AI niet alleen slimmer, maar ook betrouwbaarder. Ze hebben getoond dat dit de fouten tussen verwarrende cijfers (zoals 7 en 2) of dieren (zoals katten en honden die op elkaar lijken) aanzienlijk vermindert.

Samenvattend: Waarom is dit belangrijk?

Vroeger zeiden we: "De AI is slim, maar we weten niet waarom."
Met I2X zeggen we: "We weten precies hoe de AI leert. We weten welke bouwstenen hij gebruikt, welke hem in de war brengen, en we kunnen hem zelfs helpen om die verwarring op te lossen."

Het is alsof je niet alleen kijkt naar het eindresultaat van een student, maar zijn hele studietijdbord bekijkt om te zien waar hij vastliep, en hem dan precies helpt om die ene moeilijke opgave te begrijpen. Dit maakt AI niet alleen transparanter, maar ook beter en veiliger voor gebruik in belangrijke gebieden zoals de geneeskunde.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Why Does It Look There? Structured Explanations for Image Classification" in het Nederlands.

Probleemstelling

Diepe leermodellen (deep learning) presteren uitstekend in taken zoals beeldclassificatie, maar hun "black-box" aard beperkt transparantie en vertrouwen. Bestaande methoden voor Explainable AI (XAI) leveren voornamelijk on gestructureerde interpretaties (zoals salientiekaarten of conceptvectoren) of vertrouwen op externe hulpmodellen (zoals GPT of CLIP) om deze te vertalen naar tekst. Dit laatste leidt vaak tot een gebrek aan trouwheid (faithfulness) aan het oorspronkelijke model en kan hallucinaties introduceren.

De kernvraag die dit paper adresseert is: Waarom kijkt het model daarheen? Bestaande methoden kunnen niet goed uitleggen hoe een model interne patronen organiseert en gebruikt voor inferentie en leren. Er is een behoefte aan gestructureerde verklaringen die de causale verantwoordelijkheid van modelgedrag in kaart brengen, in plaats van slechts visuele highlights te tonen.

Methodologie: Het I2X Framework

De auteurs stellen Interpretability to Explainability (I2X) voor, een raamwerk dat ongestructureerde interpretaties omzet in gestructureerde verklaringen door de evolutie van het model tijdens het trainingsproces te volgen. Het proces verloopt in vier hoofdstappen:

1. Extractie van Ongestructureerde Interpretaties:
   Het framework gebruikt post-hoc methoden (zoals GradCAM) om salientiekaarten te genereren voor trainingssamples op specifieke checkpoints tijdens het trainen.

2. Definitie van Abstracte Prototypen:
   Om de complexiteit te reduceren, worden de ruimtelijke features van de salientiekaarten geclusterd.

   • Eerst wordt PCA toegepast op de features.
   • Vervolgens wordt K-Means clustering gebruikt om $K$ centroids te vinden. Deze centroids fungeren als abstracte prototypen (herhalende patronen die het model leert herkennen).
   • Elke pixel in een salientiekaart wordt toegewezen aan een specifiek prototype.

3. Prototypen Intensiteit en Vertrouwens Evolutie:

   • Prototypen Intensiteit ($P^t$): Voor elke sample wordt berekend hoe sterk elk prototype geactiveerd is op een bepaald checkpoint $t$.
   • Vertrouwens Verandering ($\Delta \hat{y}$): De verandering in de voorspelling van het model tussen twee checkpoints wordt gemeten.
   • Clustering van Veranderingen: Samples met vergelijkbare patronen in vertrouwensverandering worden gegroepeerd (met HDBSCAN).

4. Mapping en Structurering:
   Er wordt een relatie gelegd tussen de verandering in prototypen-intensiteit en de verandering in modelvertrouwen.

   • Per cluster van samples wordt de gemiddelde verandering in prototypen-intensiteit berekend.
   • Met Ridge Regression wordt een coëfficiëntenmatrix ($\beta$) berekend die kwantificeert hoe veranderingen in specifieke prototypen de vertrouwensverandering voor een klasse drijven.
   • Door deze relaties over alle checkpoints te aggregeren, ontstaat een gestructureerd overzicht van welke prototypen verantwoordelijk zijn voor welke beslissingen en hoe deze zich ontwikkelen.

Belangrijkste Bijdragen

• Van Interpretatie naar Verklaring: I2X transformeert ongestructureerde salientiekaarten naar een gestructureerd, prototype-gebaseerd model van het leerproces. Het beantwoordt niet alleen waar het model kijkt, maar hoe het deze patronen combineert om tot een conclusie te komen.
• Identificatie van Onzekere Prototypen: Het framework kan "onzekere prototypen" identificeren: patronen die tijdens het trainen wisselend bijdragen aan verschillende klassen (bijv. een patroon dat soms voor een '7' en soms voor een '2' wordt gebruikt), wat leidt tot verwarring.
• Data-Centric Optimalisatie: Het paper toont aan dat deze gestructureerde inzichten direct gebruikt kunnen worden om het model te verbeteren door gerichte perturbatie (aanpassing) van de trainingsdata.

Resultaten

De auteurs hebben I2X getest op MNIST en CIFAR-10 met modellen zoals ResNet-50 en InceptionV3.

• Visualisatie van Leertrajecten: Op MNIST (cijfer 7) toont I2X hoe het model eerst duidelijke onderscheidingen maakt (bijv. tussen 7 en 6 of 2) via specifieke prototypen (zoals een diagonale streep), en pas later complexere, onzekere gevallen (zoals 7 vs 1 of 9) oplost.
• Invloed van Data-volgorde: Experimenten tonen aan dat de volgorde van trainingsdata de selectie van prototypen en de inferentiestrategie beïnvloedt. Verschillende trainingsruns kunnen leiden tot verschillende sets van "onzekere prototypen", wat resulteert in verschillende verwarringsmatrijzen.
• Verbetering door Gerichte Fine-tuning:
  • Door samples te identificeren die "onzekere prototypen" bevatten (die verwarring veroorzaken, zoals een patroon dat zowel op een kat als een hond lijkt in CIFAR-10), en deze uit de trainingsset te halen voor fine-tuning, daalt de verwarring significant.
  • MNIST: De verwarring tussen cijfers 2 en 7 daalde van ~14,80 naar ~8,40 per epoch, met een toename van de algehele nauwkeurigheid naar 98,64%.
  • CIFAR-10: De verwarring tussen katten en honden (voornamelijk veroorzaakt door oranje randen) daalde van ~261 naar ~238, met een stijging van de nauwkeurigheid naar 84,02%.
  • Een strategie waarbij eerst op een "gecurateerde" dataset (zonder onzekere prototypen) en daarna op de volledige dataset wordt gefinetuned, bleek het meest stabiel en effectief.

Betekenis en Conclusie

Dit paper biedt een brug tussen de theorie van interpretatie en de praktijk van modelverbetering. De betekenis ligt in drie gebieden:

1. Transparantie: Het biedt een manier om het "denken" van een black-box model te begrijpen in termen van evolutie van kenmerken (prototypen) in plaats van statische kaarten.
2. Diagnose: Het kan systematisch foutbronnen (onzekere prototypen) identificeren die door traditionele methoden worden gemist.
3. Actie: Het biedt een praktische, datagestuurde methode om modellen te optimaliseren. In plaats van blind te vertrouwen op meer data, kunnen ontwikkelaars nu gerichte data-curatie toepassen gebaseerd op de interne logica van het model.

Kortom, I2X maakt het mogelijk om modellen niet alleen te laten "vertellen" wat ze zien, maar ook te begrijpen hoe ze leren en waarom ze bepaalde fouten maken, wat leidt tot robuustere en betrouwbaardere AI-systemen.