💻 computer science

TTE-CAM: Built-in Class Activation Maps for Test-Time Explainability in Pretrained Black-Box CNNs

Dit artikel introduceert TTE-CAM, een testtijd-framework dat voorgeöefende zwarte-doos CNN's omzet in zelf-verklarende modellen door de classificatiekop te vervangen, waardoor zowel de voorspellende prestaties behouden blijven als betrouwbare, ingebouwde verklaringen worden geleverd voor medische beeldanalyse.

Oorspronkelijke auteurs: Kerol Djoumessi, Philipp Berens

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kerol Djoumessi, Philipp Berens

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar mysterieuze dokter hebt die röntgenfoto's en oogscans beoordeelt. Deze dokter (een kunstmatige intelligentie) is zo goed dat ze ziektes bijna altijd herkent. Maar er is een groot probleem: je weet niet waarom ze tot die conclusie komt. Ze geeft alleen een ja- of nee-antwoord, zonder uitleg. In de echte medische wereld is dat gevaarlijk; artsen willen weten waarom een diagnose wordt gesteld voordat ze erop vertrouwen.

Tot nu toe waren er twee manieren om dit op te lossen, maar beide hadden hun nadelen:

De "Nabewerker": Je laat de dokter eerst werken, en daarna probeert een andere computer te raden waar de dokter naar keek. Dit is vaak onbetrouwbaar, alsof je iemand vraagt om te raden wat een ander droomde.
De "Openhartige Dokter": Je bouwt een dokter die van nature altijd uitleg geeft. Maar deze dokter is vaak minder slim dan de mysterieuze expert en maakt meer fouten.

TTE-CAM: De oplossing
De auteurs van dit paper hebben een slimme truc bedacht, genaamd TTE-CAM. Ze hoeven de dokter niet opnieuw te trainen en ze verliezen geen precisie. In plaats daarvan veranderen ze alleen de "laatste stap" in het denkproces van de dokter.

Hier is hoe het werkt, met een analogie:

De Analogie: De Chef-kok en het Menu

Stel je voor dat de AI een Chef-kok is die een gerecht (een diagnose) bereidt.

De oude manier: De chef kookt het gerecht in een grote pan (de diepe lagen van het netwerk). Aan het einde gooit hij alle ingrediënten in een blender (een 'fully connected layer') en zegt dan: "Dit is een pizza." Je ziet niet welke ingrediënten de pizza maakten.
Het probleem: Als je vraagt "Waarom is het een pizza?", moet je een gastheer (een post-hoc methode) erbij halen die probeert te raden welke ingrediënten belangrijk waren. Die gastheer kan het mis hebben.

De TTE-CAM-methode:
De auteurs zeggen: "Wacht even, we hoeven de chef niet te ontslaan of opnieuw te leren koken. We veranderen alleen de manier waarop hij het gerecht serveert."

Ze vervangen de blender aan het einde door een slimme serveerplaat.

De chef kookt nog steeds precies hetzelfde (de AI blijft even slim).
Maar in plaats van alles te mengen, legt hij de ingrediënten op de plaat in aparte vakjes.
Hij zegt dan: "Kijk, dit stukje is de tomaat (de ziekte), en dit stukje is de kaas (gezond weefsel)."

Door deze simpele aanpassing wordt de serveerplaat automatisch de uitleg. De AI hoeft niet opnieuw te leren, hij wordt niet minder slim, maar hij geeft terwijl hij werkt direct aan: "Kijk hier, hier heb ik de ziekte gezien."

Waarom is dit zo cool?

Geen extra werk: Je hoeft de AI niet opnieuw te trainen (zoals bij de "Openhartige dokter"). Je pakt de bestaande, super-slimme AI en past alleen de laatste knop aan.
Eerlijkheid: Omdat de uitleg direct uit het berekeningsproces komt, is hij 100% eerlijk. De AI liegt niet over waar hij naar keek.
Snelheid: Het gebeurt in één keer. Andere methodes moeten de AI soms 10 of 20 keer laten rekenen om een uitleg te krijgen. TTE-CAM doet het in één keer.

Wat zeggen de resultaten?

De auteurs hebben dit getest op twee belangrijke medische taken:

Oogscans: Het vinden van suikerziekte in het netvlies.
Longfoto's: Het vinden van longontsteking.

Het bleek dat de "TTE-CAM-dokter" net zo goed bleef presteren als de originele dokter. En de uitleg die hij gaf (de plaat met de vakjes) was net zo goed als, of zelfs beter dan, de uitleg van de "gastheren" (de andere methodes) die er later bij werden gehaald.

Kortom: TTE-CAM maakt de mysterieuze, zwarte doos van de AI transparant, zonder dat de AI zijn superkrachten verliest. Het is alsof je een blinddoek van de dokter afhaalt, zonder dat hij zijn bril moet verliezen.

Probleemstelling

Convolutionele Neurale Netwerken (CNN's) bereiken state-of-the-art prestaties in medische beeldanalyse, maar hun "black-box" aard beperkt hun adoptie in klinische settings waar hoge betrouwbaarheid en interpretatie vereist zijn. Bestaande oplossingen voor interpreteerbaarheid kampen met een fundamenteel compromis:

Post-hoc methoden: Genereren salience maps die afgeleid zijn van het model maar niet direct de output sturen. Hierdoor zijn ze per definitie niet "trouw" (unfaithful) aan het daadwerkelijke besluitvormingsproces van het model.
Inherent interpretable architecturen: Zijn wel trouw (voorspellingen worden direct berekend uit de uitleg), maar vereisen vaak complexe training of offeren voorspellende prestaties op.

De uitdaging is om hoogpresterende black-box CNN's om te zetten in zelf-interpretabele modellen zonder opnieuw te hoeven trainen en zonder verlies aan nauwkeurigheid.

Methodologie: TTE-CAM

De auteurs introduceren TTE-CAM (Test-Time Explainability via Class Activation Maps), een architecturale herformulering die pretrained black-box CNN's omzet in zelf-interpretabele modellen.

Kernmechanisme: De classificatiekop van een pretrained CNN wordt vervangen. De bestaande Fully Connected Layer (FCL) wordt verwijderd en vervangen door een $1 \times 1$ convolutielaag met $C$ filters (waarbij $C$ het aantal klassen is).
Gewichtsinitialisatie: Omdat een FCL wiskundig equivalent is aan een $1 \times 1$ convolutie, kunnen de oorspronkelijke pretrained classificatieweegten direct worden overgebracht naar de nieuwe convolutielaag. Dit vereist geen opnieuw trainen (retraining).
Werking: De Global Average Pooling (GAP) laag wordt verwijderd. De nieuwe $1 \times 1$ convolutielaag genereert direct ingebouwde Class Activation Maps (CAM's). Deze ruimtelijke kaarten worden vervolgens ruimtelijk gemiddeld om de klassenscores te berekenen en via een softmax te worden omgezet in de definitieve voorspelling.
Voordeel: De uitleg (de CAM) is het enige invoer voor de uiteindelijke voorspelling, wat leidt tot lineair interpreteerbare beslissingen zonder post-hoc overhead.

Belangrijkste Bijdragen

Brug tussen prestatie en interpretatie: TTE-CAM overbrugt de kloof tussen post-hoc methoden (snel maar ontrouw) en inherent interpretable modellen (trouw maar vaak minder performant) door black-box modellen om te vormen tot self-explainable modellen met behoud van prestaties.
Geen retraining nodig: In tegenstelling tot eerdere methoden zoals SoftCAM, vereist TTE-CAM geen hertraining; het gebruikt de bestaande gewichten direct.
Efficiëntie: Het genereert uitleg in één enkele forward pass, terwijl veel post-hoc methoden (zoals GradCAM of ScoreCAM) meerdere passes vereisen (per klasse of via perturbaties).
Validatie: De methode is gevalideerd op twee medische beeldvormingstaken: Diabetische Retinopathie (DR) en Longontsteking (Pneumonie) detectie.

Resultaten

De methode werd getest op een ResNet-50 model voor twee datasets:

Voorspellende prestaties: De vervanging van de FCL door een $1 \times 1$ $1 \times 1$ convolutie behield de oorspronkelijke prestaties exact.
- Diabetische Retinopathie: Accuracy = 0.899, AUC = 0.923.
- Pneumonie (CXR): Accuracy = 0.953, AUC = 0.988.
Kwaliteit van uitleg:
- Kwalitatief: De gegenereerde CAM's van TTE-CAM lijken sterk op die van standaard CAM en zijn vergelijkbaar met geavanceerde post-hoc methoden (zoals GradCAM, LayerCAM, ScoreCAM, Integrated Gradients).
- Kwantitatief: TTE-CAM scoort concurrerend op drie metrieken (Top-k precisie, Top-k sensitiviteit, en Activatie-precisie) in vergelijking met vijf post-hoc baselines.
- Opmerking: Voor fundusbeelden (DR) waren de resultaten beter geschikt voor "top-k localization" vanwege de schaarse annotaties, terwijl voor longfoto's (CXR) "activation precision" beter werkte vanwege de dichte bounding boxes.

Betekenis en Discussie

TTE-CAM bewijst dat het mogelijk is om ingebouwde, trouwe uitleg te genereren op het moment van inferentie (test-time) zonder in te leveren op de voorspellende nauwkeurigheid van bestaande black-box modellen.

Beperkingen: Zoals bij alle CAM-gebaseerde methoden, kunnen de uitleggen grof zijn door het gebruik van laag-resolutie feature maps, wat de fijne lokalisatie beperkt (waargenomen bij DR-data). De methode is ook beperkt tot architecturen waar het aantal kanalen van de laatste feature map overeenkomt met de grootte van de classifier-input (bijv. ResNet, DenseNet), en werkt niet direct op modellen zoals VGG zonder aanpassing.
Toekomstperspectief: De auteurs suggereren dat toekomstig werk zich kan richten op het oplossen van deze beperkingen en het uitbreiden van het mechanisme naar Vision Transformers voor ingebouwde attention maps.

Kortom, TTE-CAM biedt een praktische, efficiënte en wiskundig onderbouwde oplossing om de "black-box" van medische AI te doorbreken, wat essentieel is voor de klinische adoptie van deze technologieën.