Technische Samenvatting: Visual-TCAV

Probleemstelling

Convolutionele Neurale Netwerken (CNN's) hebben een opmerkelijke prestatie geleverd in beeldclassificatie, maar blijven "black-box"-modellen, wat vertrouwen en debugging hindert in kritieke domeinen zoals de gezondheidszorg en autonoom rijden. Bestaande XAI-methoden (Explainable AI) lijden aan complementaire beperkingen:

• Saliency-methoden (bijv. Grad-CAM, Integrated Gradients): Bieden lokale, pixel-niveau verklaringen die laten zien waar een klasse wordt geïdentificeerd, maar falen in het uitleggen van welke hoogwaardige semantische concepten (bijv. "gestreept", "kuiltjes") de voorspelling hebben gedreven.
• Concept-gebaseerde methoden (bijv. TCAV): Leggen uit hoe gevoelig een netwerk is voor menselijk gedefinieerde concepten op globaal niveau, maar kunnen de belangrijkheid van een concept niet toeschrijven aan een specifieke voorspellingsinstantie, noch kunnen ze de ruimtelijke locatie van deze concepten binnen de invoerafbeelding visualiseren.

Er is derhalve een gat in methoden die tegelijkertijd ruimtelijke gronding (lokalisatie van concepten), per-instantie attributie (kwantificering van conceptbelang voor een specifieke voorspelling) en aggregatie (het genereren van globale inzichten) kunnen bieden.

Methodologie: Visual-TCAV

Visual-TCAV is een framework ontworpen om de kloof tussen saliency- en concept-gebaseerde methoden te overbruggen. Het werkt op elke CNN-laag die feature maps produceert en genereert twee primaire outputs: een concept map (ruimtelijke lokalisatie) en een concept attributie (numerieke belangrijkheid).

1. CAV-generatie en Ruimtelijke Pooling

Volgend de TCAV-paradigma, berekent de methode eerst een Concept Activation Vector (CAV) met behulp van de "Difference of Means"-benadering. Dit omvat:

• Het verzamelen van feature maps van door de gebruiker gedefinieerde positieve conceptvoorbeelden en negatieve (willekeurige) voorbeelden.
• Het berekenen van het rekenkundig gemiddelde (zwaartepunt) voor beide sets.
• Het afleiden van de CAV als het verschil tussen het concept-zwaartepunt en het willekeurige zwaartepunt.
• Het toepassen van Global Average Pooling (GAP) op de CAV om een gepoolde-CAV te creëren. Dit vector representeert de correlatie tussen het concept en elk feature map kanaal, onafhankelijk van de ruimtelijke locatie.

2. Concept Map (Ruimtelijke Gronding)

Om te lokaliseren waar een concept $c$ wordt herkend in een invoerafbeelding, genereert Visual-TCAV een concept map $M^c$:

• Het berekent een gewogen som van de feature maps ($F$) van de invoerafbeelding, waarbij de gewichten de elementen van de gepoolde-CAV ($p^c_i$) zijn.
• Een ReLU-functie wordt toegepast om alleen regio's te behouden die positief correleren met het concept.
• Normalisatie: Om vergelijkbaarheid tussen afbeeldingen te garanderen, wordt de kaart genormaliseerd met behulp van een aangepaste min-max schaling. De grenzen ($\ell_c, u_c$) worden heuristisch afgeleid van de mediaan van de contraharmonische gemiddelden van concept maps gegenereerd van respectievelijk positieve en negatieve voorbeeldsets.
• Het resultaat is een klasse-onafhankelijke visualisatie die de ruimtelijke regio's accentueert waar het netwerk het concept herkent.

3. Concept Attributie (Per-Instantie Belangrijkheid)

Om de omvang van de bijdrage van een concept aan een specifieke klassevoorspelling te schatten, breidt de methode Integrated Gradients (IG) uit:

• Feature-Map IG: In plaats van gradiënten te integreren vanaf invoerpixels, wordt IG berekend in de feature map ruimte van een gekozen laag. Dit meet de attributie van feature map activaties aan de target klasse logit ten opzijde van een baseline (zero tensor).
• Weging door Concept-alignement: De genormaliseerde IG-attributies worden gewogen door de genormaliseerde gepoolde-CAV ($\hat{p}^c$). Dit benadrukt feature maps die sterk uitgelijnd zijn met het concept en weegt anderen naar beneden.
• Ruimtelijke Maskering: De gewogen attributies worden elementgewijs vermenigvuldigd met de genormaliseerde concept map ($\hat{M}^c$), wat fungeert als een ruimtelijke maskering om concept-relevante regio's te isoleren.
• Aggregatie: Het sommeren over alle ruimtelijke locaties levert een scalaire concept attributie ($a_{c,k}$) op, die de bijdrage van concept $c$ aan klasse $k$ voor een specifieke input kwantificeert.

4. Globale Verklaringen

Globale inzichten worden afgeleid door de per-instantie concept attributies te middelen over een set invoerafbeeldingen voor een geselecteerde klasse, wat de algehele belangrijkheid van een concept voor die klasse kwantificeert.

Belangrijkste Bijdragen

1. Verenigd Framework: Visual-TCAV integreert de sterktes van saliency maps en concept-gebaseerde methoden, en voldoet aan drie desiderata: (D1) ruimtelijke gronding, (D2) per-instantie attributie, en (D3) aggregatie.
2. Magnitude-bewuste Attributie: In tegen tegenstelling tot TCAV, dat enkel vertrouwt op de tekens van directionele afgeleiden (gevoeligheid), maakt Visual-TCAV gebruik van de magnitude van gradiënten (via Integrated Gradients) om de werkelijke impact van een concept op de voorspellingsscore te meten.
3. Visuele Validatie: De generatie van concept maps maakt kwalitatieve validatie mogelijk van of de CAV overeenkomt met het beoogde concept van de gebruiker, zonder dat activatie-maximalisatie vereist is.
4. Ground Truth Validatie: De auteurs introduceren een gecontroleerd experiment met synthetische datasets (komkommer, taxi, zebra met kunstmatige tags) waarbij de ground truth voor conceptbelang bekend is, wat aantoont dat Visual-TCAV beter aansluit bij de ground truth dan standaard TCAV.

Resultaten

De methode werd geëvalueerd op ResNet50V2, InceptionV3 en VGG16 (ImageNet) en een ResNet50V2 getraind op CelebA.

• Lokale Verklaringen: Visual-TCAV slaagde erin te visualiseren dat hoogwaardige concepten (bijv. "auto") worden herkend in diepere lagen, terwijl fijnmazige concepten in eerdere lagen verschijnen. Het identificeerde dat misclassificaties (bijv. een "os" die foutief als "dalmatiër" werd geclassificeerd) werden gedreven door specifieke concepten (bijv. "gevlekte") die significant bijdroegen aan de verkeerde klasse logit.
• Globale Verklaringen: Geaggregeerde attributies kwamen overeen met intuïtieve verwachtingen (bijv. "gestreept" is sterk geattribuerd aan "zebra"). De methode bracht ook potentiële modelbiases in kaart, zoals een overmatige afhankelijkheid van specifieke kenmerken.
• Kwantitatieve Validatie: In het gecontroleerde tag-gebaseerde experiment weerspiegelden de Visual-TCAV attributies correct de ground truth: naarmate modellen werden getraind op toenemende percentages getagde afbeeldingen, verschoof de attributie van de entiteit (bijv. "zebra") naar de tag (bijv. "Z").
• Vergelijking met TCAV: Terwijl TCAV-scores hoog bleven voor zowel entiteiten als tags, zelfs wanneer modellen er niet in slaagden deze te onderscheiden (door de afhankelijkheid van gradiënt-tekens), onderscheidde Visual-TCAV de relatieve belangrijkheid correct door de gradiënt-magnitudes te meten, waarbij het een bijna nul-attributie liet zien voor irrelevante concepten in overfitte modellen.

Betekenis en Claims

Het artikel claimt dat Visual-TCAV een uitgebreidere verklaring biedt dan bestaande methoden door te kwantificeren hoeveel een concept een voorspelling beïnvloedt, en niet alleen of het netwerk er gevoelig voor is.

• Het adresseert de beperking van TCAV bij het beoordelen van misclassificaties en het verifiëren van ruimtelijke gronding.
• Het biedt een mechanisme om te detecteren wanneer modellen vertrouwen op shortcuts (bijv. tags in plaats van objecten), wat cruciaal is voor veiligheidskritische toepassingen.
• De auteurs merken bescheiden beperkingen op: het verzamelen van conceptvoorbeelden vereist domeinkennis, en de methode biedt geen garantie op volledigheid (het kan niet verifiëren of de geteste concepten uitputtend zijn voor wat het model heeft geleerd).
• Toekomstig werk wordt voorgesteld voor het toepassen van de methode op Vision Transformers (ViTs) en regressietaken, hoewel de auteurs de uitdagingen van ruimtelijke gronding in attention-gebaseerde architecturen erkennen.