Naming the Concepts Classifiers Rely On: Language-Anchored Decomposition for Faithful Explanation

Technische Samenvatting: Language-Anchored Decomposition (LAD)

1. Probleemstelling

Diepe neurale netwerken die worden ingezet in visuele toepassingen met een hoog risico vereisen interpreteerbaarheid, maar bestaande verklaringmethoden kampen met een fundamentele afruil tussen getrouwheid (overeenstemming met het werkelijke besluitvormingsproces van het model) en benaming (menselijk leesbare semantische labels).

• Post-hoc conceptontdekkingsmethoden (bijv. TCAV, ACE, CRAFT, FACE) zijn getrouw aan het gedrag van het model, maar produceren onbenoemde factoren. Dezelfde factorindex kan over verschillende afbeeldingen heen corresponderen met verschillende visuele elementen, wat een post-hoc labeling vereist die aan consistentie tekortschiet.
• Benaming en 'by-design' methoden (bijv. Concept Bottleneck Models, neuron-benaming benaderingen zoals LaViSE) bieden menselijk leesbare namen, maar vereisen vaak het hertrainen van het model of het wijzigen van de architectuur. Gevolgederlijk is het verklaarde model niet langer het ingezette model, of zijn de benoemde eenheden niet geverifieerd als causaal verantwoordelijk voor de voorspellingen.

Geen enkele voorgaande methode slaagt erin concepten te leveren die tegelijkertijd benoemd, getrouw aan de bevroren classifier en verkregen zonder het model te wijzigen.

2. Methodologie: Language-Anchored Decomposition (LAD)

LAD adresseert dit gat door het standaard Non-Negative Matrix Factorization (NMF) proces om te keren. In plaats van latente coëfficiënten te leren en deze later te labelen, fixeert LAD de coëfficiënten aan taal-geankerde kaarten en leert het enkel de concept-basis.

Kernframework:

1. Setup: Gegeven een bevroren vooraf getrainde encoder $f$ en classifier-kop $g$, opereert LAD op de ruimtelijke feature maps $Z$ geproduceerd door de encoder. In tegen tegenstelling tot methoden die features globaal poolen, ontvouwt LAD activaties om ruimtelijke lokaliteit te behouden, waarbij elke ruimtelijke locatie als een onafhankelijke observatie wordt behandeld.
2. Taal-geankerde Coëfficiënten ($S$):
   • Voor een doelklasse genereert een Large Language Model (LLM) een klasse-specifieke vocabulaire van visueel gegronde concepten (bijv. "puntige oren", "groene ogen").
   • CLIP beeld-tekst gelijkenis wordt gebruikt om deze concepten over beeldregio's te lokaliseren, waardoor ruimtelijke gelijkenismaps worden gecreëerd.
   • Deze kaarten worden afgeplat en gestapeld om een vaste coëfficiëntmatrix $S \in \mathbb{R}^{(nhw) \times r}$ te vormen, waarbij rijen ruimtelijke locaties vertegenwoordigen en kolommen benoemde concepten.
3. Inverted Factorization:
   • Standaard NMF leert zowel coëfficiënten ($U$) als basis ($W$) zodat $A \approx UW^\top$.
   • LAD fixeert de coëfficiënten aan de taal-geankerde matrix $S$ en leert enkel de concept-basis $W$ om de encoder-activaties te reconstrueren: $\hat{\bar{A}} \approx SW^\top$.
   • De optimalisatie minimaliseert de reconstructiefout $\|\bar{A} - SW^\top\|_F^2$ onder non-negativiteitsbeperkingen met behulp van Projected Gradient Descent (PGD).
4. Inference: Voor nieuwe afbeeldingen is de basis $W$ vast, en worden non-negatieve coëfficiënten $\hat{S}$ geschat via non-negative least squares. Deze coëfficiënten worden hervormd tot ruimtelijke heatmaps, wat gelokaliseerde, benoemde verklaringen biedt.

Kernmechanisme: Het taal-anker fungeert als een structurele beperking. De geometrie van de bevroren encoder bepaalt welke benoemde concepten worden behouden (door ze non-zero basisgewichten toe te kennen), terwijl concepten die inconsistent zijn met het bewijs van de encoder worden onderdrukt.

3. Belangrijkste Bijdragen

• Een nieuw Post-hoc Framework: LAD is het eerste framework dat concepten produceert die benoemd, getrouw en verkregen zijn zonder het model te hertrainen. Dit bereikt het door taal-geankerde CLIP gelijkenismaps als de coëfficiëntmatrix in een NMF-achtige decompositie te fixeren.
• Functioneel Taal-anker: Het artikel demonstreert dat het taal-anker niet louter cosmetisch is. Het verwijderen van het anker (terugkeren naar standaard ongesuperviseerde NMF) behoudt de classificatienauwkeurigheid maar veroorzaakt een scherpe instorting in de attributie-getrouwheid (specifiek in concept-verwijderingstests). Dit bewijst dat het anker de ontdekking stuurt naar classifier-betekenisvolle structuren.
• Per-afbeelding Benoemde Concept Rollouts: In tegen tegenstelling tot baselines die anonieme factoren outputten, maakt LAD per-afbeelding rollouts mogelijk waarbij de specifieke benoemde concepten die voor een voorspelling worden gebruikt, gelokaliseerd, gerangschikt op belangrijkheid en geannoteerd met hun bijdrage aan de reconstructie.
• Uitgebreide Evaluatie: De methode wordt geëvalueerd over natuurlijke afbeeldingen (ImageNet), scènes (Places365) en een klinisch domein (retinale fundusafbeeldingen), wat robuustheid aantoont over diverse visuele taken.

4. Resultaten

• Getrouwheid: Over ImageNet en Places365 behoudt LAD de top-1 nauwkeurigheid (vergelijkbaar met baselines) terwijl het de hoogste Concept Insertion (C-Ins) scores behaalt, wat aangeeft dat de benoemde concepten voldoende zijn om voorspellingen te herstellen.
• Verwijderingsprestaties: Hoewel de FACE-methode (die coëfficiënten en basis gezamenlijk optimaliseert) licht superieur is aan LAD in Concept Deletion (C-Del) op natuurlijke afbeeldingen, presteert LAD significant beter dan alle baselines in het klinische domein (retinale fundus). In klinische settings, waar ziektekenmerken ruimtelijk gefocust zijn, zijn de benoemde concepten van LAD de meest causaal beslissende, wat leidt tot een C-Del score van 0.954 vergeleken met 0.863 voor FACE.
• Ablatie-studies:
  • Taal-anker: Het vervangen van vaste taal-coëfficiënten door geleerde coëfficiënten verlaagt C-Del van 0.902 naar 0.507, wat de rol van het anker bij het ontdekken van getrouwe richtingen bevestigt.
  • Concept Budget: Het verhogen van het aantal concepten ($r$) verbetert de getrouwheid monotoon zonder de nauwkeurigheid op te offeren.
• Efficiëntie: LAD is computationeel efficiënt en past een klasse in 0.03 seconden op een RTX A4500, wat aanzienlijk sneller is dan FACE (2.6s) en CRAFT (0.5s).

5. Betekenis en Claims

Het artikel claimt dat LAD er succesvol in slaagt de kloof tussen getrouwe attributie en menselijke interpreteerbaarheid te overbruggen zonder de integriteit van het ingezette model in gevaar te brengen.

• Structurele vs. Cosmetische Benaming: De auteurs benadrukken dat benaming in LAD een structurele eigenschap van de decompositie is, en geen post-hoc label. De eigen feature-geometrie van het model bepaalt welke concepten relevant zijn, wat de bekende biases in CLIP-achtige modellen mitigeert door concepten die inconsistent zijn met het bewijs van de encoder te onderdrukken.
• Auditbaar Bewijs: In domeinen met een hoog risico zoals medische beeldvorming biedt LAD een "auditbaar verslag" waarbij een lezer niet alleen kan inspecteren waar het model naar kijkt, maar ook wat het aan die regio toeschrijft (bijv. "drusen-achtige structuren"). Dit maakt detectie mogelijk van discrepanties tussen het visuele bewijs van het model en de semantische attributie.
• Generaliseerbaarheid: De aanpak blijkt effectief voor natuurlijke afbeeldingen, scène-begrip en klinische diagnostiek, wat suggereert dat het fixeren van taal-geankerde coëfficiënten een levensvatbare strategie is voor het creëren van transparante visuele modellen waarbij de inhoud van een beslissing even cruciaal is als de nauwkeurigheid ervan.