Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification

Titel: Hierarchical Concept Embedding & Pursuit voor Interpretable Beeldclassificatie

Auteurs: Nghia Nguyen, Tianjiao Ding, René Vidal (Universiteit van Pennsylvania)

---

1. Het Probleem

Interpretable-by-design modellen (modellen die per ontwerp interpreteerbaar zijn) winnen aan populariteit in het computer vision omdat ze betrouwbare verklaringen voor hun voorspellingen bieden. Deze modellen proberen menselijk interpreteerbare concepten uit een afbeelding te halen en deze te gebruiken voor classificatie.

Bestaande methoden voor sparse concept recovery (zoals SpLiCE) gebruiken de latent space van vision-language modellen (bijv. CLIP) om afbeeldings-embeddings voor te stellen als een schaarse lineaire combinatie van concept-embeddings. Echter, deze methoden negeren vaak de hiërarchische structuur van concepten (bijv. dat een "kat" een "zoogdier" is, en een "zoogdier" een "dier").

• De beperking: Zonder rekening te houden met de hiërarchie kunnen deze methoden correcte voorspellingen doen, maar met inconsistentie verklaringen. Bijvoorbeeld, een model zou een afbeelding van een kat kunnen classificeren als "kat", maar als verklaring ook concepten als "voertuig" kunnen selecteren, wat logisch onmogelijk is binnen een hiërarchische boom.
• Het doel: Een framework ontwikkelen dat de hiërarchische relaties tussen concepten respecteert om zowel de classificatie als de interpretatie (de gevonden concepten) betrouwbaarder te maken.

---

2. Methodologie: HCEP Framework

De auteurs stellen HCEP (Hierarchical Concept Embedding & Pursuit) voor. Dit framework bestaat uit twee hoofdfasen: het creëren van een hiërarchische embedding en het gebruik van hiërarchische sparse coding om de concepten te herwinnen.

A. Hiërarchisch Concept Embedding Model (Hoofdstuk 3)

De auteurs definiëren ideale geometrische eigenschappen voor concept-embeddings in de latent space om herkenbaarheid te garanderen:

1. Goed geclusterde synsets (Well-clustered synsets):
   • Zusters (broers en zussen in de boom) moeten ver uit elkaar liggen in de embedding space om onderscheidbaar te zijn.
   • Kinderen moeten dicht bij hun ouder clusteren.
   • Dit wordt wiskundig beschreven als "kegel-bevattening" (subtree containment) en "disjunctie van zuster-kegels".
2. Hiërarchische Orthogonaliteit en Simplex Structuur:
   • Het verschil tussen een kind en zijn ouder (de "residuele" vector die het specifieke concept definieert) moet orthogonaal zijn op de ouder-embedding. Dit betekent dat het toevoegen van een specifiek kenmerk (bijv. "witte vacht") de relatieve waarschijnlijkheid van andere takken (bijv. hond vs. kat) niet beïnvloedt.
   • De verschillen tussen de kinderen van een ouder moeten een simplex vormen (een geometrische vorm met gelijke hoeken).
   • Vereiste: De dimensie van de embedding space ($d$) moet groot genoeg zijn: $d \geq L + b$, waarbij $L$ de diepte is en $b$ de vertakkingsfactor.

B. Hiërarchische Woordenboeken Constructie

In plaats van de synset-embeddings direct te gebruiken, construeren ze een woordenboek ($D$) bestaande uit de verschil-embeddings:
$$D = \{ a(j) - a(\text{par}(j)) \}$$
Waarbij $a(j)$ de embedding is van een synset en $a(\text{par}(j))$ die van de ouder.

• De embedding van een afbeelding wordt dan gezien als een som van de pad-embeddings van de wortel tot het doelblad.
• Dit voorkomt triviale oplossingen (waarbij het model alleen zegt "dit is een kat" zonder de tussenliggende concepten).

C. Hiërarchische Concept Pursuit (Hoofdstuk 4)

Om de juiste concepten te vinden, gebruiken ze een aangepaste versie van Orthogonal Matching Pursuit (OMP) genaamd Hierarchical OMP:

• Beam Search: In tegenstelling tot standaard OMP dat lokaal de beste keuze maakt, houdt Hierarchical OMP meerdere hypothesen (paden) tegelijkertijd bij via beam search.
• Beperking: Het algoritme kan alleen uitbreiden naar de kinderen van de momenteel diepste geselecteerde knoop.
• Voordeel: Dit voorkomt dat een vroege fout (bijv. kiezen voor "voertuig" in plaats van "dier") onherroepelijk leidt tot een verkeerde verklaring, omdat het algoritme meerdere paden parallel verkent.

---

3. Belangrijkste Bijdragen

1. Geometrisch Framework: Een theoretisch onderbouwde methode om hiërarchische concepten in een vectorruimte te embedden met specifieke voorwaarden voor orthogonaliteit en clustering.
2. HCEP Framework: Een nieuw systeem dat hiërarchische sparse coding toepast voor interpretable classificatie.
3. Algoritme: Een Hierarchical OMP algoritme met beam search dat bewezen een groter succesgebied (ERC success region) heeft dan standaard OMP voor het herwinnen van de juiste hiërarchische ondersteuning.
4. Empirische Validatie: Bewijs dat de hiërarchische orthogonaliteit en clustering ook in de praktijk gelden voor pre-getrainde modellen zoals CLIP op datasets als ImageNet.

---

4. Resultaten

De auteurs testen HCEP op synthetische data en real-world datasets (ImageNet, ImageNette, CIFAR-100).

• Concept Recovery (Precisie & Recall):
  • HCEP overtreft aanzienlijk standaard OMP en andere baselines (zoals Concept Bottleneck Models - CBM) in het correct herwinnen van de hiërarchische paden (de "support").
  • Op synthetische data toont Hierarchical OMP een hogere precisie en recall dan standaard OMP.
• Classificatie-Accuracy:
  • HCEP behoudt een concurrerende classificatie-accuracy in vergelijking met zwarte-doos modellen en andere interpretable baselines.
• Few-Shot Learning:
  • In situaties met weinig data (bijv. 12 of 25 shots per klasse) presteert HCEP superieur aan alle andere interpretable baselines, zowel in classificatie-accuracy als in concept recovery. Dit toont de robuustheid van het gebruik van hiërarchische priors.
• Generalisatie:
  • Het werkt goed met verschillende vision-language modellen (CLIP en SigLIP).
  • Het kan ook werken op datasets zonder vooraf gedefinieerde hiërarchie (zoals CIFAR-100) door taxonomie-inductie methoden te gebruiken om een hiërarchie te bouwen.

---

5. Betekenis en Impact

Dit werk is significant omdat het een brug slaat tussen de wiskundige theorie van sparse coding en de semantische structuur van menselijke kennis.

• Betrouwbaarheid: Door de hiërarchie te respecteren, worden "onmogelijke" verklaringen (zoals een kat die ook een voertuig is) uitgesloten, wat het vertrouwen in AI-verklaringen verhoogt.
• Data-efficiëntie: Het gebruik van hiërarchische structuren als prior helpt het model om beter te generaliseren met minder trainingsdata, wat cruciaal is voor toepassingen waar data schaars is.
• Schalbaarheid: Het framework is schaalbaar en kan worden toegepast op bestaande pre-getrainde modellen zonder dat deze opnieuw getraind hoeven te worden voor de concept-extractie, hoewel het wel een berekeningskosten heeft door de beam search (die echter paralleliseerbaar is op GPU's).

Kortom, HCEP demonstreert dat het integreren van hiërarchische structuren in sparse coding leidt tot nauwkeurigere, betrouwbaardere en beter interpreteerbare beeldclassificatiemodellen.