Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification

1. Il Problema

Nel campo della visione artificiale, i modelli "interpretabili-by-design" stanno guadagnando popolarità perché forniscono spiegazioni fedeli alle loro previsioni, a differenza dei modelli "black-box". Un approccio comune consiste nel recuperare concetti umani interpretabili (es. "mammifero", "pelo", "muso corto") da un'immagine e utilizzarli per la classificazione.

Tuttavia, i metodi esistenti per il recupero dei concetti (basati su codifica sparsa nello spazio latente di modelli visione-linguaggio come CLIP) presentano un difetto fondamentale: ignorano la struttura gerarchica dei concetti.

• Esempio: Se un'immagine è di un "gatto", un modello ideale dovrebbe estrarre una catena coerente di concetti (es. animale $\to$ mammifero $\to$ gatto).
• Il limite attuale: I metodi standard potrebbero recuperare concetti corretti ma incoerenti con la gerarchia (es. estrarre "veicolo" per un'immagine di un gatto), portando a spiegazioni errate e non affidabili, anche se la previsione finale fosse corretta.

2. Metodologia: HCEP

Gli autori propongono HCEP (Hierarchical Concept Embedding & Pursuit), un framework che integra esplicitamente la gerarchia semantica nel processo di recupero dei concetti.

A. Modellazione dell'Embedding Gerarchico

Il paper definisce condizioni geometriche ideali per gli embedding dei concetti in uno spazio vettoriale per garantire l'identificabilità:

1. Clusterizzazione ben definita (Well-clustered synsets): I concetti fratelli (sibling) devono essere ben separati nello spazio, mentre i discendenti devono raggrupparsi attorno ai genitori. Questo assicura che i rami dell'albero gerarchico non si sovrappongano.
2. Ortogonalità Gerarchica: La differenza vettoriale tra un concetto figlio e il suo genitore deve essere ortogonale al vettore del genitore. Questo implica che le caratteristiche che distinguono un figlio dal genitore (es. "pelo" per distinguere un mammifero da un animale generico) sono indipendenti dal concetto genitore stesso.
3. Struttura a Simplex: Le differenze tra i figli di un nodo genitore devono formare un simplex regolare, garantendo che i concetti siano semanticamente distinti dato il contesto del genitore.

Gli autori dimostrano teoricamente che queste condizioni richiedono una dimensione dello spazio di embedding ($d$) sufficiente rispetto alla profondità ($L$) e al fattore di diramazione ($b$) dell'albero ($d \ge L + b$).

B. Costruzione del Dizionario Gerarchico

Invece di utilizzare direttamente gli embedding dei concetti come dizionario, HCEP costruisce un dizionario basato sulle differenze tra i nodi:

• Ogni atomo del dizionario rappresenta il vettore differenza tra un concetto figlio e il suo genitore ($a(j) - a(par(j))$).
• Questo approccio evita soluzioni banali (es. dire che un'immagine è "gatto" senza spiegare perché) e cattura le caratteristiche distintive che salgono lungo la gerarchia.
• Un'immagine viene rappresentata come una combinazione lineare sparsa di questi atomi lungo il percorso radice-foglia corretto.

C. Algoritmo: Hierarchical Orthogonal Matching Pursuit (H-OMP)

Per recuperare la rappresentazione sparsa, gli autori modificano l'algoritmo classico OMP (Orthogonal Matching Pursuit):

• Vincolo di Struttura: L'algoritmo non può scegliere qualsiasi atomo dal dizionario. Può estendere la "supporto" (l'insieme dei concetti selezionati) solo scegliendo figli del nodo più profondo già selezionato.
• Beam Search: Per gestire l'incertezza e gli errori di selezione precoce, l'algoritmo mantiene un insieme di ipotesi (beam) parallele invece di seguire un singolo percorso greedy. Questo riduce l'accumulo di errori durante la discesa nell'albero.

3. Contributi Chiave

1. Framework Teorico: Introduzione di condizioni geometriche (ortogonalità, simplex, cono) necessarie per rendere i concetti gerarchici identificabili nello spazio latente.
2. Algoritmo di Recupero: Sviluppo di H-OMP, un algoritmo di ricerca che rispetta la struttura dell'albero e utilizza il beam search per migliorare la robustezza.
3. Validazione Empirica: Dimostrazione che le condizioni geometriche teoriche si verificano effettivamente nei modelli pre-addestrati (come CLIP) su dataset reali come ImageNet.
4. Prestazioni Superiori: HCEP supera i metodi baselines sia nel recupero dei concetti che nella classificazione, specialmente in scenari con pochi dati (few-shot).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetici e reali (ImageNette, ImageNet, CIFAR-100).

• Recupero dei Concetti: HCEP ottiene una precisione e un richiamo (recall) significativamente superiori rispetto all'OMP standard e ad altri modelli interpretabili (come i Concept Bottleneck Models - CBM). Questo significa che le spiegazioni generate sono molto più coerenti con la gerarchia semantica reale.
• Accuratezza di Classificazione: HCEP mantiene un'accuratezza di classificazione competitiva, spesso superiore ai baselines interpretabili, specialmente quando il numero di campioni per classe è limitato (es. 12-shot o 25-shot).
• Robustezza: L'uso del beam search mitiga gli errori di propagazione: una scelta errata a un livello alto non compromette necessariamente l'intera spiegazione successiva.
• Generalizzazione: I risultati sono consistenti anche quando si utilizzano diversi modelli visione-linguaggio (CLIP e SigLIP).

5. Significato e Impatto

Questo lavoro è significativo perché:

• Colma il divario tra interpretabilità e struttura: Dimostra che ignorare la gerarchia semantica nei modelli interpretabili porta a spiegazioni inaffidabili. Incorporare la struttura gerarchica migliora sia la fedeltà delle spiegazioni che le prestazioni del modello.
• Efficienza nei dati limitati: In scenari dove i dati etichettati sono scarsi (un problema comune nell'apprendimento automatico), HCEP sfrutta la struttura gerarchica per generalizzare meglio rispetto ai metodi che trattano i concetti come entità indipendenti.
• Scalabilità: Il framework è applicabile a gerarchie complesse e su larga scala (come WordNet per ImageNet) e può essere esteso a domini specifici (es. medicina, biologia) utilizzando tassonomie preesistenti o indotte.

In sintesi, HCEP rappresenta un passo avanti verso modelli di visione artificiale che non solo classificano correttamente, ma lo fanno fornendo spiegazioni logicamente coerenti e strutturate, rendendo l'IA più affidabile e comprensibile per l'uomo.