Hierarchical Concept-based Interpretable Models

Il paper presenta gli HiCEMs, un nuovo modello di embedding concettuale gerarchico che, attraverso una tecnica di "Concept Splitting" per scoprire automaticamente sottocconcetti, supera i limiti dei modelli esistenti consentendo spiegazioni interpretabili e interventi di test a diverse granularità senza richiedere annotazioni aggiuntive.

L'essenziale

🧠 Il Problema: Le "Scatole Nere" e i Cestini Piatti

Immagina che le Intelligenze Artificiali (IA) moderne siano come dei cuochi stellati che preparano piatti incredibili. Sanno cucinare benissimo, ma se chiedi loro perché hanno messo quel tipo di spezia, ti rispondono: "Non lo so, è solo un'intuizione". Per noi umani, questo è un problema: non possiamo fidarci di qualcosa che non capiamo.

Per risolvere questo, gli scienziati hanno creato dei modelli chiamati CEM (Modelli a Concetti Incapsulati). L'idea è semplice: invece di far pensare all'IA direttamente al risultato finale, le chiediamo di identificare prima dei "concetti" semplici.

• Esempio: Invece di dire "Questo è un cane", l'IA deve prima dire "Vedo un muso", "Vedo delle orecchie", "Vedo una coda".

Ma c'è un difetto: Questi modelli trattano i concetti come se fossero frutti in un cestino piatto. Per loro, "muso", "orecchie" e "coda" sono tutti uguali e non collegati tra loro. Nella realtà, però, le cose sono organizzate a scala (o gerarchia).

• Se vedo un "muso", è molto probabile che ci sia anche un "naso" o una "bocca".
• Se vedo un "frutto", potrebbe essere una "mela" o una "pera".

I vecchi modelli non capivano queste relazioni. Inoltre, per insegnargli a riconoscere ogni singolo dettaglio (ogni tipo di mela, ogni tipo di pera), serviva un'etichettatura manuale costosissima e lunghissima.

---

💡 La Soluzione: HiCEM e il "Taglio dei Concetti"

Gli autori di questo paper hanno introdotto due cose rivoluzionarie per risolvere questi problemi:

1. Il "Taglio dei Concetti" (Concept Splitting)

Immagina di avere un'IA che sa riconoscere solo la categoria generica "Frutta". È un'IA un po' pigra: sa che c'è della frutta, ma non sa dire quale.

Gli autori hanno inventato un trucco chiamato Concept Splitting. È come se prendessimo la mente dell'IA che sa solo "Frutta" e le dicessimo: "Ehi, guarda dentro il tuo cervello. C'è qualcosa di nascosto che distingue le mele dalle pere, anche se non te l'abbiamo mai insegnato esplicitamente!".

Usando una tecnica matematica (chiamata Sparse Autoencoder), il metodo "scava" nel cervello dell'IA e trova automaticamente queste differenze nascoste.

• Metafora: È come se avessi un blocco di marmo grezzo (l'IA generica) e, invece di scolpirlo a mano pezzo per pezzo (etichettatura manuale), usassi un laser speciale che rivela automaticamente le venature nascoste nel marmo, rivelando che dentro c'è già scolpita una statua di una mela e una di una pera.

Il risultato? L'IA scopre da sola concetti più specifici (sotto-concetti) senza che nessuno debba spenderci ore a etichettare immagini.

2. HiCEM: L'Albero Genealogico dei Concetti

Una volta che l'IA ha scoperto questi nuovi concetti nascosti, gli autori costruiscono un nuovo modello chiamato HiCEM (Hierarchical Concept Embedding Models).

Immagina che i vecchi modelli fossero un cestino piatto dove tutto è mescolato. HiCEM, invece, costruisce un albero genealogico o una scala a pioli:

• In cima c'è il concetto grande: "Frutta".
• Sotto, collegati da rami, ci sono i concetti scoperti: "Mele" e "Pere".

Questo permette all'IA di ragionare come un umano: sa che se c'è una "Mela", allora c'è automaticamente della "Frutta". Se correggi l'IA dicendole "No, quella non è una mela, è una pera", il modello capisce subito che la categoria "Frutta" è comunque vera, ma il dettaglio cambia.

---

🍳 La Prova: La Cucina Finta (PseudoKitchens)

Per dimostrare che funziona davvero, gli autori hanno creato un dataset chiamato PseudoKitchens.
Immagina di dover insegnare a un'IA a riconoscere le ricette in una cucina. Invece di usare foto reali (dove le cose sono sporche, nascoste o difficili da vedere), hanno usato un software 3D per creare cucine virtuali perfette.

• Hanno creato scene con ingredienti precisi (cipolle, carote, pasta).
• Hanno controllato ogni singolo pixel: sanno esattamente cosa c'è e dove.

Hanno usato questa "cucina finta" per addestrare l'IA. Il risultato è stato sorprendente:

1. L'IA ha imparato a riconoscere i concetti generici (es. "c'è della verdura").
2. Grazie al "Taglio dei Concetti", ha scoperto da sola i dettagli (es. "c'è una cipolla", "c'è una carota").
3. Il nuovo modello HiCEM è stato più preciso e ha permesso agli umani di correggere l'IA in tempo reale con grande successo.

---

🌟 Perché è Importante? (In parole povere)

1. Risparmio di tempo: Non serve più un esercito di persone a etichettare ogni singolo dettaglio. L'IA trova i dettagli da sola partendo da etichette generiche.
2. Spiegabilità: Possiamo chiedere all'IA: "Perché hai detto che è una zuppa di verdure?" e lei risponderà: "Perché ho visto una carota e una cipolla", e queste risposte sono organizzate in modo logico (Carota -> Verdura -> Zuppa).
3. Correzione umana: Se l'IA sbaglia e dice "Vedo una mela" quando è una pera, un umano può correggere solo quel dettaglio specifico, e il modello si aggiorna istantaneamente, diventando più intelligente.

In sintesi

Questo paper ci dice che le IA non devono essere "scatole nere" piatte. Possiamo insegnar loro a pensare a livelli, come facciamo noi umani (dal generale al particolare), e possiamo farlo in modo automatico, senza doverle istruire su ogni singolo dettaglio del mondo. È un passo avanti verso un'intelligenza artificiale che non solo "sa", ma "capisce" e ci spiega il perché.

Sommario tecnico

1. Il Problema

I moderni Deep Neural Networks (DNN) raggiungono alte prestazioni ma rimangono "scatole nere" difficili da interpretare. I Concept Embedding Models (CEM) sono stati proposti per colmare questo divario, mappando gli input in rappresentazioni di concetti umani interpretabili (es. "colore", "dimensione") per prevedere il task finale. Tuttavia, i CEM presentano due limitazioni fondamentali:

1. Indipendenza dei concetti: Trattano tutti i concetti come entità indipendenti, fallendo nel modellare le relazioni gerarchiche o di dipendenza tra di essi (es. il concetto "contiene verdure" implica la possibilità di sottogruppi come "contiene cipolle" o "contiene carote").
2. Costo delle annotazioni: Richiedono annotazioni di concetti a diverse granularità durante l'addestramento, il che è costoso e limitante per l'applicabilità nel mondo reale.

Le tecniche esistenti di concept discovery spesso ignorano le relazioni gerarchiche o non supportano interventi umani in tempo reale per correggere le previsioni.

2. Metodologia

Gli autori propongono una nuova famiglia di modelli chiamata Hierarchical Concept Embedding Models (HiCEMs), supportata da una nuova tecnica di scoperta automatica dei concetti denominata Concept Splitting.

A. Concept Splitting

Questa è una metodologia per scoprire automaticamente sottocapetti (sub-concepts) più granulari dallo spazio di embedding di un CEM pre-addestrato, senza richiedere nuove annotazioni umane.

• Input: Un CEM addestrato e le sue embedding di concetto.
• Meccanismo: Utilizza Sparse Autoencoders (SAE) (specificamente BatchTopK SAE).
  1. Si estraggono le embedding per un concetto genitore (es. "contiene verdure").
  2. Si separano le embedding in due insiemi: quelle dove il concetto è attivo (predetto presente) e quelle dove è inattivo.
  3. Si addestrano SAE separati su questi due insiemi. Gli SAE imparano a ricostruire l'input imponendo vincoli di sparsità, rivelando così feature latenti interpretabili.
  4. Le feature attivate dagli SAE vengono etichettate come nuovi sottocapetti (es. "contiene cipolle" o "contiene carote").
• Vantaggio: Permette di generare spiegazioni fini partendo da etichette concettuali grezze, riducendo drasticamente il carico di annotazione.

B. Architettura HiCEM

HiCEM è un'architettura progettata esplicitamente per modellare le relazioni gerarchiche scoperte tramite Concept Splitting.

• Struttura: Per ogni concetto di alto livello $c_i$, il modello apprende due embedding (positivo e negativo). A differenza dei CEM standard, queste embedding non sono vettori statici ma vengono generate attraverso moduli che incorporano informazioni sui sottocapetti.
• Moduli Sottocapetti:
  • Un modulo per i sottocapetti positivi e uno per quelli negativi ricevono l'embedding intermedio del concetto genitore.
  • All'interno di questi moduli, vengono generati embedding specifici per ogni sottocapetto.
  • L'embedding finale del concetto genitore è una miscela pesata degli embedding dei sottocapetti, dove i pesi sono le probabilità predette di ciascun sottocapetto.
• Interventi: Il modello supporta interventi a più livelli. Un esperto può correggere un concetto di alto livello o un sottocapetto specifico durante il test. Se un sottocapetto viene corretto, l'informazione si propaga automaticamente al concetto genitore, aggiornando la previsione finale.

3. Contributi Chiave

1. Concept Splitting: Un metodo innovativo per estrarre sottocapetti interpretabili dallo spazio latente di un CEM usando SAE, eliminando la necessità di annotazioni granulari estese.
2. HiCEM: Una nuova architettura di modelli interpretabili che cattura esplicitamente le relazioni gerarchiche tra concetti e sottocapetti, permettendo interventi a diversi livelli di granularità.
3. PseudoKitchens: Un nuovo dataset sintetico di render 3D fotorealistici di cucine, con annotazioni di verità fondamentale perfette e localizzazione spaziale precisa, creato per valutare rigorosamente i modelli basati su concetti.
4. Validazione Empirica: Dimostrazione che i sottocapetti scoperti sono umani-interpretabili e che l'uso di HiCEM migliora le prestazioni di intervento rispetto ai CEM standard.

4. Risultati

Gli esperimenti sono stati condotti su sei dataset (MNIST-ADD, SHAPES, CUB, AwA2, PseudoKitchens, ImageNet) e includono uno studio utente.

• Interpretabilità dei Sottocapetti (RQ1):
  • Concept Splitting scopre sottocapetti che corrispondono a concetti umani reali (es. "il primo numero è 6" in MNIST-ADD).
  • Lo studio utente su ImageNet ha mostrato che il 67.9% dei nomi generati automaticamente per i sottocapetti era semanticamente correlato al concetto genitore (contro il 4% del gruppo di controllo casuale).
  • Gli utenti hanno confermato che le immagini etichettate con i sottocapetti scoperti corrispondevano al nome del concetto nel 54.8% dei casi.
• Accuratezza del Task e dei Concetti (RQ2):
  • HiCEM addestrato con Concept Splitting mantiene un'accuratezza del task competitiva rispetto ai CEM standard e ad altri baselines (CBM, Black Box), con differenze inferiori al 2%.
  • L'accuratezza nella predizione dei concetti forniti (alto livello) rimane invariata rispetto ai CEM.
• Efficacia degli Interventi (RQ3):
  • Gli interventi sui sottocapetti scoperti migliorano l'accuratezza del task.
  • In dataset come CUB e PseudoKitchens, gli interventi sui sottocapetti in HiCEM portano a un aumento dell'accuratezza superiore rispetto agli interventi su concetti scoperti in un CEM standard, dimostrando che la struttura gerarchica facilita correzioni più efficaci.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'interpretabilità AI realistica.

• Riduzione del Carico di Annotazione: Risolve il collo di bottiglia delle annotazioni concettuali permettendo di addestrare modelli gerarchici partendo da etichette di alto livello, sfruttando la struttura latente del modello per scoprire i dettagli.
• Modellazione della Cognizione Umana: Allinea i modelli AI al modo in cui gli umani ragionano (gerarchicamente), permettendo di correggere errori a livelli di dettaglio specifici (es. correggere "cipolla" invece di dover correggere genericamente "verdura").
• Flessibilità Operativa: La capacità di intervenire a diversi livelli di granularità rende questi modelli più robusti e utili in scenari reali dove gli esperti potrebbero voler correggere solo aspetti specifici di una decisione.

In sintesi, HiCEM e Concept Splitting colmano il divario tra modelli interpretabili semplici ma limitati e la complessità delle relazioni concettuali del mondo reale, offrendo un framework scalabile e ad alta fedeltà per l'IA spiegabile.