Graph Concept Bottleneck Models

1. Enunciato del Problema

I Concept Bottleneck Models (CBM) sono un framework per l'apprendimento profondo interpretabile che mappa i dati di input su concetti intermedi comprensibili all'uomo prima di effettuare una previsione finale. Sebbene i CBM consentano trasparenza e intervento diretto (ad esempio, correggere una previsione modificando un punteggio di concetto), i CBM esistenti soffrono di una limitazione critica:

• Assunzione di Indipendenza: I CBM standard assumono che i concetti siano condizionalmente indipendenti data l'etichetta.
• Realtà della Correlazione: Nella pratica, i concetti sono altamente correlati (ad esempio, "pelo" e "baffi" co-occorrono spesso con "coda"). Ignorare queste dipendenze intrinseche porta a rappresentazioni eccessivamente semplificate, ridotta accuratezza predittiva e interpretabilità più debole.
• Limitazioni dell'Intervento: Quando gli utenti intervengono su un singolo concetto, i CBM standard non riescono a propagare le conseguenze logiche di tale cambiamento sui concetti correlati, portando a correzioni subottimali.

2. Metodologia: Graph CBM (G-CBM)

Gli autori propongono i Graph CBM, un framework innovativo che modella esplicitamente la struttura relazionale tra i concetti utilizzando un grafo di concetti latente. L'architettura è progettata come un modulo leggero, plug-and-play, compatibile con le varianti CBM esistenti (sia senza etichette che supervisionate sui concetti).

Componenti Principali

Il modello è composto da tre moduli principali:

1. Modulo 1: Codifica e Parametrizzazione

   • Input: Le immagini sono codificate tramite un encoder visivo pre-addestrato ($E_v$), e i concetti sono codificati tramite un encoder linguistico pre-addestrato ($E_t$) (in contesti senza etichette).
   • Struttura del Grafo: Viene definito un grafo latente $G = (V, A)$ dove i nodi $V$ rappresentano i concetti e la matrice di adiacenza $A$ codifica la forza relazionale tra di essi.
   • Inizializzazione: Il grafo viene inizializzato (in modo casuale o tramite similarità di embedding) e condiviso tra tutte le istanze dei dati, ma l'attivazione dei nodi dipende dall'istanza.

2. Modulo 2: Passaggio di Messaggi GNN

   • Per catturare le dipendenze, il modello impiega una Graph Neural Network (GNN) con più livelli.
   • Passaggio di Messaggi Duale: A ogni livello $l$, le informazioni vengono aggregate dai nodi vicini per entrambi:
     • Embedding ($V_{emb}$): Il significato semantico del concetto.
     • Attivazioni ($V_{act}$): L'estensione in cui un concetto è attivato per una specifica immagine.
   • La regola di aggiornamento combina la matrice di adiacenza con la moltiplicazione elemento per elemento delle attivazioni e degli embedding, permettendo al modello di propagare il contesto dai concetti correlati (ad esempio, se "ali" è attivo, il modello aumenta la probabilità di "piume").

3. Modulo 3: Regularizzazione e Previsione

   • Apprendimento Contrastivo: Poiché le relazioni tra concetti veritiere sono spesso non disponibili, il modello utilizza apprendimento contrastivo auto-supervisionato per apprendere la struttura del grafo.
     • Perdita a livello di Embedding ($L_{emb}$): Allinea l'embedding dell'immagine con l'embedding a livello di grafo (embedding dei nodi mediamente aggregati).
     • Perdita a livello di Attivazione ($L_{act}$): Allinea l'embedding dell'immagine proiettato con il vettore di attivazione del concetto aggiornato.
   • Funzione di Perdita: La perdita totale combina la cross-entropy di classificazione ($CE$), le perdite contrastive ($L_{emb}, L_{act}$) e un termine di regolarizzazione $L_1$ sulla sparsità della matrice di adiacenza per prevenire l'overfitting e garantire l'interpretabilità.
   • Previsione: L'etichetta finale è prevista passando le attivazioni dei concetti raffinate attraverso un livello lineare o un MLP.

3. Contributi Chiave

1. Framework Innovativo: Introduzione dei Graph CBM, la prima variante CBM a modellare esplicitamente le correlazioni latenti tra concetti tramite una struttura di grafo apprendibile, migliorando sia il ragionamento che l'interpretabilità.
2. Apprendimento del Grafo Auto-Supervisionato: Sviluppo di un framework che costruisce automaticamente grafi di concetti latenti senza richiedere annotazioni relazionali veritiere, utilizzando apprendimento contrastivo multi-livello.
3. Integrazione Plug-and-Play: Il metodo è ortogonale ai design CBM esistenti, integrandosi senza soluzione di continuità sia nei CBM Senza Etichette (es. LF-CBM, PCBM) che nei CBM Supervisionati sui Concetti (es. CBM standard, CEM).
4. Intervento Robusto: Dimostrato che modellare le relazioni tra concetti migliora significativamente l'efficacia degli interventi post-hoc, permettendo alle correzioni di propagarsi logicamente attraverso la rete di concetti.

4. Risultati Sperimentali

Gli autori hanno valutato i Graph CBM su molteplici dataset reali, inclusi CUB-200-2011 (uccelli), Flower102, HAM10000 (lesioni cutanee), CIFAR-10/100 e ChestXpert.

• Accuratezza Predittiva:
  • I Graph CBM hanno costantemente superato le baseline su tutti i dataset.
  • Contesto Senza Etichette: Graph-PCBM ha migliorato l'accuratezza di ~1,5% - 3% rispetto al PCBM standard (ad esempio, 77,95% contro 74,69% su CUB).
  • Contesto Supervisionato sui Concetti: Graph-CBM e Graph-CEM hanno eguagliato o superato i metodi state-of-the-art (es. ProbCBM, HardAR, E-CBM) offrendo al contempo una migliore interpretabilità.
• Prestazioni di Intervento:
  • Negli esperimenti di intervento (modifica dei punteggi dei concetti per correggere errori), i Graph CBM hanno mostrato una robustezza significativamente superiore.
  • Quando i concetti sono stati mascherati o perturbati, i Graph CBM hanno recuperato le prestazioni meglio delle baseline aggregando segnali dai vicini connessi.
  • I Graph CBM hanno raggiunto un'alta accuratezza con interventi a singolo passo, mentre i modelli basati su energia (come E-CBM) richiedevano calcoli graduali iterativi.
• Studi di Ablazione:
  • Rimuovere il passaggio di messaggi GNN ha causato un calo delle prestazioni ai livelli baseline, confermando che il guadagno deriva dalla modellazione delle interazioni, non solo dall'aumento dei parametri.
  • L'uso di entrambe $L_{emb}$ e $L_{act}$ è stato cruciale; l'uso di una sola ha portato a grafi eccessivamente densi o eccessivamente sparsi.
• Interpretabilità del Grafo:
  • I grafi appresi hanno rivelato connessioni semanticamente significative (ad esempio, "voce forte e roca" collegata a "richiamo rauco") che si allineavano all'intuizione umana e hanno persino superato euristiche generate da LLM nella cattura di correlazioni non ovvie.

5. Significato e Impatto

• Colmare il Divario: I Graph CBM colmano il divario tra l'interpretabilità dei CBM e le capacità di ragionamento relazionale delle Graph Neural Networks.
• Affidabilità: Modellando come i concetti si influenzano a vicenda, il modello fornisce un processo decisionale più realistico e affidabile, cruciale per domini critici per la sicurezza come la sanità (ad esempio, comprendere come la "polmonite" si relaziona all'"versamento pleurico").
• Efficienza: L'approccio raggiunge prestazioni state-of-the-art con un minimo sovraccarico computazionale (aggiungendo solo $O(k^2)$ parametri per $k$ concetti) e non richiede il ri-addestramento dell'encoder di immagini di base.
• Generalizzazione: Il framework è versatile, funzionando efficacemente sia in scenari in cui le etichette dei concetti sono disponibili sia in quelli in cui devono essere scoperte automaticamente (senza etichette).

In conclusione, i Graph CBM rappresentano un avanzamento significativo nell'IA interpretabile, superando l'assunzione di concetti indipendenti per catturare la natura ricca e interconnessa del ragionamento umano, migliorando così sia l'accuratezza del modello che l'affidabilità degli interventi umani.