Prototype-Grounded Concept Models for Verifiable Concept Alignment

1. Il Problema: La Limitazione Fondamentale dei CBM

Il lavoro affronta una limitazione critica dei Concept Bottleneck Models (CBM), un'architettura nota per la sua interpretabilità.

• Contesto: I CBM funzionano mappando un input (es. un'immagine) in un insieme di concetti simbolici ad alto livello (es. "ha le strisce", "è metallico") e poi prevedendo il compito finale basandosi solo su questi concetti.
• Il Difetto: Sebbene i CBM offrano trasparenza a livello di concetti, non esiste alcun modo per verificare se i concetti appresi dal modello corrispondano effettivamente al significato inteso dall'umano. Un concetto etichettato come "ha le strisce" potrebbe basarsi su texture spurie, sfondi o artefatti correlati, senza che l'utente possa vederlo.
• Conseguenza: L'interpretabilità dei CBM si basa su un'ipotesi forte e spesso ingiustificata: che i concetti appresi significhino esattamente ciò che il loro nome suggerisce. Senza una "grounding" (radicamento) visivo a basso livello, non è possibile ispezionare o correggere le disallineamenti semantici.

2. Metodologia: Prototype-Grounded Concept Models (PGCM)

Gli autori introducono i PGCM, un framework ibrido che integra i CBM con prototipi visivi appresi per radicare i concetti in evidenze concrete.

Architettura e Flusso

Il modello segue una mappatura a tre stadi: $x \rightarrow p \rightarrow c \rightarrow y$

1. Segmentazione: L'immagine di input $x$ viene divisa in $n$ parti spaziali $\{x_i\}$ utilizzando una rete di segmentazione.
2. Selezione del Prototipo: Per ogni parte dell'immagine, un selettore di prototipi $q(S_i|X_i)$ assegna una distribuzione di probabilità su un insieme di $m$ prototipi appresi. Il prototipo selezionato è quello visivamente più simile alla parte dell'immagine.
3. Decodifica Duale: Ogni prototipo $j$ è associato a due decodificatori:
   • Decodificatore Immagine $p(X_i|S_i=j)$: Genera una rappresentazione visiva concreta del prototipo (es. un'immagine ricostruita di una parte specifica).
   • Decodificatore Concetto $p(C_i|S_i=j)$: Genera una distribuzione di probabilità sui concetti ad alto livello associati a quel prototipo.
4. Predizione: Le previsioni dei concetti sono derivate dai prototipi selezionati e aggregati per prevedere il compito finale $y$.

Meccanismi Chiave

• Tabella di Allineamento dei Concetti: Il cuore dell'interpretabilità. È una tabella esplicita che mappa ogni indice di prototipo alla sua rappresentazione visiva (immagine) e alla sua rappresentazione concettuale (etichette). Questo definisce formalmente la semantica: un concetto è vero se esiste una parte dell'immagine simile a uno dei prototipi che possiede quel concetto.
• Inferenza e Addestramento: Il modello massimizza una Evidence Lower Bound (ELBO) che include:
  • Perdita di compito e concetto: Supervisione standard.
  • Perdita di ricostruzione: Assicura che i prototipi appresi siano rappresentativi delle parti visive reali dell'immagine (evitando che i vettori latenti codifichino informazioni non visibili).
  • Ottimizzazione: Vengono utilizzati vettori di prototipo "purificati" (mappati attraverso l'immagine e di nuovo nell'embedding) per garantire che non contengano informazioni nascoste. Durante l'addestramento, i prototipi possono essere scambiati con parti reali dell'immagine per garantire realismo.

3. Contributi Chiave

1. Verificabilità dell'Allineamento: I PGCM permettono agli utenti di ispezionare direttamente la "Tabella di Allineamento" per verificare se i concetti appresi corrispondono all'intenzione umana. Se un prototipo etichettato "capelli grigi" mostra visivamente un oggetto diverso, l'errore è immediatamente evidente.
2. Nuove Forme di Intervento (Intervenability): Oltre alla correzione dei concetti (tipica dei CBM), i PGCM abilitano interventi a livello di prototipo:
   • Modifica delle Etichette: Correggere le etichette concettuali di un prototipo errato.
   • Rimozione/Aggiunta: Eliminare prototipi spurii o aggiungerne di nuovi (es. ritagliando parti da immagini reali).
   • Intervento sulla Selezione: Forzare la selezione di un prototipo specifico durante l'inferenza.
   • Propagazione: Poiché i concetti sono collegati tramite i prototipi, un singolo intervento su un prototipo può correggere simultaneamente più previsioni di concetti correlati.
3. Semantica Esplicita: Sostituisce l'assunzione di allineamento con un meccanismo verificabile, definendo la semantica come una disgiunzione di rappresentazioni visive di prototipi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come CelebA (attributi facciali), ColorMNIST+ (somma di cifre colorate) e CLEVR-Hans (oggetti con attributi).

• Prestazioni Predittive: I PGCM raggiungono livelli di accuratezza (sia sui concetti che sul compito) comparabili agli stati dell'arte dei CBM (es. CBM, CRM, CMR), nonostante le restrizioni strutturali imposte dall'uso di un numero finito di prototipi.
• Ispezione e Allineamento: Le tabelle di allineamento hanno permesso di identificare e correggere prototipi disallineati. In un esperimento con etichette concettuali rumorose, la rimozione o la modifica dei prototipi errati ha portato a un aumento significativo dell'accuratezza sul set di test pulito (da ~92% a ~97-98%).
• Intervenability: I PGCM mostrano una maggiore o uguale reattività agli interventi rispetto ai CBM standard. La capacità di intervenire a livello di prototipo permette di correggere errori in modo più efficace, specialmente quando i concetti non sono indipendenti.
• Trade-off Capacità/Interpretabilità: L'accuratezza dipende dal numero di prototipi appresi. Un numero maggiore di prototipi migliora l'accuratezza ma aumenta il carico cognitivo per l'utente, evidenziando un compromesso fondamentale.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale verso l'IA affidabile e verificabile.

• Superamento del "Black Box" Semantico: Risolve il problema principale dei CBM rendendo la semantica dei concetti non solo astratta, ma concretamente ispezionabile e verificabile visivamente.
• Model Editing Pratico: Introduce un nuovo paradigma di "model editing" dove gli esperti umani possono correggere direttamente la conoscenza visiva del modello (i prototipi) senza dover riaddestrare l'intera rete da zero.
• Fondamento per la Fiducia: Fornisce un meccanismo formale per garantire che un modello AI stia ragionando sulle caratteristiche corrette (es. "vede davvero le strisce" e non solo lo sfondo), rendendo i sistemi di Deep Learning più adatti a deployment critici in settori dove la trasparenza è obbligatoria.

In sintesi, i PGCM trasformano l'interpretabilità da una promessa basata su ipotesi a una realtà verificabile, unendo la potenza dei concetti simbolici alla concretezza delle evidenze visive.