🤖 machine learning

Towards Faithful Multimodal Concept Bottleneck Models

Il lavoro presenta f-CBM, un nuovo framework multimodale per Concept Bottleneck Models che, integrando una funzione di perdita differenziabile per ridurre la "leakage" e una testa di previsione basata su Kolmogorov-Arnold Networks per migliorare il rilevamento dei concetti, ottiene un equilibrio ottimale tra accuratezza predittiva, fedeltà delle spiegazioni e versatilità su diversi tipi di dati.

Autori originali: Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

Pubblicato 2026-03-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente super-intelligente, un "cervello digitale" che guarda una foto e legge un articolo per dirti di cosa si tratta. Spesso, questi assistenti sono come scatole nere: ti danno la risposta giusta, ma non sai come ci sono arrivati. Se sbagliano, non puoi correggerli perché non capisci il loro ragionamento.

I ricercatori di questo paper hanno creato un nuovo tipo di assistente, chiamato f-CBM, che è come un cucina trasparente.

Ecco come funziona, spiegato con parole semplici e qualche metafora:

1. Il Problema: La "Scatola Nera" e i "Furbi"

I modelli tradizionali (le scatole nere) sono potenti ma incomprensibili.
I vecchi modelli "trasparenti" (chiamati CBM) cercavano di essere onesti: invece di saltare direttamente alla risposta, facevano un passo intermedio. Prima identificavano dei concetti semplici (es. "c'è una palla", "c'è un testo sportivo", "c'è un uccello rosso") e poi usavano questi concetti per dare la risposta finale.

Il problema? Questi vecchi modelli erano spesso bugiardi (o "leakage" in inglese).
Immagina un cuoco che deve preparare una zuppa di pomodoro basandosi solo sul fatto che vedi dei pomodori. Ma il cuoco, per essere sicuro di fare la zuppa giusta, guarda anche il colore del grembiule del cliente. Se il grembiule è rosso, mette più sale, anche se non serve.
Nel mondo dell'IA, questo significa che il modello, quando dice "ho visto un concetto", in realtà sta nascondendo dentro quel concetto informazioni segrete sulla risposta finale (come il colore del grembiule). Se provi a correggere il concetto (dicendo "no, non c'è la palla"), il modello va in tilt perché si era affidato a quel trucco segreto.

2. La Soluzione: f-CBM (Il Cuoco Onesto)

Gli autori hanno creato f-CBM per risolvere due problemi contemporaneamente:

Vedere bene i concetti: Capire davvero se c'è una palla o un uccello.
Non essere furbi: Assicurarsi che il concetto "palla" significhi solo "palla" e non nasconda informazioni segrete su quale squadra sta vincendo.

Hanno usato due trucchi magici:

Trucco A: Il "Detective delle Bugie" (Loss di Leakage)

Immagina di avere un detective che controlla ogni volta che il modello pensa a un concetto.

Se il modello pensa "c'è una palla" e contemporaneamente pensa "è la partita di calcio", il detective dice: "Ehi! Stai mescolando le cose! Il concetto 'palla' non deve sapere che è una partita di calcio".
Questo detective punisce il modello se cerca di nascondere informazioni extra nei concetti. Così, il modello è costretto a essere onesto: il concetto "palla" parla solo di palle.

Trucco B: Il "Cervello Flessibile" (KAN)

Prima, il modello usava una linea dritta e rigida per collegare i concetti alla risposta finale (come un binario ferroviario). Se il concetto non era perfetto, il treno deragliava.
Ora usano una KAN (una rete neurale speciale). Immagina invece di un binario, una strada con curve e rampe.
Questa strada flessibile permette al modello di dire: "Ok, ho visto una palla, ma non è una palla qualsiasi, è una palla da basket, quindi la risposta cambia in modo non lineare".
Questa flessibilità aiuta il modello a capire meglio i concetti senza dover "rubare" informazioni segrete per compensare la sua rigidità.

3. Il Risultato: Perché è Magico?

Grazie a questi due trucchi, f-CBM è il primo modello che riesce a:

Essere preciso: Fa le stesse previsioni giuste dei modelli "scatola nera".
Essere onesto: I suoi concetti sono puri. Non nasconde nulla.
Essere correggibile: Questo è il punto più importante. Se un umano dice al modello: "Ehi, quella non è una palla, è un pallone da calcio", il modello ascolta e migliora la sua risposta.
- I vecchi modelli, se li correggevi, peggioravano perché si basavano sui loro "trucchi segreti".
- f-CBM, essendo onesto, si fida della correzione umana e diventa più bravo.

In Sintesi

Pensa a f-CBM come a un giudice di un concorso di cucina.

I vecchi modelli erano giudici che guardavano il piatto, ma segretamente guardavano anche l'etichetta del vino sul tavolo per decidere il punteggio. Se cambiavi il piatto, il giudice si confondeva perché il suo giudizio dipendeva dal vino, non dal cibo.
f-CBM è un giudice che guarda solo il cibo. Se gli dici "questo piatto è troppo salato", lui lo corregge subito e dà il punteggio giusto, perché il suo giudizio si basa davvero sul sapore, non su trucchi nascosti.

Questo rende l'Intelligenza Artificiale non solo potente, ma anche affidabile e collaborativa con gli esseri umani, specialmente in campi delicati come la medicina o la finanza, dove non ci si può permettere errori nascosti.

Titolo: Verso Modelli a Collo di Bottiglia di Concetti Multimodali Fedeli (f-CBM)

1. Il Problema

I Modelli a Collo di Bottiglia di Concetti (CBM) sono architetture interpretabili che mappano gli input in un insieme di concetti ad alto livello comprensibili dall'uomo, per poi generare previsioni finali tramite un layer lineare. Sebbene ampiamente studiati nella visione artificiale e nel NLP, i CBM rimangono poco esplorati in contesti multimodali (che combinano testo e immagini).

Il problema centrale affrontato è la fedeltà (faithfulness) delle spiegazioni. Per essere fedeli, i CBM devono soddisfare due condizioni critiche:

Rilevamento accurato dei concetti: I concetti devono essere rilevati correttamente nel layer di collo di bottiglia.
Assenza di "Leakage" (Perdita di informazioni): Le rappresentazioni dei concetti non devono contenere informazioni predittive non intenzionali (task-relevant) o correlazioni spurie tra concetti diversi. Questo fenomeno, noto come leakage, compromette l'interpretabilità perché il modello potrebbe basarsi su segnali nascosti piuttosto che sui concetti dichiarati, rendendo le spiegazioni ingannevoli e l'intervento umano inefficace.

Le approcci esistenti trattano il rilevamento dei concetti e la mitigazione del leakage come problemi separati, spesso migliorando uno a scapito dell'accuratezza predittiva o della fedeltà.

2. Metodologia: f-CBM

Gli autori propongono f-CBM, un framework multimodale basato su un backbone Vision-Language (CLIP) che affronta congiuntamente accuratezza e fedeltà attraverso due strategie complementari:

Architettura Multimodale: Utilizza un backbone CLIP per codificare input visivi ( $x_v$ ) e testuali ( $x_t$ ) in uno spazio di embedding condiviso. Le rappresentazioni vengono concatenate e passate a un layer di collo di bottiglia per generare le attivazioni dei concetti.
Loss di Leakage Differenziabile: Viene introdotta una nuova funzione di perdita per minimizzare esplicitamente il Task Leakage.
- A differenza di approcci discreti, gli autori utilizzano una stima della Mutua Informazione (MI) basata su Kernel Density Estimation (KDE).
- La loss penalizza l'informazione aggiuntiva sui task che i concetti predetti ( $\hat{c}_i$ ) contengono rispetto ai concetti veri ( $c_i$ ), senza bloccare il gradiente a zero. Questo incoraggia il modello a preservare l'informazione semantica corretta mentre rimuove i segnali spurii.
Head di Predizione basata su KAN (Kolmogorov-Arnold Network): Sostituisce il classico layer lineare di classificazione con un layer KAN.
- I KAN utilizzano funzioni univariate apprendibili sui bordi della rete invece di funzioni di attivazione fisse sui nodi.
- Questo aumenta l'espressività del modello, permettendo una migliore separazione dei concetti e riducendo la necessità per il layer di collo di bottiglia di "nascondere" informazioni extra per compensare una capacità di classificazione insufficiente.
- Mantiene l'interpretabilità fornendo curve di risposta non lineari tra concetti e classi.

L'obiettivo di training totale combina la perdita di classificazione ( $L_{cls}$ ), la perdita sui concetti ( $L_C$ ) e la perdita di leakage ( $L_{leak}$ ), con pesi dinamici per bilanciare le scale durante l'addestramento.

3. Contributi Chiave

Architettura CBM Multimodale basata su CLIP: Un approccio unificato per gestire input di testo e immagine simultaneamente.
Analisi Preliminare: Dimostrazione empirica che esiste una correlazione positiva tra l'accuratezza del rilevamento dei concetti e la riduzione del leakage, e che task leakage e inter-concept leakage tendono a co-occorrere.
Misura Differenziabile del Leakage: Introduzione di una metrica di leakage basata su KDE che può essere integrata direttamente nella funzione di perdita per l'addestramento, permettendo una riduzione drastica del leakage.
Integrazione di KAN: Uso di una rete KAN come layer finale per migliorare l'espressività e il rilevamento dei concetti senza sacrificare l'interpretabilità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset multimodali (N24News, CUB-200-2011) e test-only (AGNews, DBpedia), utilizzando backbones CLIP-base e CLIP-large.

Bilanciamento Ottimale: f-CBM raggiunge il miglior compromesso (Pareto frontier) tra accuratezza del task, accuratezza del rilevamento dei concetti (c-RMSE) e riduzione del leakage.
Performance:
- Accuratezza: f-CBM replica quasi perfettamente l'accuratezza dei modelli "black-box" (CLIP fine-tuned) e supera i competitor come CT-CBM e Label-free.
- Rilevamento Concetti: Supera significativamente i metodi indipendenti (Indep.-CBM) e Label-free nel rilevamento dei concetti.
- Leakage: f-CBM ottiene i punteggi di leakage (sia Task che Inter-concept) più bassi tra tutti i competitor, riducendo il leakage fino al -97% rispetto ad alcuni baseline.
Intervento Umano (Intervention): f-CBM è l'unico metodo che beneficia costantemente della correzione dei concetti (sostituendo le attivazioni predette con valori ground-truth). Al contrario, modelli con alto leakage (come CT-CBM) vedono peggiorare le prestazioni quando i concetti vengono corretti, poiché si basano su informazioni spurie che vengono distrutte dalla correzione.
Ablation Study: La rimozione del layer KAN o della loss di leakage porta a un aumento significativo del leakage o a una peggiore accuratezza dei concetti, confermando il contributo complementare di entrambi i componenti.

5. Significato e Impatto

Questo lavoro è significativo perché:

Rende i CBM pratici per l'uso multimodale: Estende l'interpretabilità basata su concetti a scenari complessi che integrano testo e immagini.
Garantisce la Fedeltà: Dimostra che è possibile ottenere modelli ad alta accuratezza che sono anche veramente interpretabili, risolvendo il trade-off storico tra accuratezza e fedeltà.
Abilita l'Intervento Umano: La capacità di correggere i concetti per migliorare le previsioni è un requisito fondamentale per l'adozione di CBM in domini critici (es. sanità), e f-CBM è il primo approccio multimodale a garantire questo comportamento.
Nuova Prospettiva di Analisi: L'uso di KAN fornisce curve di risposta non lineari interpretabili, offrendo una visione più ricca di come i concetti influenzano le decisioni rispetto ai semplici pesi lineari.

In sintesi, f-CBM rappresenta un passo avanti fondamentale verso modelli di IA spiegabili che non solo mostrano "cosa" pensano, ma lo fanno in modo coerente con il loro processo decisionale reale.