Riassunto Tecnico: Mixture of Concept Bottleneck Experts (M-CBEs)

Definizione del Problema

I modelli Concept Bottleneck (CBM) sono emersi come un approccio promettente per allineare i modelli di Deep Learning al ragionamento umano, scomponendo le predizioni in due fasi: un encoder di concetti che mappa gli input grezzi in variabili interpretabili dall'uomo (concetti), e un predittore di task che mappa questi concetti all'output finale. Tuttavia, gli attuali CBM vincolano tipicamente il predittore di task a una singola funzione globale con una forma funzionale impostata a priori (ad esempio, un singolo strato lineare o un'espressione Booleana fissa).

Questa rigidità presenta due criticità fondamentali:

1. Espressività Limitata: Una singola funzione globale spesso non riesce a catturare il vero processo di generazione concetto-task, potenzialmente complesso, portando a una precisione predittiva subottimale.
2. Interpretabilità Inflessibile: L'interpretabilità è intrinsecamente dipendente dall'utente. Fissare la forma funzionale (ad esempio, forzare un modello lineare quando la relazione è non lineare, o un modello Booleano quando la relazione è continua) può sacrificare inutilmente le prestazioni predittive o non allinearsi ai modelli mentali specifici di diversi utenti.

Gli approcci attuali spesso indirizzano gli input verso miscele di esperti (MoE) per migliorare l'accuratezza, ma questi tipicamente indirizzano verso predittori black-box o fissano la forma funzionale degli esperti, fallendo nel non affrontare l'ottimizzazione congiunta di accuratezza e interpretabilità allineata all'utente.

Metodologia

Gli autori propongono i Mixture of Concept Bottleneck Experts (M-CBEs), un framework unificato che generalizza i CBM lungo due dimensioni:

1. Numero di Esperti: Invece di una singola funzione globale, il predittore di task è modellato come una miscela di $M$ funzioni specializzate (esperti).
2. Forma Funzionale: Il framework permette il controllo esplicito sulla forma funzionale di ciascun esperto, spaziando da semplici espressioni lineari a complesse espressioni simboliche definite da vocabolari di operatori specificati dall'utente.

Framework Core

Gli M-CBE rappresentano il predittore di task come una variabile casuale $T$ (un albero di espressione) condizionata dall'input $x$. La distribuzione congiunta si fattorizza come:
$$p(y, c | x) = p(c | x) \sum_{m=1}^{M} p(m | x) p(y | c, t_m)$$
Dove:

• $p(c | x)$ è l'encoder di concetti.
• $p(m | x)$ è un selettore (router) apprendibile che assegna l'input $x$ a un indice di esperto specifico $m$.
• $t_m$ è un albero di espressione unico e fisso associato all'esperto $m$.
• $p(y | c, t_m)$ è il predittore di task che esegue l'espressione selezionata $t_m$ sui concetti $c$.

Imponendo un insieme finito di alberi di espressione, gli M-CBE garantiscono l'interpretabilità globale, permettendo agli utenti di ispezionare tutti i percorsi di ragionamento in un tempo finito, a differenza dei modelli che generano espressioni uniche per ogni input (il che risulterebbe in una complessità infinita).

Due Nuove Istanziazioni

Il paper introduce due modelli specifici per esplorare questo spazio di progettazione:

1. Linear M-CBE (Lin-M-CBE):

   • Struttura: Restringe gli alberi di espressione a una forma funzionale lineare ($y = w^T c + b$).
   • Meccanismo: Apprende un insieme finito di $M$ espressioni lineari distinte. Il selettore indirizza gli input verso l'esperto lineare più appropriato.
   • Obiettivo: Fornisce un equilibrio robusto per compiti di classificazione ad alta dimensionalità dove le combinazioni lineari di concetti sono sufficienti ma un singolo modello lineare globale è insufficiente.

2. Symbolic M-CBE (Sym-M-CBE):

   • Struttura: Sfrutta la Regressione Simbolica (SR) per scoprire la struttura degli alberi di espressione.
   • Meccanismo: Gli utenti definiscono un vocabolario di operatori interpretabili $W$ (ad esempio, $\{+, -, \times, \sin, \exp\}$). Il modello prima addestra un "placeholder" black-box (ad esempio, un MLP) per ogni esperto. Successivamente, la regressione simbolica viene applicata ai sottoinsiemi di dati assegnati a ciascun esperto per distillare l'albero di espressione simbolica ottimale $t_m$ utilizzando il vocabolario definito dall'utente.
   • Adattabilità: Supporta l'adattamento post-hoc. Una volta addestrati l'encoder e il selettore, gli utenti possono cambiare il vocabolario di operatori $W$ per generare nuove espressioni simboliche allineate con la loro esperienza nel dominio senza riaddestrare l'intero modello.

Contributi Chiave

1. Framework Unificato: Gli M-CBE subsumano i metodi basati su concetti esistenti (come CBM standard, CMR, DCR) come casi speciali, esponendo uno spazio di progettazione bidimensionale (numero di esperti $\times$ forma funzionale) ampiamente inesplorato.
2. Garanzie Teoriche: Gli autori forniscono proposizioni che dimostrano che:
   • Un singolo esperto non lineare può approssimare qualsiasi funzione continua (Approssimazione Universale).
   • Una miscela di esperti lineari può approssimare qualsiasi funzione continua se $M$ è sufficientemente grande, con i limiti dell'errore di approssimazione che diminuiscono all'aumentare di $M$.
3. Interpretabilità Globale: Imparando da un insieme finito di espressioni, gli M-CBE evitano il problema della "memoria infinita" dei predittori specifici per istanza (come LICEM o DCR), consentendo l'ispezione e la verifica completa del modello.
4. Adattabilità Post-hoc: Sym-M-CBE permette agli utenti di modificare la complessità e il tipo di espressioni (ad esempio, passando da forme trigonometriche a polinomiali) dopo l'addestramento iniziale, soddisfacendo diversi livelli di competenza dell'utente.

Risultati Sperimentali

Il framework è stato valutato su quattro dataset sintetici e cinque dataset del mondo reale (inclusi MNIST-Arithm, dSprites-Exp, Pendulum, MAWPS, AWA2, CUB-200 e CIFAR-10) coprendo sia compiti di classificazione che di regressione.

• Trade-off Accuratezza-Interpretabilità: Esplorare lo spazio di progettazione permette di trovare la frontiera di Pareto.
  • Symbolic M-CBE eccelle nei compiti di regressione (ad esempio, Pendulum), scoprendo espressioni compatte e ad alta accuratezza che dominano la frontiera di Pareto.
  • Linear M-CBE fornisce un equilibrio robusto per compiti di classificazione ad alta dimensionalità, superando la rigida logica Booleana (CMR, DCR) che degrada significativamente all'aumentare del numero di concetti (ad esempio, su CUB-200 e CIFAR-10).
• Scalabilità: Le forme funzionali Booleane non scalano bene con spazi concettuali ad alta dimensionalità a causa della fragilità delle regole congiuntive. Le forme algebriche (Lineari e Simboliche) mantengono prestazioni robuste.
• Intervenibilità:
  • Sym-M-CBE raggiunge un'intervenibilità quasi ideale nei compiti di regressione, recuperando i meccanismi reali (ad esempio, $8.0 \sin(\theta) + 10.0$) e mostrando cali netti nell'errore quando i concetti vengono corretti.
  • Lin-M-CBE è altamente reattivo alle interazioni nei compiti di classificazione, superando altri modelli globalmente interpretabili.
• Gestione di Concetti Incompleti: L'aumento del numero di esperti ($M > 1$) compensa i bottleneck concettuali incompleti o la variazione della logica del task attraverso lo spazio di input, recuperando le prestazioni predittive dove i modelli a singolo esperto falliscono.
• Complessità: Gli M-CBE spesso eguagliano o superano l'accuratezza dei black-box MLP pur essendo sostanzialmente meno complessi (meno nodi negli alberi di espressione).

Significato e Rivendicazioni

Il paper sostiene che gli M-CBE stabiliscono un approccio fondato per lo sviluppo di modelli interpretabili che si adattano sia ai requisiti del task che alle diverse esigenze degli utenti.

• Democratizzazione dell'IA: Abilitando gli utenti ad allineare i meccanismi predittivi del modello con computazioni che possono interpretare (dalle complesse espressioni matematiche per gli esperti del settore alle forme polinomiali semplificate per i profani), il framework democratizza l'accesso all'IA.
• IA Responsabile: Avanza l'impiego di un'IA responsabile garantendo che le predizioni rimangano ancorate a insiemi finiti e ispezionabili di espressioni interpretabili, affrontando l'opacità dei modelli black-box in domini ad alto rischio.
• Trade-off Ottimale: Gli autori affermano che non esiste una scelta architettonica singola universalmente superiore; piuttosto, la capacità di navigare lo spazio di progettazione della cardinalità degli esperti e della forma funzionale è essenziale per trovare il trade-off ottimale tra accuratezza e interpretabilità per un problema specifico.

Limitazioni Riconosciute:

• La rete selettore $p(m | x)$ opera come un black-box, limitando la trasparenza riguardo al perché venga scelto un esperto specifico.
• La regressione simbolica è computazionalmente intensiva, particolarmente con grandi vocabolari di operatori.
• Il numero di esperti $M$ deve essere specificato come un iperparametro, richiedendo un bilanciamento manuale tra espressività e interpretabilità.