Sintesi Tecnica: Valutazione dell'Affidabilità del Rilevamento di Simboli nei Modelli a Collo di Bottiglia Concettuale

1. Definizione del Problema

I Modelli a Collo di Bottiglia Concettuale (Concept Bottleneck Models, CBM) sono una classe prominente di metodi neuro-simbolici progettati per l'IA Spiegabile (XAI). Essi operano estraendo innanzitutto concetti interpretabili dall'uomo dai dati di input e utilizzando poi un classificatore leggero e interpretabile per mappare tali concetti su predizioni finali. Sebbene l'elevata accuratezza del compito venga spesso utilizzata come proxy della qualità del modello, questo articolo sostiene che l'accuratezza non garantisce un rilevamento dei concetti fedele.

Il problema centrale identificato è la fuga di informazioni (o "scorciatoie") all'interno del collo di bottiglia. Quando i rilevatori di concetti e le teste di classificazione vengono addestrati congiuntamente, il rilevatore può codificare segnali specifici del compito nelle attivazioni dei concetti che sono utili per la classificazione ma non si allineano al significato semantico intenzionale dei concetti stessi. Di conseguenza, il modello può raggiungere un'elevata accuratezza facendo affidamento su correlazioni spurie piuttosto che su una genuina comprensione dei concetti. Ciò rende inaffidabili le spiegazioni del modello, poiché i simboli intermedi potrebbero non rappresentare ciò che dichiarano di rappresentare.

2. Metodologia

2.1 Misurare il Disallineamento

Gli autori propongono una serie di diagnostiche per valutare l'affidabilità del rilevamento dei simboli, andando oltre le metriche di accuratezza standard:

• Affidabilità Globale del Simbolo (Swap Test): Gli autori addestrano più CBM indipendentemente. Successivamente, scambiano il rilevatore di concetti di un modello con la testa di classificazione di un altro.
  • Se il modello scambiato mantiene un'elevata accuratezza, il rilevatore di concetti e la testa condividono una rappresentazione simbolica robusta e invariante.
  • Un calo significativo dell'accuratezza ("swap drop") indica che il rilevatore e la testa si sono co-adattati a codifiche spurie specifiche per la loro coppia originale.
• Intercambiabilità dei Simboli: Per testare se il modello si affida all'identità dei concetti o semplicemente al conteggio dei concetti attivati, gli autori impiegano due distribuzioni nulle:
  • Permutazione della dimensione del concetto: rimescolamento casuale delle etichette dei concetti prima di passarle alla testa.
  • Shuffle dei campioni all'interno del concetto: permutazione dei valori dei concetti tra i campioni.
  • Se l'accuratezza rimane elevata sotto queste permutazioni, i simboli non sono distinguibili come concetti distinti, indicando un rilevamento inaffidabile.
• Affidabilità della Predizione Individuale: Utilizzando un ensemble di rilevatori addestrati indipendentamente, gli autori decompongono l'incertezza predittiva in componenti aleatorie (rumore dei dati) ed epistemiche (disaccordo del modello). Attribuiscono l'incertezza delle etichette a specifici simboli congelando le predizioni dei singoli concetti al consenso dell'ensemble e misurando la riduzione dell'incertezza dell'etichetta.

2.2 Soluzione Proposta: Addestramento Consapevole dell'Affidabilità

Per mitigare la fuga di informazioni, l'articolo propone una strategia di addestramento che riduce il co-adattamento tra il rilevatore e la testa:

1. Addestramento Multi-Testa: Invece di addestrare un singolo rilevatore con una singola testa, un rilevatore di concetti condiviso $g_\theta$ viene addestrato contro un ensemble di $R$ teste di classificazione inizializzate indipendentemente $\{f^{(r)}_{\phi_r}\}$.
   • La funzione obiettivo media la perdita di classificazione attraverso tutte le teste.
   • Concept Dropout: Per evitare che le teste convergano alla stessa soluzione (il che annullerebbe l'effetto dell'ensemble), ogni testa riceve attivazioni concettuali mascherate da una maschera di dropout casuale indipendente. Ciò costringe il rilevatore a imparare rappresentazioni che siano robuste alla mancanza di informazioni e non dipendenti da singole scorciatoie.
2. Regolarizzazione Consapevole dell'Affidabilità:
   • Viene calcolato un punteggio di affidabilità globale $r_k$ per ogni concetto basato sulla sua accuratezza di rilevamento su un set di validazione.
   • L'incertezza epistemica a livello di istanza $U_{epi}(x_i, k)$ è stimata per ogni simbolo.
   • Viene calcolato un peso di inaffidabilità $\omega_{ik}$ combinando l'affidabilità globale e l'incertezza a livello di istanza.
   • Viene aggiunto un termine di penalità alla funzione di perdita che scoraggia il classificatore dal fare affidamento su concetti con bassa affidabilità globale o alta incertezza a livello di istanza.

3. Risultati Chiave

3.1 Dataset CUB-200-2011 (Supervisione Completa)

Sui compiti di classificazione delle specie di uccelli con supervisione completa dei concetti ($\lambda=1$):

• Alta Intercambiabilità: I rilevatori e le teste sono quasi liberamente intercambiabili. Lo swap drop è minimo (inferiore a 1 punto di accuratezza) e la ritenzione relativa è superiore al 99%.
• Robustezza: Nessun concetto è stato rilevato al di sotto dei livelli del caso, e le teste addestrate su un seed si sono trasferite quasi senza perdite ai rilevatori di altri seed.
• Incertezza: L'incertezza epistemica a livello di simbolo era bassa, ma l'incertezza a livello di etichetta era significativamente più alta, indicando che piccoli disaccordi tra molti concetti si compongono alla testa di classificazione.

3.2 Dataset Sintetico (Leakage Controllato)

Su un dataset sintetico di forme e colori, gli autori hanno variato il peso della supervisione dei concetti $\lambda$ per simulare la fuga di informazioni:

• Fenomeno del Leakage: Man mano che $\lambda$ diminuiva (indebolendo la supervisione dei concetti), l'accuratezza accoppiata rimaneva quasi perfetta (~100%), ma l'accuratezza scambiata crollava ai livelli del caso (20–30%). L'accordo tra i concetti rilevati e la verità di base scendeva a circa il 50%.
• Mitigazione: Le strategie multi-testa e di affidabilità proposte hanno mitigato sostanzialmente questo leakage. A bassi valori di $\lambda$ (0.1), questi metodi hanno quasi raddoppiato l'accuratezza dello swap (da ~26% a ~50%) rispetto al normale addestramento congiunto, confermando che il rilevatore stava apprendendo rappresentazioni più robuste e meno specifiche per la testa.

3.3 Risultati Diagnostici

• Attivazione Spuria: Nel regime di addestramento congiunto, specifici concetti (es. colore delle zampe) mostravano un alto disaccordo tra i rilevatori dell'ensemble. Questo disaccordo era direttamente collegato agli errori di predizione; congelando il simbolo contestato al consenso, spesso si correggeva la classificazione errata.
• Test Nulli: Le teste addestrate su CBM congiunti standard collassavano a un'accuratezza vicina al caso quando le identità dei concetti venivano permutate, confermando che i modelli si affidavano realmente alla specifica rilevazione dei concetti piuttosto che a correlazioni incidentali.

4. Significato e Rivendicazioni

L'articolo sostiene di fornire un quadro rigoroso per il test di stress dell'affidabilità dei CBM, andando oltre l'assunzione che un'elevata accuratezza implichi spiegazioni fedeli.

• Validazione del Leakage: Gli autori dimostrano che un'elevata accuratezza del compito può coesistere con simboli che "non significano più ciò che dichiarano", specialmente quando la supervisione dei concetti è debole o quando l'addestramento congiunto incoraggia le scorciatoie.
• Mitigazione Pratica: L'addestramento multi-testa con dropout dei concetti e la regolarizzazione consapevole dell'affidabilità offrono un metodo pratico per ridurre la fuga di informazioni senza sacrificare significativamente le prestazioni del compito.
• Utilità Diagnostica: Lo swap test e la decomposizione dell'incertezza forniscono diagnostiche azionabili per identificare quali concetti specifici sono soggetti ad attivazioni spurie, permettendo interventi mirati.

Gli autori concludono che, sebbene il loro addestramento consapevole dell'affidabilità mitighi il leakage, esso comporta un compromesso, riducendo talvolta leggermente l'accuratezza complessiva. Armonizzare alte prestazioni e rigorosa affidabilità rimane una sfida aperta per il lavoro futuro. L'articolo non pretende di risolvere tutti i problemi di XAI, ma affronta specificamente la fedeltà dello strato simbolico intermedio nei CBM.