Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

Sintesi Tecnica: Modelli a Collo di Concetto Spazialmente Radicati tramite Attenzione Partizionata per Parti

Problema
I Modelli a Collo di Concetto (CBM - Concept Bottleneck Models) offrono interpretabilità prevedendo attributi (concetti) nominati dall'uomo prima di effettuare una previsione finale della classe. Tuttavia, nei compiti di riconoscimento fine (ad esempio, distinguere le specie di uccelli), i CBM standard soffrono di un "gap di radicamento spaziale". Sebbene lo strato dei concetti rimanga numericamente interpretabile, l'attenzione spaziale di ogni testa di concetto non è vincolata. Una testa nominata per una specifica parte del corpo (ad esempio, "colore della gola") può soddisfare la perdita di addestramento (loss) concentrandosi su una regione diversa (ad esempio, una macchia sull'ala) se tale regione correla fortemente con l'attributo target. Di conseguenza, le decisioni del modello non sono radicate nell'anatomia nominata, rendendo inaffidabili le interazioni al tempo di test poiché agiscono sulla porzione a cui la testa si è agganciata piuttosto che sulla regione anatomica prevista.

Metodologia: PF-CBM (Part-Factorized CBM)
Il PF-CBM proposto impone il radicamento spaziale come una proprietà strutturale del grafo di propagazione (forward graph), costruito su un ViT-B/16 DINOv3 congelato. L'architettura è composta da tre componenti primarie:

1. Gate del Primo Piano Appreso (Learned Foreground Gate): Un piccolo MLP opera sulle caratteristiche dei patch di DINOv3 per produrre i logit per ogni patch. Questi vengono passati attraverso una funzione sigmoide per generare un gate $g \in [0, 1]$. Questo gate viene iniettato additivamente in spazio logaritmico nei logit dell'attenzione. Esso sopprime i patch dello sfondo senza richiedere maschere di segmentazione per singola immagine, rispondendo alla domanda binaria se un patch appartenga all'oggetto.
2. Teste di Attributi con Instradamento per Parti (Part-Routed Attribute Heads): Il modello impiega un insieme di $P=12$ query di parte apprendibili che effettuano una cross-attenzione sulle caratteristiche dei patch. Una mappa "concetto-parte" fissa, definita al tempo di compilazione, instrada ciascuno dei $C=312$ attributi verso un token di parte specifico. Ad esempio, l'attributo "colore della gola" legge esclusivamente dal token "gola". Questo vincolo strutturale impedisce a un concetto di accedere a caratteristiche al di fuori della sua regione anatomica assegnata.
3. Prior Spaziale Gaussiano Apprendibile (Learnable Gaussian Spatial Prior): Per evitare che le query di parte collassino in una posizione comune (ad esempio, il centroide dell'oggetto) a causa della simmetria di permutazione, un prior Gaussiano 2D apprendibile viene aggiunto ai logit dell'attenzione. La media ($\mu_p$) e la deviazione standard ($\sigma_p$) di questo prior sono parametri addestrabili. Fondamentalmente, $\mu_p$ è inizializzato offline utilizzando la posizione dei keypoint media del dataset per ogni parte. Questa inizializzazione richiede solo una piccola frazione di keypoint annotati e nessun supervisionamento per singola immagine durante l'addestramento o l'inferenza.

Obiettivo di Addestramento
Il modello viene addestrato in due fasi per bilanciare il radicamento e la classificazione:

• Fase 1: Il classificatore è congelato ($w_{cls}=0$). Il gate, l'attenzione delle parti e le teste degli attributi vengono addestrati utilizzando la perdita del concetto (cross-entropy binaria pesata per la certezza), la perdita del primo piano, la perdita di allineamento (se i keypoint sono disponibili) e un termine di entropia per incoraggiare la concentrazione dell'attenzione.
• Fase 2: Il classificatore è sbloccato ($w_{cls}=1$). Il modello si addestra congiuntamente, ma con un tasso di apprendimento per le componenti di radicamento (gate, attenzione, teste) che è un ordine di grandezza inferiore rispetto a quello del classificatore. Ciò evita che la pressione della classificazione sovrascriva lo stato spazialmente radicato stabilito nella Fase 1.

Risultati Chiave
Gli esperimenti sul dataset CUB-200-2011 dimostrano quanto segue:

• Performance vs. Radicamento: Il modello con prior spaziale raggiunge un'accuratezza di classificazione comparabile a un baseline completamente supervisionato (88,85% vs. 88,95% top-1) pur migliorando significativamente l'accuratezza di puntamento (52,6% vs. 36,4%).
• Rimozione del Supervisionamento per Singola Immagine: Sostituendo il supervisionamento tramite bounding-box con un target del primo piano derivato da PCA e combinandolo con il prior Gaussiano, il modello elimina tutto il supervisionamento per singola immagine. Questa configurazione "senza box" raggiunge l'88,85% di accuratezza top-1 e il 59,7% di accuratezza di puntamento.
• Efficienza di Annotazione: Uno studio sulle frazioni di keypoint rivela che inizializzare il prior Gaussiano con solo lo 0,5% del set di addestramento (circa 27 immagini) è sufficiente per ottenere prestazioni indistinguibili dall'uso dell'intero dataset.
• Necessità della Struttura: Rimuovere completamente il prior spaziale causa il collasso dell'accuratezza di puntamento al 2,9%, confermando che il prior è essenziale per rompere la simmetria di permutazione ed imporre la specializzazione delle parti.
• Comportamento delle Interviste (Intervention Behavior): L'addestramento sequenziale (congelare l'encoder dei concetti prima di addestrare il classificatore) produce un collo più calibrato con una minore informazione mutua tra concetto e classe, sebbene a scapito dell'accuratezza top-1. Ciò conferma che l'addestramento congiunto permette al modello di impacchettare segnali discriminativi nelle magnitudo dei concetti, mentre l'addestramento sequenziale impone una dipendenza più stretta dai concetti nominati.

Significatività e Rivendicazioni
L'articolo sostiene che il PF-CBM riesce a colmare il divario tra interpretabilità e radicamento spaziale. Rendendo il radicamento una garanzia strutturale piuttosto che un esito dell'ottimizzazione, il modello assicura che le previsioni dei concetti siano legate a specifiche regioni anatomiche. Ciò consente interazioni affidabili al tempo di test in cui la correzione di un concetto (ad esempio, "colore della gola") influenza direttamente la previsione attraverso l'evidenza anatomica corretta.

Il lavoro si distingue dagli approcci di radicamento "soft" (come DOT-CBM, che utilizza l'ottimale trasporto) imponendo una mappa di instradamento strutturale "hard". Sebbene ciò richieda un vocabolario di parti predefinito e una mappatura concetto-parte, fornisce un meccanismo facilmente verificabile in cui la corrispondenza tra concetti e regioni dell'immagine è fissata per design. Gli autori osservano che il metodo è più adatto a domini con oggetti singoli in pose canoniche (ad esempio, uccelli, volti) e che rimuovere completamente l'identità delle parti senza alcun segnale spaziale a livello di dataset rimane una sfida irrisolta.