Spatially Grounded Concept-Based Image Classification

Riepilogo Tecnico: SEG-MIL-CBM

Definizione del Problema
Le reti neurali profonde spesso raggiungono un'elevata accuratezza facendo affidamento su correlazioni spurie o evidenze difficili da ispezionare, particolarmente in contesti ad alto rischio. Sebbene i Modelli a Collo di Bottiglia Concettuale (CBM) offrano un ragionamento interpretabile dall'uomo mappando le immagini in concetti definiti dall'uomo, la maggior parte dei CBM esistenti tratta i concetti come attributi globali. Questo approccio globale non riesce a identificare quali regioni specifiche dell'immagine supportino un concetto, lasciando un divario tra la predizione e la sua spiegazione. Inoltre, i CBM spazialmente radicati (ad esempio, SALF-CBM) localizzano l'evidenza ma non tengono esplicitamente conto di come l'evidenza a livello di regione venga aggregata nel logit decisionale finale, risultando spesso in spiegazioni separate dal calcolo che produce la predizione.

Metodologia: SEG-MIL-CBM
Gli autori propongono SEG-MIL-CBM (Classificazione di Immagini Basata su Concetti Spazialmente Radicata), un modello progettato per decomporre le immagini in regioni guidate dai concetti e classificarle tramite l'aggregazione basata sull'attenzione dell'evidenza a livello di segmento. L'innovazione principale è che gli stessi termini di evidenza del segmento utilizzati per formare la predizione vengono letti direttamente per generare la spiegazione, eliminando la necessità di un modulo di attribuzione post-hoc separato.

La pipeline consiste in quattro fasi:

1. Pre-elaborazione Offline: Utilizzando modelli fondativi pre-addestrati (CLIP, GroundingDINO e SAM), il sistema genera una "sacca" (bag) di segmenti guidati dai concetti per ogni immagine. GroundingDINO localizza i concetti e SAM produce maschere binarie. Questi segmenti vengono memorizzati insieme ai target di similarità concettuale di CLIP congelati.
2. Codifica del Segmento: Un modello addestinabile codifica ogni segmento utilizzando un backbone condiviso ($\phi$) per prodere le caratteristiche ($h_i$). Una testa concettuale lineare proietta queste caratteristiche in uno spazio concettuale per ottenere attivazioni concettuali apprese ($z_i$).
3. Aggregazione Responsabile (MIL): Il modello impiega un framework di Multiple Instance Learning (MIL) basato sull'attenzione. Calcola pesi di attenzione condizionati alla classe ($\alpha_{i,y}$) per ogni segmento e aggrega i punteggi segmento-classe ($g_{i,y}$) in un logit a livello di immagine ($\ell_y = \sum \alpha_{i,y} g_{i,y}$).
4. Generazione della Spiegazione: Il logit finale è una somma di contributi espliciti del segmento. La spiegazione è derivata leggendo i termini di evidenza non-bias ($C^{sp}_{i,y}$) da questa decomposizione. Ciò rivela quali regioni hanno contribuito positivamente alla predizione e quali concetti specifici all'interno di quelle regioni hanno fornito tale supporto.

L'obiettivo di addestramento combina la perdita di cross-entropy a livello di immagine con una perdita di allineamento del coseno tra le attivazioni concettuali apprese e i target CLIP congelati, garantendo la coerenza semantica senza richiedere etichette esplicite di concetti o gruppi durante l'addestramento.

Contributi Chiave

• Aggregazione Responsabile: Gli autori formulano la predizione concettuale spaziale in modo tale che ogni punteggio della regione visualizzata sia letto direttamente dal termine di evidenza del segmento non-bias nella decomposizione del logit, creando una predizione e una spiegazione unificate.
• Validazione della Fedeltà: Attraverso esperimenti di cancellazione e inserimento a livello di segmento sul dataset CUB, il documento valida quantitativamente che il ranking dei segmenti appreso sia fedele al percorso di predizione del modello stesso, superando i controlli basati sulla salienza grezza di CLIP, l'area del segmento e il ranking casuale.
• Trade-off Interpretabilità-Robustezza: Il modello dimostra che un design orientato all'interpretabilità può preservare un'accuratezza di riconoscimento competitiva pur migliorando l'accuratezza del worst-group rispetto ai baselines della famiglia CBM valutati. Espone esplicitamente il trade-off di Pareto tra l'interpretabilità e la massima accuratezza del worst-group raggiungibile dai metodi non interpretabili e robusti ai gruppi.

Risultati

• Robustezza del Gruppo: Sul dataset Waterbirds (un benchmark per le correlazioni spurie dello sfondo), SEG-MIL-CBM migliora l'accuratezza del worst-group dal 65,1% (SALF-CBM) al 72,0%. Sul dataset sintetico Pawrious, raggiunge un'accuratezza del worst-group dell'87,4%, superando significativamente i baselines CBM globali che non riescono a mitigare le scorciatoie dello sfondo.
• Riconoscimento Standard: Il modello rimane competitivo nei compiti di riconoscimento standard, raggiungendo la migliore accuratezza CBM su CIFAR-100 (85,3%) e migliorando rispetto ai precedenti CBM spaziali su Places365 e CUB.
• Fedeltà: Su CUB, il modello ottiene i migliori valori di Deletion/Insertion AUC (DAUC/IAUC: 0,444/0,670) tra i controlli valutati. I test di inserimento Top-1 mostrano che mantenere solo i segmenti con il ranking più alto preserva la predizione originale nel 90,5% delle immagini.
• Ablazione: Gli esperimenti confermano che i guadagni di prestazione sono guidati dall'aggregazione esplicita dell'evidenza localizzata piuttosto che da bypass di caratteristiche nascoste, e che la perdita di allineamento concettuale è cruciale per mantenere l'interfaccia semantica utilizzata nelle spiegazioni.

Significatività e Rivendicazioni
Il documento afferma che SEG-MIL-CBM fornisce una forma di spiegazione più forte fungendo da "traccia di audit" della predizione stessa. A differenza dei metodi post-hoc che attaccano heatmap a classificatori separati, SEG-MIL-CBM assicura che l'evidenza della regione visualizzata sia intrinseca al calcolo in avanti (forward computation).

Gli autori posizionano SEG-MIL-CBM non come un sostituto dei metodi non interpretabili e robusti ai gruppi (che possono raggiungere un'accuratezza del worst-group superiore su dataset specifici come Waterbirds), ma come un punto distinto sulla frontiera di Pareto. Esso offre un compromesso in cui i professionisti ottengono un conto spazialmente radicato e a livello di concetto del perché è stata presa una decisione — identificando specificamente quali parti dell'oggetto o regioni dello sfondo hanno supportato la predizione — mantenendo al contempo un'accuratezza competitiva e una migliore robustezza rispetto ad altri baselines interpretabili. Il lavoro sottolinea che questo approccio rende i fallimenti (ad esempio, la dipendenza dalle scorciatoie dello sfondo) più ispezionabili rispetto ai modelli a collo di bottiglia globale, anche se non garantisce l'eliminazione di tutte le scorciatoie.