Riepilogo Tecnico: OCCAM – Spiegazione Causale di Concetti in Set Aperto e Induzione di Ontologia per Modelli Visivi Black-box

Enunciato del Problema

I classificatori di immagini profondi hanno raggiunto prestazioni vicine a quelle umane, tuttavia i loro processi decisionali rimangono opachi, in particolare negli ambienti black-box dove gradienti interni, attivazioni e dettagli architetturali sono inaccessibili (ad esempio, sistemi distribuiti e API di terze parti). I metodi di spiegazione esistenti affrontano due limitazioni primarie in questo regime:

1. I metodi basati sull'attribuzione (ad esempio, mappe di salienza, LIME, SHAP) operano su unità spaziali (pixel/patch) piuttosto che su concetti semantici, producendo mappe di rilevanza continue che mancano di una struttura semantica esplicita e richiedono un'interpretazione manuale.
2. I metodi basati sui concetti si affidano tipicamente a vocabolari predefiniti in set chiuso o banche di concetti curate, limitando la loro capacità di spiegare entità nuove o di gran finezza riscontrate in scenari reali a set aperto. Inoltre, la maggior parte delle tecniche opera localmente, spiegando singole previsioni senza fornire un meccanismo principiato per derivare intuizioni globali coerenti o scoprire bias sistematici del modello.

Esiste un bisogno critico di framework di spiegazione che siano simultaneamente black-box, in set aperto e causali.

Metodologia

OCCAM (Open-set Causal Concept explAnation and ontology induction for black-box vision Models) riformula l'interpretazione del modello come un processo di potatura interazionale strutturata. Il framework opera rigorosamente sotto accesso solo tramite query, non richiedendo pesi interni del modello. È composto da tre fasi principali:

1. Analisi Concettuale Interazionale Locale

Per una data immagine di input $x$ e un classificatore pre-addestrato $f$:

• Proposta di Concetti in Set Aperto ($\Phi$): Un Modello Linguistico Multimodale (MLLM) propone un insieme di concetti semantici specifici per l'istanza $\{k_1, ..., k_N\}$ da un universo a apertura infinita, piuttosto che da un vocabolario fisso.
• Ancoraggio dei Concetti ($\Psi$): Un modello di segmentazione condizionato dal testo (ad esempio, SAM) mappa ogni concetto proposto in una maschera di segmentazione binaria $m_i$, identificando il suo supporto spaziale. I concetti che non producono maschere valide vengono scartati.
• Potatura Causale ($R$): Un modello di inpainting (ad esempio, LaMa) rimuove il supporto visivo di ogni concetto ancorato in modo indipendente, creando un'immagine interviata $\tilde{x}_i$.
• Stima del Contributo Causale: Il framework misura la variazione nella confidenza del classificatore per la classe originariamente prevista $\hat{y}$:
  $$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$$
  Un punteggio più alto indica che il concetto fornisce un supporto causale positivo più forte per la decisione.

2. Induzione di Ontologia Globale

Oltre alle spiegazioni locali, OCCAM aggrega le evidenze interazionali su tutto il dataset per indurre un'ontologia concettuale strutturata.

• Struttura: L'ontologia è formalizzata come un grafo della conoscenza (RDF/OWL) in cui i nodi rappresentano classi, immagini, concetti ed entità di evidenza causale (contenenti punteggi e artefatti).
• Emergenza: Le dipendenze globali concetto-classe e inter-concetto non sono imposte dall'alto verso il basso ma emergono dall'aggregazione degli attributi interazionali archiviati.
• Ragionamento: Questa ontologia consente interrogazioni strutturate e ragionamento sul comportamento globale del modello, rivelando dipendenze stabili, pattern compositivi e relazioni causali latenti che le spiegazioni isolate per immagine potrebbero trascurare.

3. Metriche di Valutazione

Il framework è valutato utilizzando:

• Metriche di Potatura Causale: Percentuale di Caduta Media (ADP), Percentuale di Caduta Massima (MDP) e Caduta Massima Assoluta del Logit (MAD) per quantificare l'impatto della rimozione dei concetti sulla confidenza del modello.
• Metriche di Ancoraggio: Gioco di Indicazione basato sull'Energia (EPG), Accuratezza della Regione Normalizzata (NRA) e Tasso di Colpo per valutare l'allineamento spaziale con le maschere ground-truth.
• Qualità del Ragionamento: I report generati da LLM utilizzando riepiloghi non strutturati, JSON piatti e ragionamento basato sull'ontologia sono valutati da LLM indipendenti e valutatori umani per coerenza e fedeltà.

Contributi Chiave

1. Framework OCCAM: Un framework strettamente black-box per la spiegazione causale in set aperto tramite interventi strutturati a livello di oggetto, richiedendo solo accesso tramite query al classificatore visivo.
2. Costruzione Principiata di Ontologia: Una procedura che aggrega effetti causali a livello di concetto su tutte le immagini per costruire un'ontologia concettuale globale emergente senza fare affidamento su vocabolari predefiniti o rappresentazioni interne.
3. Ragionamento Guidato dall'Ontologia: Dimostrazione che il ragionamento sull'ontologia indotta consente spiegazioni più profonde, svelando dipendenze concettuali stabili e relazioni causali latenti non rilevate dalle analisi isolate per immagine.
4. Prestazioni all'Avanguardia: Raggiungimento di risultati competitivi o superiori sui dataset Broden e ImageNet-S in condizioni rigorose di set aperto e black-box, superando i concorrenti white-box a set chiuso nell'efficacia della potatura causale.
5. Estendibilità Multimodale: Validazione che il framework si estende naturalmente ai classificatori visione-linguaggio (ad esempio, CLIP, SigLIP), fornendo un meccanismo di spiegazione unificato attraverso architetture unimodali e multimodali.

Risultati Sperimentali

Gli esperimenti sono stati condotti su ResNet18, ResNet50, ViT-B/16 e varie varianti CLIP/SigLIP utilizzando i dataset Broden e ImageNet-S.

• Potatura Causale: OCCAM ha indotto consistentemente riduzioni di confidenza più forti rispetto al metodo a set chiuso all'avanguardia CE-FAM. Ad esempio, su ResNet50, OCCAM ha raggiunto una Percentuale di Caduta Media (ADP) del 47,19% rispetto al 44,18% di CE-FAM, e una Percentuale di Caduta Massima (MDP) del 93,89% contro l'84,14%. Ciò indica che OCCAM identifica evidenze più critiche per la decisione.
• Validità dell'Ancoraggio: Nonostante operi in un regime black-box a set aperto, OCCAM ha raggiunto punteggi di localizzazione competitivi (ad esempio, EPG di 0,65 su ResNet50 per ImageNet-S) rispetto ai metodi white-box, dimostrando che l'ancoraggio interazionale a livello di oggetto produce regioni spazialmente allineate e semanticamente significative.
• Ragionamento Ontologico: Nelle valutazioni di spiegazione globale, il ragionamento basato sull'ontologia ha ottenuto i punteggi più alti (media 4,78/5) rispetto ai riepiloghi non strutturati (4,31) e al JSON piatto (4,23). Ciò suggerisce che strutturare formalmente le evidenze causali migliora significativamente la coerenza e la fedeltà delle spiegazioni globali del modello.
• Robustezza Multimodale: Quando applicato a CLIP e SigLIP, la rimozione progressiva dei 3 concetti più influenti ha causato una diminuzione monotona dell'accuratezza zero-shot. Notabilmente, SigLIP si è dimostrato più robusto delle varianti CLIP, suggerendo che le sue decisioni si basano su evidenze più distribuite piuttosto che su un piccolo insieme di regioni ad alto impatto.

Significato e Affermazioni

Il documento afferma che OCCAM offre un cambiamento di paradigma nell'interpretazione del modello riformulandola come potatura interazionale strutturata. Il suo significato primario risiede in:

• Colmare il Divario: Affronta con successo il trilemma "black-box, set aperto, causale", un regime in cui i metodi esistenti faticano.
• Intuizione Globale: Spostandosi oltre l'attribuzione per immagine, fornisce un meccanismo per derivare intuizioni globali coerenti e scoprire bias sistematici del modello attraverso un'ontologia emergente.
• Conoscenza Basata sul Comportamento: L'ontologia indotta non è imposta esternamente ma deriva direttamente dagli effetti causali misurati, offrendo una rappresentazione interrogabile di come i classificatori organizzano le evidenze visive.
• Meccanismo Unificato: Dimostra che gli interventi a livello di input forniscono un meccanismo di spiegazione unificato applicabile sia ai modelli visivi tradizionali che alle moderne architetture multimodali, senza richiedere l'accesso alle rappresentazioni interne.

Gli autori concludono che questa prospettiva incoraggia lavori futuri sull'induzione di conoscenza basata sul comportamento e sul ragionamento strutturato per l'IA spiegabile.