Riepilogo Tecnico: Spiegazioni Abductive e Contrastive Basate su Concetti per i Comportamenti dei Modelli di Visione

Enunciato del Problema

I metodi esistenti per spiegare le previsioni delle reti neurali profonde (DNN) affrontano due limitazioni principali. In primo luogo, le spiegazioni basate su concetti (ConXps) si affidano tipicamente all'analisi di sensibilità o alla rimozione dei concetti per determinare l'impatto dei concetti semantici di alto livello sugli output del modello. Tuttavia, questi approcci spesso non riescono a stabilire connessioni causali rigorose, mancando specificamente della capacità di determinare se un concetto è necessario o sufficiente per una previsione, o di gestire scenari in cui più concetti interagiscono causalmente. In secondo luogo, i metodi formali di spiegazione abductiva e contrastiva forniscono garanzie matematicamente rigorose di minimalità e causalità, ma sono limitati a caratteristiche di basso livello (ad esempio, pixel), che mancano di interpretabilità umana. Inoltre, questi metodi formali faticano a scalare verso i moderni modelli di visione a causa del costo computazionale della risoluzione dei vincoli.

Esiste un vuoto nella letteratura per spiegazioni che siano simultaneamente:

1. Basate su concetti: Espresse in termini di concetti semantici comprensibili all'uomo.
2. Formali: Che garantiscano minimalità e rilevanza causale (sufficienza/necessità).
3. Scalabili: Applicabili ai modelli di visione all'avanguardia e capaci di spiegare i comportamenti su collezioni di immagini, non solo su singole istanze.

Metodologia

Gli autori propongono Spiegazioni Abductive e Contrastive Basate su Concetti (ConAXps e ConCXps), un framework che fonde la teoria formale delle spiegazioni con l'interpretabilità basata su concetti.

1. Rappresentazione e Rimozione dei Concetti

Per colmare il divario tra i modelli di visione e i concetti umani, gli autori sfruttano i Modelli Visione-Linguaggio (VLM), in particolare CLIP, come lente semantica.

• Vettori di Concetto: I vettori di concetto vengono estratti dal codificatore di testo di CLIP utilizzando didascalie descrittive. Questi vettori vengono mappati nello spazio di embedding del modello di visione tramite una trasformazione lineare appresa.
• Forza del Concetto: La forza di un concetto in un embedding di immagine è calcolata come la similarità coseno tra l'embedding e il vettore del concetto.
• Rimozione del Concetto: Per stabilire la causalità, il metodo "rimuove" i concetti dall'embedding. Il documento valuta tre procedure di rimozione:
  • Ortho (Proposta): Un'ottimizzazione vincolata che proietta l'embedding per renderlo ortogonale ai vettori dei concetti rimossi, preservando al contempo le proiezioni scalari dei concetti non rimossi.
  • SPLiCE: Utilizza una decomposizione sparsa non negativa per ricostruire gli embedding senza specifici concetti.
  • LEACE: Una trasformazione lineare in forma chiusa che rimuove le correlazioni lineari con un concetto modificando minimamente l'embedding.

2. Definizioni Formali

Gli autori estendono le definizioni formali delle spiegazioni allo spazio dei concetti:

• Spiegazione Abductiva Basata su Concetti (ConAXp): Un insieme minimo di concetti tale che il loro mantenimento (e la rimozione di tutti gli altri) è sufficiente a mantenere la previsione del modello.
• Spiegazione Contrastiva Basata su Concetti (ConCXp): Un insieme minimo di concetti tale che la loro rimozione (e il mantenimento di tutti gli altri) è sufficiente a cambiare la previsione del modello.

Queste definizioni si basano su un'assunzione di monotonia riguardante il layer di output del modello: aggiungere un concetto a una rappresentazione non cambia la previsione allontanandola dalla classe originale. Gli autori forniscono prove empiriche a supporto di questa assunzione.

3. Algoritmi di Enumerazione delle Spiegazioni

Per calcolare queste spiegazioni, il documento presenta tre algoritmi:

• NaiveEnum: Una ricerca esaustiva limitata in profondità che enumera insiemi di concetti partendo da singoli concetti. È computazionalmente costoso per vocabolari ampi, ma garantisce di trovare tutte le spiegazioni entro il limite di profondità.
• XpEnum: Adattato dalla letteratura sulle spiegazioni formali, questo algoritmo sfrutta la dualità tra spiegazioni abductive e contrastive (insiemi di copertura) per enumerare simultaneamente entrambi i tipi. Utilizza un approccio di insieme di copertura minimo per generare candidati.
• XpSatEnum: Un nuovo algoritmo progettato per gestire i comportamenti su collezioni di immagini. Prende spiegazioni iniziali da un enumeratore limitato da un budget e le "satura" verificando se sono valide su altre immagini nell'insieme del comportamento, massimizzando la sovrapposizione delle spiegazioni.

4. Aggregazione per il Comportamento

Piuttosto che spiegare singole immagini, il framework aggrega spiegazioni firmate (concetti con attivazione positiva o negativa) su un sottoinsieme del dataset (un "comportamento") per produrre un istogramma delle spiegazioni più frequenti. Ciò consente l'identificazione di pattern generali che guidano le decisioni del modello o le classificazioni errate.

Contributi Chiave

1. Nuova Nozione: L'introduzione di ConAXps e ConCXps, che forniscono spiegazioni minime e causalmente fondate in termini di concetti di alto livello piuttosto che pixel.
2. Suite Algoritmica: Lo sviluppo di tre algoritmi di enumerazione (NaiveEnum, XpEnum, XpSatEnum) che bilanciano la trattabilità computazionale con la completezza della scoperta delle spiegazioni.
3. Nuova Procedura di Rimozione: La proposta del metodo di rimozione Ortho, che offre una soluzione in forma chiusa per la rimozione dei concetti preservando le forze dei concetti non rimossi.
4. Analisi Comportamentale: Una metodologia per aggregare spiegazioni per immagine per spiegare i comportamenti del modello (ad esempio, specifici pattern di classificazione errata) su collezioni di immagini, dimostrando che un piccolo sottoinsieme di spiegazioni spesso copre la maggior parte dei casi.

Risultati Sperimentali

L'approccio è stato valutato su tre modelli di visione (CLIP zero-shot, ResNet18, VGG19) e due dataset (RIVAL-10, EuroSAT) su vari comportamenti (classificazioni corrette e classificazioni errate).

• Generalizzabilità: Le spiegazioni più frequenti (ConXps) sono rimaste stabili su sottoinsiemi disgiunti dello stesso comportamento, ottenendo punteggi elevati di Intersezione su Unione (IoU). Ciò indica che le spiegazioni catturano ragioni universali per il comportamento del modello piuttosto che rumore specifico dell'immagine.
• Copertura: Nonostante la potenziale presenza di migliaia di spiegazioni uniche, un sottoinsieme molto piccolo (tipicamente $K \le 10$) è stato sufficiente a coprire la maggior parte delle immagini in un comportamento. In molti casi, $K \le 5$ ha raggiunto una copertura completa.
• Parsimonia: Spiegazioni più brevi (contenenti 1 o 2 concetti) hanno dimostrato costantemente una copertura individuale superiore rispetto a spiegazioni più lunghe, supportando il principio del rasoio di Occam in questo contesto.
• Plausibilità: Utilizzando un LLM come giudice (Gemini 3 Pro) per valutare la rilevanza dei concetti, lo studio ha rilevato che i modelli si affidano generalmente a concetti plausibili (rilevanti). Tuttavia, una porzione significativa di spiegazioni era "parzialmente plausibile", indicando che i modelli spesso si affidano a un mix di caratteristiche rilevanti e correlazioni spurie (ad esempio, texture di sfondo).
• Efficienza: L'algoritmo XpEnum accoppiato alla rimozione Ortho o SPLiCE si è rivelato il più efficiente, calcolando spiegazioni per 700 immagini in 5–10 minuti. LEACE è risultato computazionalmente costoso a causa della necessità di dati di addestramento per calcolare trasformazioni affini per ogni rimozione.

Significato e Affermazioni

Il documento afferma che il suo approccio colma con successo il divario tra verifica formale e interpretabilità semantica. Fornendo insiemi minimi di concetti che sono causalmente sufficienti o necessari, il metodo offre spiegazioni che sono sia matematicamente rigorose sia comprensibili all'uomo.

Gli autori sottolineano che il loro metodo consente agli analisti di:

• Identificare spiegazioni generali e universali per i comportamenti del modello piuttosto che osservazioni isolate.
• Rilevare ragionamenti spurii identificando casi in cui le decisioni del modello si basano su concetti irrilevanti.
• Comprendere le decisioni del modello su collezioni di immagini, facilitando il debug di errori sistematici.

Il lavoro conclude che le spiegazioni brevi basate su concetti sono altamente efficaci per comprendere i modelli di visione e che il framework proposto offre un compromesso ragionevole tra scalabilità e qualità della spiegazione, rendendo l'analisi causale formale fattibile per i moderni sistemi di deep learning. Si suggerisce un lavoro futuro per applicare questi metodi ai Modelli Linguistici di Grande Dimensione (LLM) e ai Modelli Visione-Linguaggio (VLM) per affrontare comportamenti sequenziali.