Naming the Concepts Classifiers Rely On: Language-Anchored Decomposition for Faithful Explanation

Sintesi Tecnica: Language-Anchored Decomposition (LAD)

1. Problematica

Le reti neurali profonde impiegate in applicazioni visive ad alto rischio richiedono interpretabilità, eppure i metodi di spiegazione esistenti affrontano un compromesso fondamentale tra fedeltà (allineamento con il reale processo decisionale del modello) e denominazione (etichette semantiche leggibili dall'uomo).

• I metodi di scoperta di concetti post-hoc (es. TCAV, ACE, CRAFT, FACE) sono fedeli al comportamento del modello ma producono fattori non denominati. Lo stesso indice di fattore può corrispondere a elementi visivi diversi tra le immagini, richiedendo una denominazione post-hoc che manca di coerenza.
• I metodi basati sulla denominazione e sul design (es. Concept Bottleneck Models, approcci di denominazione dei neuroni come LaViSE) forniscono nomi leggibili dall'uomo ma spesso richiedono l'addestramento del modello o la modifica della sua architettura. Di conseguenza, il modello spiegato non è più quello distribuito, oppure le unità denominate non sono verificate come causalmente responsabili delle predizioni.

Nessun metodo precedente è riuscito a fornire concetti che siano simultaneamente denominati, fedeli al classificatore congelato e ottenuti senza modificare il modello.

2. Metodologia: Language-Anchored Decomposition (LAD)

LAD affronta questo divario invertendo il processo standard di Non-Negative Matrix Factorization (NMF). Inveve di apprendere i coefficienti latenti e denominarli successivamente, LAD fissa i coefficienti a mappe ancorate al linguaggio e apprende solo la base concettuale.

Framework Core:

1. Configurazione: Dato un encoder pre-addestrato e congelato $f$ e una testa di classificazione $g$, LAD opera sulle mappe di caratteristiche spaziali $Z$ prodotte dall'encoder. A differenza dei metodi che aggregano globalmente le caratteristiche, LAD dispiega le attivazioni per preservare la località spaziale, trattando ogni posizione spaziale come un'osservazione indipendente.
2. Coefficienti Ancorati al Linguaggio ($S$):
   • Per una classe target, un Large Language Model (LLM) genera un vocabolario di concetti visivamente radicati specifico per la classe (es. "orecchie appuntite", "occhi verdi").
   • Viene utilizzata la similitudine immagine-testo di CLIP per localizzare questi concetti attraverso le regioni dell'immagine, creando mappe di similitudine spaziale.
   • Queste mappe vengono appiattite e impilate per formare una matrice di coefficienti fissi $S \in \mathbb{R}^{(nhw) \times r}$, dove le righe rappresentano le posizioni spaziali e le colonne i concetti denominati.
3. Fattorizzazione Invertita:
   • La NMF standard apprende sia i coefficienti ($U$) che la base ($W$) tali che $A \approx UW^\top$.
   • LAD fissa i coefficienti alla matrice ancorata al linguaggio $S$ e apprende solo la base concettuale $W$ per ricostruire le attivazioni dell'encoder: $\hat{\bar{A}} \approx SW^\top$.
   • L'ottimizzazione minimizza l'errore di ricostruzione $\|\bar{A} - SW^\top\|_F^2$ sotto vincoli di non negatività utilizzando la Projected Gradient Descent (PGD).
4. Inferenza: Per nuove immagini, la base $W$ è fissa e i coefficienti non negativi $\hat{S}$ vengono stimati tramite non-negative least squares. Questi coefficienti vengono rimodellati in mappe di calore spaziali, fornendo spiegazioni localizzate e denominate.

Meccanismo Chiave: L'ancora linguistica agisce come un vincolo strutturale. La geometria delle caratteristiche dell'encoder congelato determina quali concetti denominati vengono mantenuti (assegnando loro pesi della base non nulli), mentre i concetti incoerenti con l'evidenza dell'encoder vengono soppressi.

3. Contributi Chiave

• Un Nuovo Framework Post-hoc: LAD è il primo framework che produce concetti che sono denominati, fedeli e ottenuti senza riaddestrare il modello. Ciò lo ottiene fissando le mappe di similitudine CLIP ancorate al linguaggio come matrice dei coefficienti in una decomposizione di tipo NMF.
• Ancora Linguistica Funzionale: Il documento dimostra che l'ancora linguistica non è meramente cosmetica. Rimuovendo l'ancora (tornando alla NMF non supervisionata standard), si preserva l'accuratezza della classificazione ma si verifica un drastico crollo della fedeltà dell'attribuzione (specificamente nei test di cancellazione del concetto). Ciò prova che l'ancora orienta la scoperta verso strutture significative per il classificatore.
• Rollout di Concetti Denominati per Immagine: A differenza dei baseline che producono fattori anonimi, LAD consente i rollout per singola immagine dove i concetti denominati specifici utilizzati per una predizione sono localizzati, classificati per importanza e annotati con il loro contributo alla ricostruzione.
• Valutazione Esaustiva: Il metodo è valutato su immagini naturali (ImageNet), scene (Places365) e un dominio clinico (immagini del fondo retinico), dimostrando robustezza attraverso diversi compiti visivi.

4. Risultati

• Fedeltà: Su ImageNet e Places365, LAD preserva l'accuratezza top-1 (comparabile ai baseline) pur ottenendo i punteggi di Concept Insertion (C-Ins) più elevati, indicando che i suoi concetti denominati sono sufficienti a ripristinare le predizioni.
• Performance di Cancellazione: Sebbene il metodo FACE (che ottimizza congiuntamente coefficienti e base) superi leggermente LAD in termini di Concept Deletion (C-Del) su immagini naturali, LAD supera significativamente tutti i baseline nel dominio clinico (fondo retinico). Nei contesti clinici, dove le firme delle malattie sono spazialmente focali, i concetti denominati di LAD sono i più decisivi dal punto di vista causale, portando a un punteggio C-Del di 0.954 rispetto allo 0.863 di FACE.
• Studi di Ablazione:
  • Ancora Linguistica: Sostituire i coefficienti linguistici fissi con quelli appresi riduce il C-Del da 0.902 a 0.507, confermando il ruolo dell'ancora nella scoperta di direzioni fedeli.
  • Budget di Concetti: Aumentare il numero di concetti ($r$) migliora monotonicamente la fedeltà senza sacrificare l'accuratezza.
• Efficienza: LAD è computazionalmente efficiente, elaborando una classe in 0.03 secondi su una RTX A4500, significativamente più veloce di FACE (2.6s) e CRAFT (0.5s).

5. Significato e Rivendicazioni

Il documento sostiene che LAD riesce a colmare il divario tra attribuzione fedele e interpretabilità umana senza compromettere l'integrità del modello distribuito.

• Denominazione Strutturale vs. Cosmetica: Gli autori sottolineano che la denominazione in LAD è una proprietà strutturale della fattorizzazione, non un'etichetta post-hoc. La geometria delle caratteristiche del modello stesso determina quali concetti sono rilevanti, mitigando i bias noti dei modelli di tipo CLIP sopprimendo i concetti incoerenti con l'evidenza dell'encoder.
• Evidenza Auditabile: In domini ad alto rischio come l'imaging medico, LAD fornisce un "registro auditabile" dove un lettore può ispezionare non solo dove il modello guarda, ma anche cosa attribuisce a quella regione (es. "strutture simili a drusen"). Ciò consente di rilevare discrepanze tra l'evidenza visiva del modello e la sua attribuzione semantica.
• Generalizzabilità: L'approccio si dimostra efficace attraverso immagini naturali, comprensione delle scene e diagnostica clinica, suggerendo che fissare i coefficienti ancorati al linguaggio è una strategia valida per creare modelli visivi trasparenti dove il contenuto di una decisione è critico quanto la sua accuratezza.