Sintesi Tecnica: Concept-SAE

Problematica

Gli Sparse Autoencoder (SAE) standard si sono affermati come potenti strumenti per l'interpretabilità meccanicistica, consentendo la decomposizione delle attivazioni delle reti neurali in un dizionario di feature apprese. Tuttavia, la loro utilità rimane ampiamente passiva. Gli attuali flussi di lavoro richiedono ai ricercatori di ispezionare manualmente i token latenti, identificare le immagini con forti attivazioni e inferire visivamente i concetti sottostanti. Questo approccio è limitato perché verifica solo se un modello per caso codifica concetti specificati dall'uomo, piuttosto che permettere il test attivo, il probing o la valutazione sistematica di concetti che gli utenti desiderano esplicitamente monitorare.

I tentativi esistenti per colmare questa lacuna, come i Concept Bottleneck Models (CBM) o l'embedding dei concetti come vettori latenti, affrontano significativi svantaggi. I CBM spesso si affidano a segnali di presenza binaria che non riescono a disaggregare concetti ad alta dimensionalità o causano una "dispersione semantica" (semantic bleeding) in token non vincolati. Gli approoli basati sull'embedding, privi di una supervisione esplicita, tendono a deviare dai loro significati intesi, minando l'interpretabilità e limitando l'analisi aperta. Esiste la necessità di un framework che permetta un'interazione bidirezionale e attiva con i concetti definiti dall'utente, preservando al contempo la capacità del SAE di scoprire nuove feature non vincolate.

Metodologia: Concept-SAE

Gli autori propongono Concept-SAE, un framework che aumenta gli SAE standard con un'interfaccia strutturata, controllabile e invertibile. L'innovazione principale è una strategia di disaggregazione ibrida che decompone uno spazio di attivazione in due componenti ortogonali:

1. Token di Concetto (Supervisionati): Questi token sono allineati con semantiche specificate esternamente (ad es., "barba", "occhi"). Sono addestrati sotto una doppia supervisione:

   • Esistenza del Concetto: Un punteggio scalare che indica la presenza binaria del concetto.
   • Localizzazione Spaziale: Una maschera di segmentazione che indica la posizione spaziale del concetto all'interno della mappa delle feature.
     Questa doppia supervisione garantisce che i token siano fedeli, spazialmente radicati e chiaramente separati dallo spazio residuo.

2. Token Liberi (Non Supervisionati): Operano come i token degli SAE standard, catturando tutta l'informazione rimanente non coperta dai concetti predefiniti. Preservano la capacità del SAE per la scoperta passiva e aperta di feature.

Pipeline di Addestramento

Il processo di addestramento prevede una pipeline in quattro fasi (illustrata nella Fig. 1 del paper):

• Generazione delle Etichette: Un Modello Vision-Language (VLM) genera etichette di esistenza binaria e un modello di segmentazione produce maschere spaziali. Questi vengono fusi per creare annotazioni ground-truth pulite (sopprimendo le maschere se il concetto è assente).
• Tokenizer di Concetto ($T_{concept}$): Un encoder che mappa le feature del modello di visione allo spazio dei concetti, predendo punteggi di esistenza e maschere spaziali. È addestrato per minimizzare l'MSE tra le predizioni e la ground-truth, con una penalità L1 per incoraggiare la sparsità.
• Aggregatore di Concetto ($A_{concept}$): Un decoder che ricostruisce le feature originali del modello di visione a partire dalle rappresentazioni dei concetti predette. È addestrato per minimizzare l'errore di ricostruzione e allinea le sue distribuzioni di pesi interni con il Tokenizer tramite divergenza KL.
• Tokenizer e Aggregatore Liberi ($T_{free}, A_{free}$): Questi moduli sono addestrati congiuntamente ai moduli di concetto per ricostruire le feature residue. Sono addestrati senza supervisione esterna, basandosi unicamente sull'obiettivo di minimizzare l'errore di ricostruzione dell'output combinato (Concetto + Libero) rispetto alle feature originali.

Contributi Chiave

Il paper rivendica tre contributi primari:

1. Framework Concept-SAE: Un'architettura innovativa che dota gli SAE di un'interfaccia bidirezionale ad alta fedeltà per l'ispezione basata su concetti, consentendo la verifica e la manipolazione di concetti umani predefiniti.
2. Strategia di Disaggregazione Ibrida: Validazione sperimentale che dimostra come la strategia proposta produca rappresentazioni concettuali che sono straordinariamente fedeli, spazialmente localizzate e pulitamente disaggregate dallo spazio residuo dei token liberi, superando i metodi alternativi in termini di qualità dell'interfaccia.
3. Utilità Diagnostica: Dimostrazione che i punteggi dei concetti estratti riflettono accuratamente la certezza interna del modello e possono essere utilizzati per tre valutazioni diagnostiche specifiche:
   • Rilevamento: Identificazione di campioni di immagini avversarie.
     la Controllabilità: Esecuzione di editing controfattuali controllati per correggere le errate predizioni del modello.
   • Stabilità: Diagnosi delle vulnerabilità del modello tramite perturbazioni avversarie.

Risultati Sperimentali

Gli autori hanno valutato Concept-SAE su CelebA (classificazione del genere) e ImageNet-1k (classificazione di oggetti) utilizzando architetture ResNet-18 e Vision Transformer (ViT-B/32).

• Fedeltà e Localizzazione (RQ1): Rispetto al baseline Concept Embedding Model (CEM), Concept-SAE ha ottenuto Rapporti di Localizzazione significativamente più alti (ad es., 1.472 vs 1.019 su ResNet layer 5). Ciò indica che Concept-SAE isola con successo i concetti facciali dal rumore di fondo, mentre il CEM intrecciava i concetti con contenuti di sfondo irrilevanti. I token liberi hanno mantenuto ricche informazioni semantiche, confermando che l'introduzione di token supervisionati non ha diminuito la capacità di scoperta aperta.
• Rilevamento Avversario (RQ2): L'entropia dei punteggi dei concetti è stata utilizzata come metrica per la certezza del modello. Le predizioni errate e i campioni avversari hanno mostrato costantemente un'entropia più elevata (ambiguità) rispetto alle predizioni corrette. Un classificatore basato su soglia utilizzando questa entropia ha raggiunto punteggi AUC superiori (ad es., 0.974 su CelebA-ViT) rispetto a baseline consolidate come JPEG, Randomization e Feature Squeezing, provando che i punteggi riflettono fedelmente l'elaborazione interna.
• Controllabilità (RQ3): Il framework ha permesso l'editing controfattuale. Modificando i punteggi dei concetti (ad es., impostando "barba" a 0.0 o 1.0) e ricostruendo le feature tramite l'aggregatore, gli autori hanno potuto intervenire causalmente sull'output del modello. Ad esempio, aumentare i punteggi di "barba" ha corretto immagini maschili classificate erroneamente come femminili. Gli interventi sono stati più efficaci nei layer profondi di ViT e in entrambi i layer (superficiali e profondi) di ResNet.
• Diagnosi della Stabilità (RQ4): Gli autori hanno utilizzato la distanza di Jensen-Shannon (JS) tra le distribuzioni dei punteggi dei concetti di campioni puliti e avversari per misurare la vulnerabilità. I layer con distanze JS più elevate sono stati identificati come i più fragili. Il fine-tuning di questi specifici layer ha portato ai maggiori miglioramenti nella robustezza (ad es., un aumento dell'accuratezza del 40.77% su ResNet-18 quando tutti i layer sono stati sottoposti a fine-tuning), validando le rappresentazioni concettuali come uno strumento diagnostico preciso per localizzare le vulnerabilità del modello.

Significato e Rivendicazioni

Il paper posiziona Concept-SAE come un meccanismo validato che sposta l'interpretabilità basata su SAE dall'osservazione passiva all'interrogazione attiva. Fornendo un'interfaccia strutturata, permette ai ricercatori di:

• Valutare sistematicamente se un modello rappresenta concetti specifici.
• Indagare il ruolo causale di questi concetti nelle decisioni del modello.
• Diagnosticare i fallimenti e le vulnerabilità del modello con alta fedeltà.

Gli autori sottolineano che il loro approccio integra i tradizionali SAE anziché sostituirli, mantenendo la capacità di scoprire nuove feature pur aggiungendo uno strato di interpretabilità controllabile e allineata all'uomo. Il lavoro conclude che Concept-SAE offre un metodo affidabile, invertibile e spazialmente radicato per valutare e diagnosticare concetti definiti dall'utente nei modelli di visione.