Riepilogo Tecnico: I Sogni Profondi Sono Fatti di Questo

Enunciato del Problema

Sebbene l'interpretabilità meccanicistica abbia fatto progressi significativi per le reti neurali convoluzionali (CNN) attraverso tecniche come la visualizzazione delle caratteristiche mediante ottimizzazione, l'applicazione di questi metodi ai Modelli di Diffusione Latente (LDM) presenta sfide uniche. Gli LDM operano in uno spazio latente compresso di un autoencoder variazionale (VAE) e utilizzano un processo iterativo di denoising condizionato da step temporali. I metodi classici di visualizzazione delle caratteristiche, che ottimizzano input nello spazio dei pixel per massimizzare l'attivazione di una caratteristica, falliscono in questo contesto a causa di:

1. Polisemanticità: Le caratteristiche neurali grezze spesso rappresentano simultaneamente molteplici concetti non correlati, rendendo le visualizzazioni incoerenti.
2. Vincoli dello Spazio Latente: L'ottimizzazione diretta nello spazio latente introduce modalità di fallimento come valori fuori range per il decoder (causando sovrasaturazione) e artefatti di rumore ad alta frequenza.
3. Complessità Temporale: Le caratteristiche nei modelli di diffusione possono essere attive in step temporali diversi per ragioni diverse, richiedendo un metodo per isolare condizioni di attivazione specifiche.
4. Limitazioni degli Strumenti Esistenti: I metodi attuali di interpretabilità per la diffusione, come gli esempi di dataset e l'orientamento delle caratteristiche (feature steering), sono limitati dal contenuto del dataset o rivelano solo effetti a valle piuttosto che gli input specifici che attivano una caratteristica.

Metodologia: Visualizzazione Latente mediante Ottimizzazione (LVO)

Gli autori propongono la Visualizzazione Latente mediante Ottimizzazione (LVO), una tecnica che estende la visualizzazione delle caratteristiche mediante ottimizzazione agli LDM. L'obiettivo principale è ottimizzare un vettore latente $z_{opt}$ tramite discesa del gradiente per attivare massimamente una specifica caratteristica target. Il metodo introduce quattro componenti specifiche per la diffusione:

1. Analisi dell'Attività per Step Temporale: Invece di visualizzare le caratteristiche attraverso tutti i 1.000 step temporali, il metodo identifica i "picchi di attività" in cui una caratteristica si trova più frequentemente tra le attivazioni top-$k$ attraverso il dataset. Le visualizzazioni sono generate specificamente per questi step temporali di picco per isolare il ruolo della caratteristica in quella fase del denoising.
2. Ottimizzazione nello Spazio Latente: L'ottimizzazione avviene all'interno dello spazio latente del VAE e non nello spazio dei pixel per evitare i costi computazionali e gli artefatti del gradiente associati alla retropropagazione attraverso il decoder.
3. Iniezione di Rumore Adattata allo Scheduler: Per mantenere la corretta condizione per l'U-Net, il latente ottimizzato viene re-rumoreizzato ad ogni passaggio in avanti utilizzando i coefficienti dello scheduler dello step temporale target ($z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$). Questo garantisce che il modello veda il rapporto segnale-rumore atteso.
4. Inizializzazione dal Prior: L'ottimizzazione è inizializzata da un'immagine "prior" generata orientando la caratteristica target sui suoi step temporali attivi. Questo mantiene la traiettoria di ottimizzazione all'interno del manifold interpretabile, prevenendo il collasso in rumore ad alta frequenza.

Strategie di Regularizzazione:
Per contrastare il rumore ad alta frequenza e gli artefatti nello spazio latente, gli autori impiegano una pila di regolarizzatori:

• Trasferiti nello Spazio dei Pixel: Robustezza alla trasformazione (jitter, rotazione, ridimensionamento), filtraggio spettrale (attenuazione dei gradienti ad alta frequenza) e smoothing del gradiente.
• Penalità Specifiche per il Latente: Una Penalità di Range (che penalizza i valori fuori dal range di addestramento del decoder, tipicamente $[-3, 3]$) e una Penalità di Momento (mantenendo media e varianza del latente vicini a una distribuzione normale standard).

Disaccoppiamento tramite SAE:
Lo studio confronta due varianti:

• Baseline Livello Grezzo: Ottimizza un singolo canale di attivazione grezzo.
• Variante SAE: Utilizza un Autoencoder Sparsamente (SAE) addestrato sul livello per disaccoppiare le rappresentazioni polisemantiche in caratteristiche monosemantiche prima dell'ottimizzazione.

Contributi Chiave

1. Framework LVO: La proposta di una pipeline completa per la visualizzazione delle caratteristiche negli LDM, integrando analisi degli step temporali, iniezione di rumore adattata allo scheduler, inizializzazione dal prior e regolarizzazione specifica per il latente.
2. Baseline di Disaccoppiamento: La fornitura di una baseline controllata a livello grezzo per isolare i guadagni di interpretabilità forniti dal disaccoppiamento tramite SAE.
3. Ablazione della Regularizzazione: La prima ablation sistematica dei regolarizzatori nello spazio dei pixel nel dominio latente, rivelando che le strategie di regolarizzazione ottimali differiscono significativamente tra le varianti a livello grezzo e SAE (ad esempio, le caratteristiche SAE beneficiano delle penalità di momento ma sono ipersensibili alla variazione totale e allo smoothing del gradiente).
4. Insight Complementare: La dimostrazione che LVO fornisce intuizioni distinte dagli esempi di dataset e dall'orientamento rivelando direttamente le condizioni di input che attivano una caratteristica.

Risultati

Il metodo è stato valutato su Stable Diffusion 1.5 fine-tunato sul dataset Style50, prendendo di mira specificamente il livello up_blocks.1.attentions.1.

• Baseline Polisemantica: L'ottimizzazione delle attivazioni del livello grezzo ha prodotto visualizzazioni spesso incoerenti o che mescolavano molteplici concetti (ad esempio, mescolando parti di animali come occhi e pelliccia senza formare un animale riconoscibile). L'orientamento su queste caratteristiche grezze ha prodotto immagini generiche e non informative.
• Caratteristiche Monosemantiche SAE: LVO basato su SAE ha prodotto visualizzazioni chiare e coerenti di concetti riconoscibili attraverso più semi e step temporali. Esempi notevoli includono:
  • Caratteristica 9984: Ha visualizzato coerentemente una "composizione diagonale" (tratti orientati da in alto a sinistra a in basso a destra), un concetto strutturale non ovvio dagli esempi di dataset diversificati.
  • Caratteristica 10331: Ha raffigurato chiaramente figure umane.
  • Altre Caratteristiche: Ha visualizzato con successo parti di oggetti (cavi, rose), texture (schiuma di cascata) e prospettiche.
• Effetti della Regularizzazione: La calibrazione ha mostrato che l'inizializzazione dal prior era essenziale per prevenire il collasso del rumore. Inoltre, termini di regolarizzazione come la robustezza alla trasformazione e le penalità di momento hanno aiutato l'ottimizzatore a sfuggire a massimi locali non interpretabili, rivelando strutture più chiare (ad esempio, trasformando una texture "morbida" in una distinta struttura di cavo).

Significato e Affermazioni

Il documento afferma che LVO riempie una nicchia critica nell'interpretabilità dei modelli di diffusione. Mentre gli esempi di dataset sono limitati dalla diversità dei contenuti e l'orientamento rivela effetti a valle, LVO risponde direttamente alla domanda "cosa attiva una caratteristica". Gli autori sottolineano che la tecnica è praticabile solo combinando tutti e quattro i componenti proposti (analisi degli step temporali, iniezione di rumore, inizializzazione dal prior e regolarizzazione appropriata).

Il lavoro è inquadrato principalmente come uno strumento per l'interpretabilità difensiva, a supporto della revisione della sicurezza, dell'oblio mirato dei concetti e della moderazione dei contenuti. Gli autori riconoscono un rischio di doppio uso in cui l'identificazione delle attivazioni delle caratteristiche potrebbe teoricamente aiutare a bypassare i filtri di sicurezza, ma valutano questo rischio come limitato dato che i modelli sottostanti e gli SAE sono già pubblici e il metodo rivela le cause dell'attivazione piuttosto che le tecniche di soppressione.

Lo studio conclude che LVO porta alla luce caratteristiche strutturali e compositive (come disposizioni diagonali) che sono invisibili all'ispezione standard degli esempi di dataset, offrendo una prospettiva complementare essenziale per lo studio meccanicistico dei modelli di diffusione latente.