Riepilogo Tecnico: Autoencoder Temporali Sparsi Residualizzati per l'Interpretazione dei Modelli Diffusivi

Enunciato del Problema

I modelli di diffusione testo-immagine generano immagini attraverso un processo iterativo di rimozione del rumore, causando che i livelli neurali interni producano traiettorie di attivazioni anziché singole rappresentazioni statiche. Sebbene gli Autoencoder Sparsi (SAE) siano stati recentemente applicati per decomporre le attivazioni diffusionali in direzioni di caratteristiche interpretabili, gli approcci esistenti analizzano tipicamente le attivazioni a singoli istanti temporali isolati, condizionano sul tempo o applicano SAE ad architetture come i Diffusion Transformers.

Un limite critico di questi metodi esistenti è che non tengono esplicitamente conto della forte correlazione temporale intrinseca nelle attivazioni diffusionali. Le attivazioni a istanti temporali adiacenti sono altamente correlate, con gran parte del segnale a un passo essendo linearmente prevedibile dal passo precedente. Addestrare un SAE direttamente su attivazioni grezze, concatenata temporalmente, rischia di sprecare la capacità del modello nell'apprendere queste dinamiche ridondanti e linearmente prevedibili, invece di catturare la struttura sparsa sottostante delle caratteristiche.

Metodologia

Gli autori propongono SAE Temporali Residualizzati, un framework progettato per apprendere caratteristiche sparse dalle traiettorie di attivazione separando esplicitamente le dinamiche linearmente prevedibili dalla struttura residua.

1. Raccolta e Preprocessing dei Dati

• Fonte: Le attivazioni sono raccolte dal ramo condizionale della U-Net in Stable Diffusion 1.5 durante la guida senza classificatore. Nello specifico, viene estratto il contributo residuo del livello di attenzione incrociata del blocco centrale (mid-block).
• Costruzione della Traiettoria: Per un'immagine generata, le attivazioni sono sottocampionate ogni $\ell$ passi di rimozione del rumore (ad esempio, $\ell=10$) per formare una sequenza di tensori di attivazione $\{a(\tau_i)\}$.

2. Residualizzazione Lineare

Per rimuovere la ridondanza temporale, il metodo adatta predittori lineari tra blocchi consecutivi di attivazione normalizzata:

• Normalizzazione: Le attivazioni sono normalizzate per ogni istante temporale utilizzando le statistiche del set di addestramento.
• Regressione Ridge: Per ogni transizione adiacente $i-1 \to i$, viene adattato un regressore ridge $(W_i, b_i)$ per prevedere l'attivazione corrente $\bar{a}_{q,i}$ dalla precedente $\bar{a}_{q,i-1}$.
• Calcolo del Residuo: Il residuo $r_{q,i} = \bar{a}_{q,i} - (W_i \bar{a}_{q,i-1} + b_i)$ cattura la componente dell'attivazione non linearmente prevedibile dal passo precedente.

3. Addestramento SAE su Traiettorie Residualizzate

L'input per l'SAE è un vettore concatenato $z_q$ costituito dall'attivazione iniziale e dai residui successivi:
$$z_q = [\bar{a}_{q,0}, r_{q,1}, \dots, r_{q,T-1}]$$
Un BatchTopK SAE viene addestrato su questa rappresentazione residualizzata. L'obiettivo è ricostruire l'input normalizzato imponendo la sparsità (mantenendo solo i $K$ latenti attivi superiori per batch). Questo incoraggia i latenti sparsi a catturare strutture che esistono oltre la deriva temporale linearmente prevedibile.

4. Interpretazione nello Spazio delle Attivazioni

Un componente chiave del metodo è mappare le caratteristiche apprese indietro nello spazio delle attivazioni originale per analizzarle come traiettorie:

1. Direzioni del Decodificatore: I vettori del decodificatore SAE sono inizialmente nello spazio residualizzato normalizzato.
2. De-normalizzazione: Vengono applicate scale per tornare allo spazio residualizzato normalizzato.
3. Integrazione delle Dinamiche Lineari: Le direzioni residue sono mappate indietro attraverso i predittori lineari adattati ($W_i$) per ricostruire la direzione completa della traiettoria nello spazio delle attivazioni normalizzate.
4. Mappatura Finale: Il risultato viene de-normalizzato per ottenere la traiettoria del decodificatore $\{\phi_{k,i}\}$ nelle unità originali di attivazione. Ciò permette di analizzare ogni latente come una traiettoria di caratteristica che evolve nel tempo di rimozione del rumore.

Contributi Chiave

1. SAE Temporali Residualizzati: L'introduzione di un metodo che separa le traiettorie di attivazione diffusionale in componenti linearmente prevedibili e residui, addestrando SAE specificamente su questi ultimi per evitare di modellare dinamiche temporali ridondanti.
2. Interpretazione del Decodificatore nello Spazio delle Attivazioni: Una derivazione che mappa le direzioni del decodificatore residualizzato indietro nello spazio delle attivazioni originale, consentendo l'analisi di ogni latente come una traiettoria di caratteristica spaziotemporale.
3. Caratterizzazione Empirica: Una valutazione completa su Stable Diffusion 1.5 che dimostra come queste rappresentazioni catturino direzioni strutturate temporalmente e localizzate spazialmente con effetti generativi semanticamente significativi.

Risultati e Valutazione

Prestazioni di Ricostruzione

• Superiorità della Residualizzazione: Sotto un budget fisso di sparsità a livello di traiettoria, le varianti residualizzate superano costantemente i corrispettivi non residualizzati (sia concatenati che per istante temporale) nell'Errore Quadratico Medio (MSE) e nella Varianza Spiegata (EV).
• Efficienza: Il modello Residualized Concatenated ottiene prestazioni di ricostruzione competitive utilizzando un singolo codice sparso per l'intera traiettoria, mentre le baseline per istante temporale richiedono codici distribuiti.
• Confronto con la Baseline: Il metodo supera una baseline Matryoshka SAE (che utilizza traiettorie non residualizzate e normalizzate per componente) nella qualità di ricostruzione.

Analisi della Struttura Spaziotemporale

• Specializzazione Temporale: I latenti mostrano profili temporali distinti. Le caratteristiche "precoci" tendono ad avere un supporto temporale ampio e un'alta auto-similarità tra istanti temporali, suggerendo che catturano concetti strutturali persistenti. Le caratteristiche "tardive" sono più specifiche per l'istante temporale e meno stabili temporalmente.
• Localizzazione Spaziale:
  • Le caratteristiche precoci mostrano un supporto spaziale positivo più ampio (maggiore entropia spaziale), spesso coprendo regioni diffuse o simili a bordi.
  • Le caratteristiche centrali e tardive sono più concentrate spazialmente (minore entropia), localizzandosi su aree specifiche simili a oggetti o regioni salienti.

Esperimenti di Steering

• Steering a Singola Caratteristica: L'intervento con latenti specifici produce effetti generativi visibili. Le caratteristiche precoci influenzano la struttura globale, mentre le caratteristiche centrali possono localizzare i cambiamenti (ad esempio, aggiungere gioielli a un busto). Le caratteristiche tardive hanno mostrato effetti semantici meno chiari in alcuni esempi.
• Trasferimento di Caratteristiche: Utilizzando il dataset RIEBench, gli autori hanno eseguito un trasferimento di caratteristiche da sorgente a target. Il modello Residualized Concatenated ha raggiunto il miglior equilibrio tra efficienza di modifica (migliorando la similarità CLIP con il prompt target) e preservazione della struttura dell'immagine sorgente (minimizzando la distanza LPIPS). Ha superato le varianti non residualizzate e per istante temporale nell'efficienza di modifica.

Significato e Affermazioni

Il documento afferma che gli SAE Temporali Residualizzati forniscono un framework utile per lo studio delle attivazioni diffusionali strutturate temporalmente. Rimuovendo esplicitamente la deriva linearmente prevedibile, il metodo permette ai latenti sparsi di concentrarsi sulla struttura non ridondante e semanticamente significativa del processo di generazione.

Gli autori sottolineano che il loro approccio differisce dai lavori precedenti apprendendo dizionari sparsi su traiettorie di attivazione residualizzate anziché su istanti temporali isolati o rappresentazioni temporali non residualizzate. La capacità di mappare questi latenti indietro nello spazio delle attivazioni come traiettorie permette una comprensione più profonda di quando e dove specifiche caratteristiche vengono espresse durante il processo di rimozione del rumore.

Limitazioni notate dagli autori:

• Gli esperimenti si concentrano su una singola fonte di attivazione U-Net (attenzione incrociata del blocco centrale) in Stable Diffusion 1.5.
• Gli esperimenti di steering sono qualitativi; il documento non afferma prestazioni ottimizzate di editing delle immagini, ma utilizza lo steering per validare l'interpretabilità e l'influenza causale delle caratteristiche apprese.