Résumé Technique : Autoencodeurs Temporels Épars Résiduels pour l'Interprétation des Modèles de Diffusion

Énoncé du Problème

Les modèles de diffusion texte-vers-image génèrent des images par un processus itératif de débruitage, ce qui amène les couches neuronales internes à produire des trajectoires d'activations plutôt que des représentations statiques uniques. Bien que les Autoencodeurs Epars (SAE) aient récemment été appliqués pour décomposer les activations de diffusion en directions de caractéristiques interprétables, les approches existantes analysent généralement les activations à des pas de temps isolés, conditionnent sur le temps, ou appliquent des SAE à des architectures telles que les Transformers de Diffusion.

Une limitation critique de ces méthodes existantes est qu'elles ne tiennent pas explicitement compte de la forte corrélation temporelle inhérente aux activations de diffusion. Les activations aux pas de temps adjacents sont hautement corrélées, une grande partie du signal à un pas étant linéairement prévisible à partir du pas précédent. Entraîner un SAE directement sur des activations brutes concaténées temporellement risque de gaspiller la capacité du modèle à apprendre ces dynamiques redondantes et linéairement prévisibles, plutôt que de capturer la structure sous-jacente épars des caractéristiques.

Méthodologie

Les auteurs proposent des SAE Temporels Résiduels, un cadre conçu pour apprendre des caractéristiques éparse à partir de trajectoires d'activations en séparant explicitement les dynamiques linéairement prévisibles de la structure résiduelle.

1. Collecte et Prétraitement des Données

• Source : Les activations sont collectées à partir de la branche conditionnelle du U-Net dans Stable Diffusion 1.5 lors de la guidance sans classificateur. Plus précisément, la contribution résiduelle de la couche d'attention croisée du bloc intermédiaire est extraite.
• Construction de la Trajectoire : Pour une image générée, les activations sont sous-échantillonnées tous les $\ell$ pas de débruitage (par exemple, $\ell=10$) pour former une séquence de tenseurs d'activation $\{a(\tau_i)\}$.

2. Résidualisation Linéaire

Pour éliminer la redondance temporelle, la méthode ajuste des prédicteurs linéaires entre des blocs d'activation normalisés consécutifs :

• Normalisation : Les activations sont normalisées par pas de temps en utilisant les statistiques de l'ensemble d'entraînement.
• Régression Ridge : Pour chaque transition adjacente $i-1 \to i$, un régresseur Ridge $(W_i, b_i)$ est ajusté pour prédire l'activation actuelle $\bar{a}_{q,i}$ à partir de la précédente $\bar{a}_{q,i-1}$.
• Calcul du Résidu : Le résidu $r_{q,i} = \bar{a}_{q,i} - (W_i \bar{a}_{q,i-1} + b_i)$ capture la composante de l'activation non linéairement prévisible à partir du pas précédent.

3. Entraînement du SAE sur les Trajectoires Résidualisées

L'entrée du SAE est un vecteur concaténé $z_q$ composé de l'activation initiale et des résidus subséquents :
$$z_q = [\bar{a}_{q,0}, r_{q,1}, \dots, r_{q,T-1}]$$
Un SAE BatchTopK est entraîné sur cette représentation résidualisée. L'objectif est de reconstruire l'entrée normalisée tout en imposant la parcimonie (ne conservant que les $K$ latents actifs les plus élevés par lot). Cela encourage les latents éparse à capturer une structure existant au-delà de la dérive temporelle linéairement prévisible.

4. Interprétation dans l'Espace des Activations

Un composant clé de la méthode consiste à mapper les caractéristiques apprises vers l'espace d'activation original pour les analyser comme des trajectoires :

1. Directions du Décodeur : Les vecteurs du décodeur du SAE sont initialement dans l'espace résidualisé normalisé.
2. Désnormalisation : Des échelles sont appliquées pour revenir à l'espace résidualisé normalisé.
3. Intégration des Dynamiques Linéaires : Les directions résiduelles sont mappées à travers les prédicteurs linéaires ajustés ($W_i$) pour reconstruire la direction complète de la trajectoire dans l'espace d'activation normalisé.
4. Mappage Final : Le résultat est désnormalisé pour obtenir la trajectoire du décodeur $\{\phi_{k,i}\}$ dans les unités d'activation originales. Cela permet d'analyser chaque latent comme une trajectoire de caractéristique évoluant au cours du temps de débruitage.

Contributions Clés

1. SAE Temporels Résiduels : L'introduction d'une méthode qui sépare les trajectoires d'activations de diffusion en composantes linéairement prévisibles et résiduelles, entraînant des SAE spécifiquement sur ces derniers pour éviter de modéliser des dynamiques temporelles redondantes.
2. Interprétation du Décodeur dans l'Espace des Activations : Une dérivation qui mappe les directions de décodeur résidualisées vers l'espace d'activation original, permettant l'analyse de chaque latent comme une trajectoire de caractéristique spatio-temporelle.
3. Caractérisation Empirique : Une évaluation complète sur Stable Diffusion 1.5 démontrant que ces représentations capturent des directions structurées temporellement et localisées spatialement, avec des effets génératifs sémantiquement significatifs.

Résultats et Évaluation

Performance de Reconstruction

• Supériorité de la Résidualisation : Sous un budget de parcimonie fixe au niveau de la trajectoire, les variantes résidualisées surpassent systématiquement leurs homologues non résidualisés (à la fois concaténées et par pas de temps) en Erreur Quadratique Moyenne (MSE) et en Variance Expliquée (EV).
• Efficacité : Le modèle Concaténé Résidualisé atteint des performances de reconstruction compétitives tout en utilisant un seul code éparse pour l'ensemble de la trajectoire, tandis que les bases par pas de temps nécessitent des codes distribués.
• Comparaison avec les Bases : La méthode surpasse une base SAE Matryoshka (qui utilise des trajectoires non résidualisées et normalisées par composante) en qualité de reconstruction.

Analyse de la Structure Spatio-Temporelle

• Spécialisation Temporelle : Les latents présentent des profils temporels distincts. Les caractéristiques « précoces » tendent à avoir un support temporel large et une forte auto-similarité inter-pas de temps, suggérant qu'elles capturent des concepts structurels persistants. Les caractéristiques « tardives » sont plus spécifiques au pas de temps et moins stables temporellement.
• Localisation Spatiale :
  • Les caractéristiques précoces montrent un support spatial positif plus large (entropie spatiale plus élevée), couvrant souvent des régions diffuses ou de type bordure.
  • Les caractéristiques intermédiaires et tardives sont plus concentrées spatialement (entropie plus faible), se localisant sur des zones spécifiques de type objet ou des régions saillantes.

Expériences de Pilotage

• Pilotage par Caractéristique Unique : L'intervention avec des latents spécifiques produit des effets génératifs visibles. Les caractéristiques précoces affectent la structure globale, tandis que les caractéristiques intermédiaires peuvent localiser les changements (par exemple, ajouter des bijoux à un torse). Les caractéristiques tardives ont montré des effets sémantiques moins clairs dans certains exemples.
• Transfert de Caractéristique : En utilisant l'ensemble de données RIEBench, les auteurs ont effectué un transfert de caractéristique de source à cible. Le modèle Concaténé Résidualisé a atteint le meilleur équilibre entre l'efficacité de l'édition (amélioration de la similarité CLIP avec l'invite cible) et la préservation de la structure de l'image source (minimisation de la distance LPIPS). Il a surpassé les variantes non résidualisées et par pas de temps en efficacité d'édition.

Importance et Revendications

L'article revendique que les SAE Temporels Résiduels fournissent un cadre utile pour étudier les activations de diffusion structurées temporellement. En éliminant explicitement la dérive linéairement prévisible, la méthode permet aux latents éparse de se concentrer sur la structure non redondante et sémantiquement significative du processus de génération.

Les auteurs soulignent que leur approche diffère des travaux antérieurs en apprenant des dictionnaires éparse sur des trajectoires d'activations résidualisées plutôt que sur des pas de temps isolés ou des représentations temporelles non résidualisées. La capacité à mapper ces latents vers l'espace d'activation sous forme de trajectoires permet une compréhension plus profonde du quand et du où des caractéristiques spécifiques sont exprimées au cours du processus de débruitage.

Limitations notées par les auteurs :

• Les expériences se concentrent sur une seule source d'activation U-Net (attention croisée du bloc intermédiaire) dans Stable Diffusion 1.5.
• Les expériences de pilotage sont qualitatives ; l'article ne revendique pas de performances optimisées d'édition d'images mais utilise plutôt le pilotage pour valider l'interprétabilité et l'influence causale des caractéristiques apprises.