Résumé Technique : Les Rêves Profonds Sont Faits de Cela

Énoncé du Problème

Bien que l'interprétabilité mécaniste ait considérablement progressé pour les réseaux de neurones convolutifs (CNN) grâce à des techniques comme la visualisation de caractéristiques par optimisation, l'application de ces méthodes aux Modèles de Diffusion Latents (LDM) présente des défis uniques. Les LDM opèrent dans un espace latent compressé d'auto-encodeur variationnel (VAE) et utilisent un processus itératif de débruitage conditionné par des pas de temps. Les méthodes classiques de visualisation de caractéristiques, qui optimisent les entrées dans l'espace des pixels pour maximiser l'activation d'une caractéristique, échouent dans ce contexte en raison de :

1. Polysemanticité : Les caractéristiques neuronales brutes représentent souvent simultanément plusieurs concepts non liés, rendant les visualisations incohérentes.
2. Contraintes de l'Espace Latent : L'optimisation directe dans l'espace latent introduit des modes de défaillance tels que des valeurs de décodeur hors plage (provoquant une sur-saturation) et des artefacts de bruit haute fréquence.
3. Complexité Temporelle : Les caractéristiques dans les modèles de diffusion peuvent être actives à différents pas de temps pour des raisons différentes, nécessitant une méthode pour isoler des conditions d'activation spécifiques.
4. Limites des Outils Existants : Les méthodes actuelles d'interprétabilité des modèles de diffusion, telles que les exemples de jeux de données et le guidage de caractéristiques, sont limitées par le contenu des jeux de données ou ne révèlent que les effets en aval plutôt que les entrées spécifiques qui activent une caractéristique.

Méthodologie : Visualisation Latente par Optimisation (LVO)

Les auteurs proposent la Visualisation Latente par Optimisation (LVO), une technique qui étend la visualisation de caractéristiques par optimisation aux LDM. L'objectif principal est d'optimiser un vecteur latent $z_{opt}$ par ascension du gradient pour activer au maximum une caractéristique cible spécifique. La méthode introduit quatre composants spécifiques à la diffusion :

1. Analyse de l'Activité par Pas de Temps : Au lieu de visualiser les caractéristiques sur les 1 000 pas de temps, la méthode identifie des "pics d'activité" où une caractéristique figure le plus souvent parmi les $k$ premières activations à travers le jeu de données. Les visualisations sont générées spécifiquement pour ces pics de pas de temps afin d'isoler le rôle de la caractéristique à cette étape du débruitage.
2. Optimisation dans l'Espace Latent : L'optimisation a lieu dans l'espace latent du VAE plutôt que dans l'espace des pixels pour éviter le coût computationnel et les artefacts de gradient associés à la rétropropagation à travers le décodeur.
3. Injection de Bruit Adaptée au Calendrier : Pour maintenir le conditionnement correct pour le U-Net, le latent optimisé est ré-bruité à chaque passage avant en utilisant les coefficients du planificateur du pas de temps cible ($z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$). Cela garantit que le modèle voit le rapport signal/bruit attendu.
4. Initialisation par Prior : L'optimisation est initialisée à partir d'une image "prior" générée en guidant la caractéristique cible sur ses pas de temps actifs. Cela maintient la trajectoire d'optimisation dans la variété interprétable, empêchant l'effondrement vers un bruit haute fréquence.

Stratégies de Régularisation :
Pour combattre le bruit haute fréquence et les artefacts de l'espace latent, les auteurs emploient une pile de régularisateurs :

• Transférés de l'Espace des Pixels : Robustesse aux transformations (jitter, rotation, mise à l'échelle), filtrage spectral (atténuation des gradients haute fréquence) et lissage des gradients.
• Pénalités Spécifiques au Latent : Une Pénalité de Plage (pénalisant les valeurs en dehors de la plage d'entraînement du décodeur, typiquement $[-3, 3]$) et une Pénalité de Moment (maintenant la moyenne et la variance du latent proches d'une distribution normale standard).

Désentrelacement via des SAE :
L'étude compare deux variantes :

• Référence Couche Brute : Optimise un seul canal d'activation brut.
• Variante SAE : Utilise un Auto-encodeur Sparse (SAE) entraîné sur la couche pour désentrelacer les représentations polysemantiques en caractéristiques monosémantiques avant l'optimisation.

Contributions Clés

1. Cadre LVO : La proposition d'un pipeline complet pour la visualisation de caractéristiques dans les LDM, intégrant l'analyse par pas de temps, l'injection de bruit adaptée au calendrier, l'initialisation par prior et la régularisation spécifique au latent.
2. Référence de Désentrelacement : La fourniture d'une référence de couche brute contrôlée pour isoler les gains d'interprétabilité apportés par le désentrelacement par SAE.
3. Ablation de la Régularisation : La première ablation systématique des régularisateurs de l'espace des pixels dans le domaine latent, révélant que les stratégies de régularisation optimales diffèrent considérablement entre les variantes de couche brute et SAE (par exemple, les caractéristiques SAE bénéficient des pénalités de moment mais sont hypersensibles à la variation totale et au lissage des gradients).
4. Insight Complémentaire : Démonstration que la LVO fournit des insights distincts des exemples de jeux de données et du guidage en révélant directement les conditions d'entrée qui activent une caractéristique.

Résultats

La méthode a été évaluée sur Stable Diffusion 1.5 affiné sur le jeu de données Style50, ciblant spécifiquement la couche up_blocks.1.attentions.1.

• Référence Polysemantique : L'optimisation des activations de couches brutes a donné des visualisations souvent incohérentes ou mélangeant plusieurs concepts (par exemple, mélanger des parties d'animaux comme des yeux et de la fourrure sans former un animal reconnaissable). Le guidage sur ces caractéristiques brutes a produit des images génériques et non informatives.
• Caractéristiques Monosémantiques SAE : La LVO basée sur SAE a produit des visualisations claires et cohérentes de concepts reconnaissables sur plusieurs graines et pas de temps. Des exemples notables incluent :
  • Caractéristique 9984 : A systématiquement visualisé une "composition diagonale" (traits orientés du haut-gauche vers le bas-droite), un concept structurel non évident à partir des exemples divers du jeu de données.
  • Caractéristique 10331 : A clairement représenté des figures humaines.
  • Autres Caractéristiques : Ont réussi à visualiser des parties d'objets (câbles, roses), des textures (mousse de cascade) et des perspectives.
• Effets de la Régularisation : L'étalonnage a montré que l'initialisation par prior était essentielle pour prévenir l'effondrement vers le bruit. De plus, des termes de régularisation tels que la robustesse aux transformations et les pénalités de moment ont aidé l'optimiseur à échapper aux maxima locaux non interprétables, révélant des structures plus claires (par exemple, transformer une texture "moussue" en une structure de câble distincte).

Importance et Revendications

L'article revendique que la LVO comble une niche critique dans l'interprétabilité des modèles de diffusion. Alors que les exemples de jeux de données sont limités par la diversité du contenu et que le guidage révèle les effets en aval, la LVO répond directement à "ce qui active une caractéristique". Les auteurs soulignent que la technique n'est viable que lorsque l'on combine les quatre composants proposés (analyse par pas de temps, injection de bruit, initialisation par prior et régularisation appropriée).

Le travail est présenté principalement comme un outil pour l'interprétabilité défensive, soutenant l'audit de sécurité, l'oubli ciblé de concepts et la modération de contenu. Les auteurs reconnaissent un risque de double usage où l'identification des activations de caractéristiques pourrait théoriquement aider à contourner les filtres de sécurité, mais évaluent ce risque comme limité étant donné que les modèles sous-jacents et les SAE sont déjà publics et que la méthode révèle les causes d'activation plutôt que des techniques de suppression.

L'étude conclut que la LVO met en lumière des caractéristiques structurelles et compositionnelles (comme les arrangements diagonaux) qui sont invisibles à l'inspection standard des exemples de jeux de données, offrant une perspective complémentaire essentielle pour l'étude mécaniste des modèles de diffusion latents.