Résumé Technique : SteeringDiffusion

Énoncé du Problème

Les modèles de diffusion se sont imposés comme le paradigme dominant pour la synthèse d'images de haute qualité. Cependant, l'adaptation de ces modèles à de nouveaux styles visuels ou domaines présente des défis majeurs. Le fine-tuning complet traditionnel est coûteux en calcul et sujet au surapprentissage. Bien que les méthodes de fine-tuning efficace en paramètres (PEFT) comme LoRA, DiffFit et le fine-tuning orthogonal offrent des alternatives plus légères, elles échouent à fournir une surface de contrôle continue et parcourable au moment de l'inférence. Changer le point de fonctionnement dans ces méthodes nécessite généralement un réentraînement ou un réglage grossier des hyperparamètres plutôt qu'un déplacement le long d'un axe de contrôle cohérent. De même, des approches comme DreamBooth, Textual Inversion et ControlNet manquent d'une interface explicite permettant la traversal continue des compromis contenu–style sans modifier les paramètres du modèle sous-jacent.

La question centrale abordée par ce travail est : Les modèles de diffusion peuvent-ils être pilotés par une modulation au niveau des activations pour révéler une surface de contrôle lisse et monotone ?

Méthodologie : Pilotage via Contrôle Explicite Goulot (S-BEC)

Les auteurs proposent SteeringDiffusion, une méthode fondée sur le concept de Pilotage via Contrôle Explicite Goulot (S-BEC). Contrairement aux méthodes d'adaptation dans l'espace des poids, SteeringDiffusion maintient l'épine dorsale U-Net entièrement gelée et introduit une interface de contrôle légère au niveau des activations.

Architecture Principale

1. Épine dorsale gelée : Le U-Net Stable Diffusion pré-entraîné (SD 1.5 ou SDXL), le VAE et l'encodeur de texte CLIP restent inchangés.
2. Code latent conditionné par l'invite : Un petit module apprenable ($g_\theta$) mappe une représentation textuelle regroupée (provenant de l'encodeur CLIP gelé) vers un code de pilotage de faible dimension $v \in \mathbb{R}^k$. Les résultats empiriques suggèrent qu'une petite dimension ($k \approx 8\text{--}16$) est suffisante.
3. Modulation des activations : Ce code latent $v$ est projeté en paramètres affines ($\gamma, \beta$) qui modulent les activations intermédiaires via des transformations de type FiLM/AdaGN. La modification est appliquée aux caractéristiques normalisées par GroupNorm dans les blocs intermédiaires et de montée en résolution du U-Net.
   • La règle de mise à jour est : $\Delta_\ell(h_\ell, c, t) = s \cdot f(t) \cdot (\gamma_\ell(v) \odot \text{GN}(h_\ell) + \beta_\ell(v))$.
4. Initialisation à zéro : Toutes les projections de pilotage sont initialisées à zéro. Cela garantit qu'à une échelle de pilotage $s=0$, la sortie est exactement équivalente au modèle de base gelé, assurant ainsi aucune dégradation lorsque le contrôle est désactivé.
5. Gating temporel : Une fonction de gating sensible au pas de temps $f(t)$ (un sigmoïde décalé et mis à l'échelle) supprime la modulation durant les premières étapes de débruitage (où la structure globale se forme) et l'augmente progressivement durant les étapes ultérieures (où la texture et le style sont affinés). Cela empêche la perturbation du contenu.

Contrôle à l'Inférence

Au moment de l'inférence, un seul scalaire $s$ contrôle l'intensité du pilotage. Cela permet aux utilisateurs de parcourir continuellement le compromis contenu–style sans réentraînement ni modification des poids du modèle.

Contributions Clés

1. Cadre de pilotage au niveau des activations : L'article introduit S-BEC comme une abstraction générale pour contrôler les épine dorsales de diffusion gelées via une modulation légère des activations plutôt que par des mises à jour de poids.
2. Surface de contrôle lisse : Les auteurs démontrent que cette approche révèle une surface de contrôle lisse, monotone et invariante au style. Faire varier le scalaire $s$ entraîne un compromis prévisible entre la préservation du contenu et l'intensité du style.
3. Diagnostic de stabilité d'inversion : Une nouvelle métrique diagnostique basée sur l'inversion DDIM est introduite pour mesurer la perturbation de la trajectoire. Cette métrique révèle de fortes corrélations avec l'ampleur de l'intervention et complète les métriques perceptuelles standard.
4. Distinction de paradigme : Le travail établit que les méthodes existantes (LoRA, ControlNet, adaptateurs de rang 1) ne peuvent pas révéler une surface de contrôle comparable, positionnant S-BEC comme un paradigme distinct et supérieur pour la contrôlabilité au moment de l'exécution.

Résultats Expérimentaux

Les expériences ont été menées sur Stable Diffusion 1.5 et SDXL en utilisant le jeu de données ArtBench-10 (couvrant des styles tels que l'Art Nouveau, l'Impressionnisme, la Renaissance et l'Ukiyo-e).

• Monotonie : Pour tous les styles et dimensions ($k$) testés, l'augmentation de l'échelle de pilotage $s$ a entraîné des augmentations strictement monotones du changement de style et des diminutions de la préservation du contenu (CLIP-I), sans aucune violation observée.
• Comparaison avec LoRA : Avec des budgets de paramètres équivalents (Steering : 0,88M paramètres vs LoRA : 0,80M paramètres), SteeringDiffusion a atteint un changement de style 33–80 % plus élevé à des niveaux de préservation du contenu comparables. Crucialement, alors que LoRA présentait un « effondrement de style » (comportement non monotone et chutes brutales de la préservation du contenu) à des multiplicateurs élevés, SteeringDiffusion a maintenu un compromis lisse.
• Comparaison avec ControlNet et Rang-1 : ControlNet nécessitait 720 fois plus de paramètres et causait une perturbation du contenu significativement plus importante. Les adaptateurs de rang 1 n'atteignaient que ~69 % du changement de style à préservation du contenu équivalente et induisaient une perturbation sévère de la trajectoire.
• Généralisation : La surface de contrôle lisse s'est généralisée efficacement de SD 1.5 à l'épine dorsale plus grande SDXL sans modifications architecturales.
• Efficacité : La méthode ajoute une surcharge d'inférence négligeable (~3 ms) et s'entraîne environ 2 fois plus vite que les bases de référence LoRA.

Importance et Revendications

L'article positionne SteeringDiffusion comme une interface de contrôle pratique et polyvalente pour les modèles de diffusion gelés. Son importance principale réside dans le recadrage de la contrôlabilité comme un problème de conception d'interface plutôt que comme un problème de nombre de paramètres.

Les auteurs soutiennent que :

1. Géométrie de basse dimension : En médiatisant toutes les décisions de pilotage via un seul code latent de faible dimension partagé entre les blocs, S-BEC crée une interface de contrôle explicite indépendante de la profondeur du réseau. Cela contraste avec les méthodes dans l'espace des poids (comme LoRA) où le contrôle est distribué sur des milliers de paramètres indépendants, conduisant à un comportement incohérent et non monotone à fortes intensités.
2. Cohérence de la trajectoire : La modulation au niveau des activations perturbe l'état actuel sans altérer le champ de vecteurs sous-jacent de la dynamique de diffusion. Cela préserve la cohérence de la trajectoire de débruitage, contrairement aux mises à jour de poids ou aux branches externes (ControlNet) qui peuvent introduire des régions instables ou des attracteurs.
3. Alignement temporel : Le gating sensible au pas de temps aligne le contrôle sur l'émergence sémantique du style (étapes tardives), empêchant l'intrication du contenu et du style qui se produit avec des perturbations uniformes.

L'article conclut qu'une petite interface de contrôle explicite, goulot et alignée temporellement peut révéler une surface de contrôle bien comportée sur de grandes épine dorsales gelées, offrant une alternative stable aux méthodes actuelles de PEFT et d'édition. Les auteurs notent explicitement que leurs revendications sont validées pour le transfert de style et que des extensions à d'autres attributs (identité de l'objet, disposition spatiale) ou contraintes de sécurité nécessitent une validation empirique supplémentaire.