Résumé technique : Untwisting RoPE : Contrôle de fréquence pour l'attention partagée dans les DiTs

Énoncé du problème

Dans les transformeurs de diffusion (DiTs), tels que l'architecture Multi-modal Diffusion Transformer (MMDiT) utilisée dans des modèles comme Flux, l'information positionnelle est encodée via des plongements de position rotatifs (Rotary Positional Embeddings - RoPE). Bien que RoPE soit essentiel pour modéliser la structure spatiale dans la génération d'images standard, son comportement dans les contextes d'attention partagée — où la génération d'une image cible prête attention aux jetons d'une image de référence — reste mal compris.

Les auteurs identifient un mode de défaillance critique dans ce contexte : la copie de la référence. Au lieu de transférer les attributs stylistiques d'une image de référence vers un prompt cible (par exemple, générer une girafe dans le style d'un taureau), le modèle s'effondre en reproduisant le contenu de la référence de manière presque identique. Cela se produit parce que le fort biais spatial introduit par RoPE force les requêtes de l'image cible à prêter une attention disproportionnée aux jetons spatialement alignés de l'image de référence, supplantant ainsi la similitude sémantique.

Les tentatives existantes pour atténuer cela, comme la restriction du partage d'attention aux étapes ultérieures de débruitage ou l'utilisation d'indices positionnels décalés (comme dans le travail concomitant AlignedGen), n'offrent qu'un contrôle grossier ou introduisent de nouveaux artefacts tels que l'« inpainting cyclique fantôme » (où le modèle traite la référence comme une continuation de la cible).

Méthodologie

Le papier propose une modulation sensible à la fréquence de RoPE pour restaurer une attention partagée significative sans réentraîner le modèle ni en modifier l'architecture.

1. Analyse de la structure de fréquence de RoPE

Les auteurs fournissent une analyse fondée sur des principes montrant que RoPE se décompose en composantes de fréquence avec des sensibilités positionnelles distinctes :

• Composantes à haute fréquence : Correspondent aux dimensions à faible indice dans le plongement. Elles présentent des changements d'angle rapides par rapport au déplacement ($\Delta$), imposant une forte localité. Elles provoquent une chute abrupte de l'attention à mesure que la distance spatiale augmente.
• Composantes à basse fréquence : Correspondent aux dimensions à indice élevé. Elles varient lentement avec le déplacement, contribuant à un faible biais positionnel et préservant la cohérence spatiale globale.

Dans les scénarios d'attention partagée, les composantes à haute fréquence dominent le calcul de l'attention, provoquant le verrouillage du modèle sur les jetons de référence spatialement alignés et la copie de leur contenu.

2. Modulation sensible à la fréquence

Pour contrer cela, les auteurs introduisent une méthode pour moduler sélectivement les bandes de fréquence des clés de l'image de référence ($K_{ref}$) lors du calcul de l'attention.

• Mécanisme : Au lieu de désactiver RoPE (ce qui provoque des générations dégénérées) ou de mettre à l'échelle l'attention de manière uniforme, la méthode applique une interpolation polynomiale lisse des facteurs d'échelle à travers le spectre RoPE.
• Stratégie de mise à l'échelle :
  • Atténuation : Les composantes à haute fréquence sont réduites (facteur $s_{hf} \in (0, 1)$) pour réduire le fort biais positionnel qui entraîne la copie.
  • Amplification : Les composantes à basse fréquence sont augmentées (facteur $s_{lf} > 1$) pour favoriser une attention globale guidée par la sémantique.
• Planification par étape de temps (Timestep Scheduling) : Les échelles de modulation ($s_{hf}$ et $s_{lf}$) augmentent linéairement au cours des étapes de débruitage. Les étapes initiales utilisent une modulation plus faible pour établir la structure globale et un guidage stylistique large, tandis que les étapes ultérieures augmentent l'échelle pour permettre le transfert de détails stylistiques fins et de textures.

La clé d'attention finale pour l'attention partagée est formulée comme suit :
K = [K'_{img}^{tar} \oplus K'_{txt}^{tar}] \oplus s_{FA}^t \cdot K_{img}^{ref}
où $s_{FA}^t$ est l'échelle de modulation sensible à la fréquence à l'étape $t$, appliquée exclusivement aux clés de référence.

Principales contributions

1. Analyse fondée sur les principes de RoPE dans l'attention partagée : Le papier démontre que le phénomène de « copie de la référence » dans les DiTs n'est pas une défaillance générale du partage d'attention, mais une conséquence spécifique des composantes à haute fréquence de RoPE imposant une stricte localité spatiale.
2. Mécanisme de contrôle de fréquence : Les auteurs introduisent une méthode sans entraînement (zero-shot) pour moduler les bandes de fréquence de RoPE. Cela permet un compromis contrôlable entre l'alignement positionnel et la similitude sémantique.
3. Résolution des artefacts : La méthode résout les problèmes d'« inpainting cyclique fantôme » et de fuite de contenu observés dans les approches précédentes (comme le RoPE décalé) en s'attaquant directement à la structure de fréquence sous-jacente plutôt qu'en décalant simplement les coordonnées.
4. Restauration de la génération alignée sur le style : L'approche permet aux DiTs de générer des contenus sémantiques diversifiés (ex: différents animaux) tout en maintenant un style visuel cohérent à partir d'une référence, une capacité auparavant limitée aux modèles basés sur UNet ou nécessitant un entraînement intensif.

Résultats

Évaluée sur le modèle Flux 1.-dev, la méthode démontre :

• Transfert de style efficace : Le modèle transfère avec succès les attributs stylistiques (couleur, texture, coups de pinceau) des références (incluant œuvres d'art et photos) vers les prompts cibles sans dupliquer le contenu de la référence.
• Contrôlabilité : En ajustant les échelles de modulation, les utilisateurs peuvent contrôler le degré de transfert de style par rapport à la préservation du contenu. Un $s_{hf}$ plus élevé préserve la structure de la référence (pose/forme) tout en transférant le style ; un $s_{hf}$ plus faible permet une plus grande variation structurelle.
• Supériorité sur les bases de référence :
  • Comparé à StyleAligned (basé sur UNet), la méthode évite la fuite de contenu et les irrégularités structurelles dans les DiTs.
  • Comparé à AlignedGen (RoPE décalé), la méthode évite les artefacts de copie périodique et l'inpainting cyclique fantôme, offrant un transfert de style plus fluide même à haute résolution.
  • Comparé à IP-Adapter et B-LoRA, la méthode ne nécessite aucun entraînement supplémentaire ni encodeur d'image, offrant une solution zero-shot plus généralisable.

Signification

Le papier affirme que les encodages positionnels ne sont pas des composants neutres mais régissent activement l'équilibre entre localité et association sémantique dans les modèles génératifs. Les conclusions expliquent pourquoi les stratégies de partage d'attention développées pour les modèles basés sur UNet (qui reposent sur des biais inductifs convolutionnels) échouent lorsqu'elles sont appliquées directement aux DiTs (qui reposent exclusivement sur RoPE).

En révélant que les composantes à haute fréquence de RoPE pilotent la copie de contenu, ce travail fournit un levier direct et interprétable pour façonner le flux d'attention. Cela suggère une direction plus large pour le contrôle des modèles génératifs via des interventions ciblées dans les représentations internes, permettant une génération alignée sur le style précise sans changements architecturaux ni réentraînement.