Technische Samenvatting: Untwisting RoPE: Frequentiecontrole voor Gedeelde Aandacht in DiTs

Probleemstelling

In diffusion transformers (DiTs), zoals de Multi-modal Diffusion Transformer (MMDiT) architectuur gebruikt in modellen zoals Flux, wordt positionele informatie gecodeerd via Rotary Positional Embeddings (RoPE). Hoewel RoPE essentieel is voor het modelleren van ruimtelijke structuren in standaard beeldgeneratie, blijft het gedrag ervan in shared-attention settings—waarbij een doelbeeldgeneratie aandacht besteedt aan tokens van een referentiebeeld—slecht begrepen.

De auteurs identificeren een kritieke foutmodus in deze setting: referentie-kopieergedrag (reference copying). In plaats van de stilistische attributen van een referentiebeeld over te dragen naar een doelprompt (bijv. het genereren van een giraffe in de stijl van een stier), vervalt het model in het bijna letterlijk reproduceren van de inhoud van de referentie. Dit gebeurt omdat de sterke ruimtelijke bias die door RoPE wordt geïntroduceerd, ervoor zorgt dat queries in het doelbeeld onevenredig veel aandacht besteden aan ruimtelijk uitgelijnde tokens in het referentiebeeld, waardoor semantische gelijkenis wordt overstemd.

Bestaande pogingen om dit te mitigeren, zoals het beperken van aandachtsdeling tot latere denoising-stappen of het gebruik van verschoven positionele indices (zoals in het gelijktijdige werk AlignedGen), bieden slechts grove controle of introduceren nieuwe artefacten zoals "ghost-cyclic inpainting" (waarbij het model de referentie behandelt als een voortzetting van het doel).

Methodologie

Het paper stelt een frequentie-bewuste modulatie van RoPE voor om betekenisvolle gedeelde aandacht te herstellen zonder het model te hertrainen of de architectuur te wijzigen.

1. Analyse van de RoPE-frequentiestructuur

De auteurs bieden een principiële analyse die aantoont dat RoPE uiteenvalt in frequentiecomponenten met verschillende positionele sensitiviteiten:

• Hoogfrequente componenten: Komen overeen met dimensies met een lage index in de embedding. Deze vertonen snelle hoekveranderingen met betrekking tot de positionele verplaatsing ($\Delta$), wat een sterke lokaliteit afdwingt. Ze zorgen ervoor dat de aandacht steil afneemt naarmate de ruimtelijke afstand toeneemt.
• Laagfrequente componenten: Komen overeen met dimensies met een hoge index. Deze variëren traag met verplaatsing, dragen een zwakke positionele bias bij en bewaren de globale ruimtelijke coherentie.

In scenario's met gedeelde aandacht domineren de hoogfrequente componenten de aandachtsberekening, waardoor het model vastklikt op ruimtelijk uitgelijnde referentie-tokens en hun inhoud kopieert.

2. Frequentie-bewuste Modulatie

Om dit tegen te gaan, introduceren de auteurs een methode om de frequentiebanden van de referentiebeeld-keys ($K_{ref}$) tijdens de aandachtsberekening selectief te moduleren.

• Mechanisme: In plaats van RoPE uit te schakelen (wat leidt tot degeneratieve generaties) of de aandacht uniform te schalen, past de methode een vloeiende, polynomiale interpolatie van schaalfactoren toe over het RoPE-spectrum.
• Schaalstrategie:
  • Attenuatie (Verzwakking): Hoogfrequente componenten worden afgeschaald (factor $s_{hf} \in (0, 1)$) om de sterke positionele bias te verminderen die het kopiëren aanstuurt.
  • Amplificatie (Versterking): Laagfrequente componenten worden opgeschaald (factor $s_{lf} > 1$) om globale, semantisch gestuurde aandacht te bevorderen.
• Timestep Scheduling: De modulatieschalen ($s_{hf}$ en $s_{lf}$) worden lineair verhoogd over de denoising-timesteps. Vroege timesteps gebruiken een lagere modulatie om de globale structuur en brede stilistische sturing vast te leggen, terwijl latere timesteps de schaling verhogen om de overdracht van fijnmazige stilistische details en texturen mogelijk te maken.

De uiteindelijke aandacht-key voor gedeelde aandacht wordt geformuleerd als:
K = [K'_{img}^{tar} \oplus K'_{txt}^{tar}] \oplus s_{FA}^t \cdot K_{img}^{ref}
waarbij $s_{FA}^t$ de frequentie-bewuste modulatieschaal is op tijdstip $t$, die exclusief wordt toegepast op de referentie-keys.

Belangrijkste Bijdragen

1. Principiële Analyse van RoPE in Shared Attention: Het paper toont aan dat het "referentie-kopieergedrag" in DiTs geen algemene fout is van aandachtsdeling, maar een specifiek gevolg van de hoogfrequente componenten van RoPE die een strikte ruimtelijke lokaliteit afdwingen.
2. Frequentiecontrolemechanisme: De auteurs introduceren een zero-shot, training-vrije methode om de RoPE-frequentiebanden te moduleren. Dit maakt een controleerbare afweging mogelijk tussen positionele uitlijning en semantische gelijkenis.
3. Resolutie van Artefacten: De methode lost de "ghost-cyclic inpainting" en inhoudslekkage problemen op die zijn waargenomen bij eerdere benaderingen (zoals verschoven RoPE) door direct de onderliggende frequentiestructuur aan te pakken in plaats van alleen coördinaten te verschuiven.
4. Herstel van Stijl-gealigneerde Generatie: De aanpak stelt DiTs in staat om diverse semantische inhoud te genereren (bijv. verschillende dieren) terwijl ze een consistente visuele stijl van een referentie behouden, een capaciteit die voorheen beperkt was tot UNet-gebaseerde modellen of zware fine-tuning vereiste.

Resultaten

Geëvalueerd op het Flux 1.-dev model, demonstreert de methode:

• Effectieve Stijloverdracht: Het model slaagt erin stilistische attributen (kleur, textuur, penseelvoering) van referenties (inclusief kunstwerken en foto's) over te dragen naar doelprompts zonder de inhoud van de referentie te dupliceren.
• Controleerbaarheid: Door de modulatieschalen aan te passen, kunnen gebruikers de mate van stijloverdracht versus inhoudbehoud controleren. Een hogere $s_{hf}$ behoudt de referentiestructuur (houding/vorm) terwijl de stijl wordt overgedragen; een lagere $s_{hf}$ staat meer structurele variatie toe.
• Superieurheid ten opzichte van Baselines:
  • Vergeleken met StyleAligned (UNet-gebaseerd), vermijdt de methode inhoudslekkage en structurele onregelmatigheden in DiTs.
  • Vergeleken met AlignedGen (verschoven RoPE), vermijdt de methode periodieke kopieerartefacten en ghost-cyclic inpainting, wat zorgt voor een vloeiendere stijloverdracht, zelfs bij hoge resoluties.
  • Vergeleken met IP-Adapter en B-LoRA, vereist de methode geen extra training of beeldencoders, wat een meer generaliseerbare zero-shot oplossing biedt.

Betekenis

Het paper beweert dat positionele coderingen geen neutrale componenten zijn, maar actief de balans tussen lokaliteit en semantische associatie in generatieve modellen reguleren. De bevindingen verklaren waarom aandachtsdeling-strategieën ontwikkeld voor UNet-gebaseerde modellen (die vertrouwen op convolutionele inductieve biases) falen wanneer ze direct worden toegepast op DiTs (die uitsluitend vertrouwen op RoPE).

Door te onthullen dat hoogfrequente RoPE-componenten de inhoudkopie aansturen, biedt dit werk een direct, interpreteerbaar handvat voor het vormgeven van de aandachtstroom. Dit suggereert een bredere richting voor het controleren van generatieve modellen door middel van gerichte interventies in interne representaties, wat precieze stijl-gealigneerde generatie mogelijk maakt zonder architecturale wijzigingen of hertraining.