Sintesi Tecnica: Untwisting RoPE: Controllo della Frequenza per l'Attenzione Condivisa nei DiT

Definizione del Problema

Nei Diffusion Transformer (DiT), come l'architettura Multi-modal Diffusion Transformer (MMDiT) utilizzata in modelli come Flux, le informazioni posizionali sono codificate tramite Rotary Positional Embeddings (RoPE). Sebbene il RoPE sia essenziale per modellare la struttura spaziale nella generazione di immagini standard, il suo comportamento in contesti di attenzione condivisa (shared-attention)—dove la generazione di un'immagine target attende i token da un'immagine di riferimento—rimane scarsamente compreso.

Gli autori identificano un modo di fallimento critico in questo scenario: la copia del riferimento (reference copying). Invece di trasferire gli attributi stilistici di un'immagine di riferimento al prompt target (ad esempio, generare una giraffa nello stile di un toro), il modello collassa nella riproduzione quasi verbatim del contenuto del riferimento. Ciò avviene perché il forte bias spaziale introdotto dal RoPE forza le query dell'immagine target ad attendere in modo sproporzionato i token spazialmente allineati dell'immagine di riferimento, sovrastando la somiglianza semantica.

I tentativi esistenti per mitigare questo problema, come limitare la condivisione dell'attenzione alle fasi successive del denoising o utilizzare indici posizionali traslati (come nel lavoro concorrente AlignedGen), offrono solo un controllo grossolano o introducono nuovi artefatti come il "ghost-cyclic inpainting" (dove il modello tratta il riferimento come una continuazione del target).

Metodologia

Il paper propone una modulazione consapevole della frequenza (frequency-aware modulation) del RoPE per ripristinare un'attenzione condivisa significativa senza riaddestrare il modello o alterarne l'architettura.

1. Analisi della Struttura di Frequenza del RoPE

Gli autori forniscono un'analisi fondata dimostrando che il RoPE si decompone in componenti di frequenza con distinte sensibilità posizionali:

• Componenti ad alta frequenza: Corrispondono alle dimensioni a indice inferiore nell'embedding. Queste esibiscono rapidi cambiamenti angolari rispetto allo spostamento posizionale ($\Delta$), imponendo una forte località. Causano un calo ripido dell'attenzione all'aumentare della distanza spaziale.
• Componenti a bassa frequenza: Corrispondono alle dimensioni a indice superiore. Variano lentamente con lo spostamento, contribuendo a un debole bias posizionale e preservando la coerenza spaziale globale.

Negli scenari di attenzione condivisa, le componenti ad alta frequenza dominano il calcolo dell'attenzione, causando il blocco del modello sui token di riferimento spazialmente allineati e la conseguente copia del loro contenuto.

2. Modulazione Consapevole della Frequenza

Per contrastare questo fenomeno, gli autori introducono un metodo per modulare selettivamente le bande di frequenza delle chiavi dell'immagine di riferimento ($K_{ref}$) durante il calcolo dell'attenzione.

• Meccanismo: Invece di disabilitare il RoPE (che causa generazioni degenerate) o scalare uniformemente l'attenzione, il metodo applica un'interpolazione polinomiale fluida di fattori di scala attraverso lo spettro RoPE.
• Strategia di Scaling:
  • Attenuazione: Le componenti ad alta frequenza vengono scalate verso il basso (fattore $s_{hf} \in (0, 1)$) per ridurre il forte bias posizionale che guida la copia.
  • Amplificazione: Le componenti a bassa frequenza vengono scalate verso l'alto (fattore $s_{lf} > 1$) per promuovere un'attenzione globale guidata dalla semantica.
• Scheduling dei Timestep: Le scale di modulazione ($s_{hf}$ e $s_{lf}$) aumentano linearmente attraverso i timestep di denoising. I primi timestep utilizzano una modulazione inferiore per stabilire la struttura globale e una guida stilistica ampia, mentre i successivi aumentano la scala per permettere il trasferimento di dettagli stilistici fini e texture.

La chiave finale dell'attenzione per l'attenzione condivisa è formulata come:
K = [K'_{img}^{tar} \oplus K'_{txt}^{tar}] \oplus s_{FA}^t \cdot K_{img}^{ref}
dove $s_{FA}^t$ è la scala di modulazione consapevole della frequenza al timestep $t$, applicata esclusivamente alle chiavi di riferimento.

Contributi Chiave

1. Analisi Fondata del RoPE nell'Attenzione Condivisa: Il paper dimostra che il fenomeno della "copia del riferimento" nei DiT non è un fallimento generale dell'attenzione condivisa, ma una specifica conseguenza delle componenti ad alta frequenza del RoFE che impongono una stretta località spaziale.
2. Meccanismo di Controllo della Frequenza: Gli autori introducono un metodo zero-shot, privo di addestramento, per modulare le bande di frequenza del RoPE. Ciò consente un compromesso controllabile tra allineamento posizionale e somiglianza semantica.
3. Risoluzione degli Artefatti: Il metodo risolve i problemi di "ghost-cyclic inpainting" e di fuga del contenuto osservati negli approcci precedenti (come il RoPE traslato), affrontando direttamente la struttura di frequenza sottostante invece di limitarsi a traslare le coordinate.
4. Ripristino della Generazione Allineata allo Stile: L'approccio consente ai DiT di generare contenuti semantici diversi (ad esempio, animali differenti) mantenendo al contempo uno stile visivo coerente da un riferimento, una capacità precedentemente limitata ai modelli basati su UNet o che richiedeva un pesante fine-tuning.

Risultati

Valutato sul modello Flux 1.-dev, il metodo dimostra:

• Trasferimento di Stile Efficace: Il modello trasferisce con successo attributi stilistici (colore, texture, pennellate) dai riferimenti (inclusi opere d'arte e foto) ai prompt target senza duplicare il contenuto del riferimento.
• Controllabilità: Regolando le scale di modulazione, gli utenti possono controllare il grado di trasferimento dello stile rispetto alla preservazione del contenuto. Un $s_{hf}$ più alto preserva la struttura del riferimento (posa/forma) pur trasferendo lo stile; un $s_{hf}$ più basso permette una maggiore variazione strutturale.
• Superiorità rispetto ai Baseline:
  • Rispetto a StyleAligned (basato su UNet), il metodo evita la fuga di contenuto e le irregolarità strutturali nei DiT.
  • Rispetto ad AlignedGen (RoPE traslato), il metodo evita artefatti di copia periodica e il ghost-cyclic inpainting, fornendo un trasferimento di stile più fluido anche ad alte risoluzioni.
  • Rispetto a IP-Adapter e B-LoRA, il metodo non richiede ulteriore addestramento o encoder di immagini, offrendo una soluzione zero-shot più generalizzabile.

Significato

Il paper sostiene che le codifiche posizionali non sono componenti neutrali, ma governano attivamente l'equilibrio tra località e associazione semantica nei modelli generativi. Le scoperte spiegano perché le strategie di condivisione dell'attenzione sviluppate per i modelli basati su UNet (che si affidano a bias induttivi convoluzionali) falliscono quando applicate direttamente ai DiT (che si affidano esclusivamente al RoPE).

Rivelando che le componenti ad alta frequenza del RoPE guidano la copia del contenuto, questo lavoro fornisce una leva diretta e interpretabile per modellare il flusso dell'attenzione. Ciò suggerisce una direzione più ampia per il controllo dei modelli generativi attraverso interventi mirati nelle rappresentazioni interne, consentendo una generazione allineata allo stile precisa senza cambiamenti architettonici o riaddestramento.