Resumen Técnico: Desenredando RoPE: Control de Frecuencia para la Atención Compartida en DiTs

Declaración del Problema

En los transformadores de difusión (DiTs), como la arquitectura Multi-modal Diffusion Transformer (MMDiT) utilizada en modelos como Flux, la información posicional se codifica mediante Embeddings Posicionales Rotatorios (RoPE). Si bien RoPE es esencial para modelar la estructura espacial en la generación de imágenes estándar, su comportamiento en entornos de atención compartida —donde una generación de imagen objetivo atiende a tokens de una imagen de referencia— sigue siendo poco comprendido.

Los autores identifican un modo de fallo crítico en este escenario: la copia de la referencia. En lugar de transferir los atributos estilísticos de una imagen de referencia al prompt objetivo (por ejemplo, generar una jirafa con el estilo de un toro), el modelo colapsa en la reproducción casi literal del contenido de la referencia. Esto ocurre porque el fuerte sesgo espacial introducido por RoPE obliga a las consultas (queries) de la imagen objetivo a atender desproporcionadamente a los tokens espacialmente alineados en la imagen de referencia, anulando la similitud semántica.

Los intentos existentes para mitigar esto, como restringir el intercambio de atención a etapas posteriores del proceso de eliminación de ruido o utilizar índices posicionales desplazados (como en el trabajo concurrente AlignedGen), ofrecen solo un control grueso o introducen nuevos artefactos como el "inpainting cíclico fantasma" (donde el modelo trata a la referencia como una continuación del objetivo).

Metodología

El artículo propone una modulación consciente de la frecuencia de RoPE para restaurar una atención compartida significativa sin reentrenar el modelo ni alterar su arquitectura.

1. Análisis de la Estructura de Frecuencia de RoPE

Los autores proporcionan un análisis fundamentado que muestra que RoPE se descompone en componentes de frecuencia con distintas sensibilidades posicionales:

• Componentes de alta frecuencia: Corresponden a las dimensiones de índice inferior en el embedding. Exhiben cambios de ángulo rápidos con respecto al desplazamiento posicional ($\Delta$), imponiendo una fuerte localidad. Causan que la atención decaiga abruptamente a medida que aumenta la distancia espacial.
• Componentes de baja frecuencia: Corresponden a las dimensiones de índice superior. Varían lentamente con el desplazamiento, contribuyendo con un débil sesgo posicional y preservando la coherencia espacial global.

En escenarios de atención compartida, los componentes de alta frecuencia dominan el cómputo de la atención, causando que el modelo se bloquee en los tokens de la referencia espacialmente alineados y copie su contenido.

2. Modulación Consciente de la Frecuencia

Para contrarrestar esto, los autores introducen un método para modular selectivamente las bandas de frecuencia de las claves de la imagen de referencia ($K_{ref}$) durante el cómputo de la atención.

• Mecanismo: En lugar de desactivar RoPE (lo que causa generaciones degeneradas) o escalar la atención de forma uniforme, el método aplica una interpolación polinómica suave de factores de escala a través del espectro de RoPE.
• Estrategia de Escalamiento:
  • Atenuación: Los componentes de alta frecuencia se escalan hacia abajo (factor $s_{hf} \in (0, 1)$) para reducir el fuerte sesgo posicional que impulsa la copia.
  • Amplificación: Los componentes de baja frecuencia se escalan hacia arriba (factor $s_{lf} > 1$) para promover una atención global y semánticamente guiada.
• Programación de Pasos de Tiempo (Timestep Scheduling): Las escalas de modulación ($s_{hf}$ y $s_{lf}$) aumentan linealmente a lo largo de los pasos de eliminación de ruido. Los pasos iniciales utilizan una modulación menor para establecer la estructura global y una guía de estilo amplia, mientras que los pasos posteriores aumentan el escalamiento para permitir la transferencia de detalles estilísticos finos y texturas.

La clave de atención final para la atención compartida se formula como:
K = [K'_{img}^{tar} \oplus K'_{txt}^{tar}] \oplus s_{FA}^t \cdot K_{img}^{ref}
donde $s_{FA}^t$ es la escala de modulación consciente de la frecuencia en el paso de tiempo $t$, aplicada exclusivamente a las claves de la referencia.

Contribuciones Clave

1. Análisis Fundamentado de RoPE en la Atención Compartida: El artículo demuestra que el fenómeno de "copia de la referencia" en los DiTs no es un fallo general de la atención compartida, sino una consecuencia específica de los componentes de alta frecuencia de RoPE que imponen una estricta localidad espacial.
2. Mecanismo de Control de Frecuencia: Los autores introducen un método zero-shot y sin entrenamiento para modular las bandas de frecuencia de RoPE. Esto permite un equilibrio controlable entre la alineación posicional y la similitud semántica.
3. Resolución de Artefactos: El método resuelve los problemas de "inpainting cíclico fantasma" y de fuga de contenido observados en enfoques previos (como el RoPE desplazado) al abordar directamente la estructura de frecuencia subyacente en lugar de simplemente desplazar las coordenadas.
4. Restauración de la Generación Alineada al Estilo: El enfoque permite que los DiTs generen contenido semántico diverso (por ejemplo, diferentes animales) manteniendo un estilo visual consistente de una referencia, una capacidad que anteriormente estaba limitada a los modelos basados en UNet o requería un ajuste fino (fine-tuning) intensivo.

Resultados

Evaluado en el modelo Flux 1.-dev, el método demuestra:

• Transferencia de Estilo Efectiva: El modelo transfiere con éxito atributos estilísticos (color, textura, pincelada) de las referencias (incluyendo obras de arte y fotos) a los prompts objetivo sin duplicar el contenido de la referencia.
• Controlabilidad: Al ajustar las escalas de modulación, los usuarios pueden controlar el grado de transferencia de estilo frente a la preservación de contenido. Un $s_{hf}$ más alto preserva la estructura de la referencia (pose/forma) mientras transfiere el estilo; un $s_{hf}$ más bajo permite una mayor variación estructural.
• Superioridad sobre Baselines:
  • Comparado con StyleAligned (basado en UNet), el método evita la fuga de contenido y las irregularidades estructurales en los DiTs.
  • Comparado con AlignedGen (RoPE desplazado), el método evita artefactos de copia periódica y el inpainting cíclico fantasma, proporcionando una transferencia de estilo más suave incluso a altas resoluciones.
  • Comparado con IP-Adapter y B-LoRA, el método no requiere entrenamiento adicional ni codificadores de imagen, ofreciendo una solución zero-shot más generalizable.

Significancia

El artículo sostiene que las codificaciones posicionales no son componentes neutrales, sino que gobiernan activamente el equilibrio entre la localidad y la asociación semántica en los modelos generativos. Los hallazgos explican por qué las estrategias de intercambio de atención desarrolladas para modelos basados en UNet (que dependen de sesgos inductivos convolucionales) fallan cuando se aplican directamente a los DiTs (que dependen exclusivamente de RoPE).

Al revelar que los componentes de alta frecuencia de RoPE impulsan la copia de contenido, este trabajo proporciona un control directo e interpretable para moldear el flujo de atención. Esto sugiere una dirección más amplia para controlar los modelos generativos mediante intervenciones dirigidas en las representaciones internas, permitiendo una generación alineada al estilo precisa sin cambios arquitectónicos ni reentrenamiento.