Resumen Técnico: Mosaico de Texturas Controlable con Modelos de Difusión Mejorados por RoPE Transformado

1. Planteamiento del Problema

La integración de texturas especificadas por el usuario en imágenes de escenas es una tarea fundamental en la computación gráfica y la edición de imágenes. Aunque los métodos existentes de transferencia de materiales y de inpainting guiado por referencia (p. ej., FLUX.1-dev-Fill, ZeST, MatSwap) pueden editar las apariencias superficiales, presentan dificultades con los requisitos específicos del mosaico de texturas (texture tiling). Los enfoques actuales enfrentan tres limitaciones principales:

1. Falta de Control Preciso: A menudo no logran adherirse estrictamente a los parámetros espaciales definidos por el usuario, tales como frecuencia, orientación y escala, "alucinando" patrones basados en distribuciones aprendidas en lugar de seguir la referencia específica.
2. Remuestreo Destructivo: Los métodos que dependen del deformación (warping) explícita de píxeles (p. ej., MatSwap) o de mecanismos de atención cruzada sufren de un submuestreo destructivo, lo que provoca la pérdida de detalles de alta frecuencia y de la fidelidad estructural.
3. Fuga Semántica: Los modelos existentes a menudo no logran preservar la iluminación y la geometría coherentes de la escena original o permiten que las características de la referencia se filtren hacia las regiones del fondo no editadas.

El desafío central es lograr un mosaico de texturas controlable y de alta fidelidad que desacople la manipulación espacial de la generación de contenido, preservando tanto la identidad de la textura de referencia como la consistencia física de la escena.

2. Metodología

Los autores proponen un nuevo marco de trabajo basado en la arquitectura Diffusion Transformer (DiT), aprovechando específicamente el modelo FLUX.1-Kontext-dev. El enfoque reformula el mapeo de texturas como una tarea especializada de inpainting condicionado visualmente utilizando dos innovaciones técnicas clave:

A. Embeddings Rotatorios de Coordenadas Transformadas (RoPE Transformado)

En lugar de deformar físicamente los píxeles de la textura de entrada (lo que causa pérdida de resolución), el método inyecta transformaciones espaciales directamente en el mecanismo de atención.

• Mecanismo: El marco utiliza Embeddings Posicionales Rotatorios (RoPE) 2D, que codifican la conciencia espacial mediante distancias relativas entre tokens.
• Implementación: Las transformaciones afines ($\mathcal{T}$) definidas por el usuario, incluyendo rotación, escala y traslación, se aplican directamente a los embeddings posicionales de las llaves (keys) y valores (values) de referencia durante la Auto-Atención (Self-Attention).
• Efecto: Esto permite que el modelo trate la textura de referencia como una unidad única y realice un "Mosaico Generativo Implícito". El mecanismo de atención recupera características de alta fidelidad de la unidad de referencia basándose en las coordenadas transformadas sin necesidad de un remuestreo de píxeles explícito, preservando la fidelidad espectral completa de las características latentes.

B. Enmascaramiento de Atención Disjunto

Para prevenir la fuga semántica y asegurar la integridad estructural, los autores introducen una máscara de atención especializada que particiona la secuencia de tokens en tres subconjuntos disjuntos:

1. Tokens de Referencia ($\mathcal{S}_{ref}$): Restringidos a atender únicamente a sí mismos. Esto protege la textura de referencia de la interferencia del fondo y evita la filtración de color.
2. Tokens de Fondo ($\mathcal{S}_{bg}$): Permitidos para atender a la escena, pero estrictamente bloqueados para atender a los tokens de referencia para evitar que la textura de referencia altere el contexto no editado.
3. Tokens de Objetivo de Inpainting ($\mathcal{S}_{mask}$): Con visibilidad total para atender tanto a la referencia (para obtener características de textura) como al fondo (para iluminación y geometría globales).

C. Pipeline del Sistema

El sistema acepta una imagen de origen ($I_{src}$), una máscara de objetivo ($M$), una textura de referencia ($I_{ref}$) y parámetros de transformación ($\mathcal{T}$).

• Prios Geométricos: Se extraen mapas de profundidad ($D$) y mapas de irradiancia ($L$) mediante estimadores previos y se codifican en el espacio latente para modular el patrón de mosaico de acuerdo con las normales de la superficie y el sombreado.
• Fusión Latente: El latente de objetivo se construye concatenando el latente ruidoso, el fondo no editado, la máscara y los de la prioridad geométrica. La textura de referencia se rellena con ceros (zero-padding) para igualar las dimensiones de los canales y se concatena a lo largo de la dimensión de la secuencia.
• Entrenamiento: El modelo se entrena en dos etapas: primero en un Subconjunto de Blender sintético (14,000 muestras) para aprender la mecánica fundamental del mosaico, y luego se ajusta en un Subconjunto de Adaptación (1,300 muestras) utilizando un motor de renderizado basado en la física para cerrar la brecha con la realidad.

3. Contribuciones Clave

1. Mosaico de Alta Fidelidad mediante RoPE Transformado: El artículo introduce un mecanismo para inyectar transformaciones afines 2D directamente en los Embeddings Posicionales Rotatorios. Esto permite un control espacial preciso y preserva los detalles de alta frecuencia al evitar el deformado destructivo de píxeles.
2. Control de Atención Disjunto: Se propone una estrategia de enmascaramiento dedicada para eliminar la filtración de características entre la condición de referencia y el fondo, asegurando regiones no editadas libres de artefactos y preservando la integridad estructural del ejemplar.
3. Dataset de Referencia (Benchmark): Los autores lanzan un conjunto de datos a gran escala de 15,000 pares escena-textura diversos y de alta calidad con matrices de transformación de verdad de campo (ground-truth) y máscaras semánticas densas para establecer un protocolo de evaluación estandarizado para la controlabilidad de la edición de texturas.

4. Resultados Experimentales

El método fue evaluado frente a líneas base de vanguardia (FLUX.1-Fill-dev, FLUX.2-dev, ZeST, MaterialFusion, MatSwap) tanto en conjuntos de datos sintéticos como reales.

• Fidelidad de la Textura: En datos sintéticos, el método propuesto alcanzó el rendimiento de vanguardia en todas las métricas (LPIPS, CLIP-Score y Pérdida de Matriz de Gram), superando a las líneas base por márgenes significativos. En datos del mundo real, los estudios de usuario mostraron una tasa de preferencia Top-1 del 42.0%, significativamente superior al siguiente mejor método (MatSwap con 9.8%).
• Controlabilidad Espacial: En estudios de ablación y comparaciones donde se obligó a las líneas base a usar entradas pre-deformadas, el método propuesto demostró una precisión geométrica superior. Manejó con éxito rotaciones complejas, escalado e incluso inyecciones no afines, mientras que las líneas base sufrieron de aliasing, degradación estructural o sesgos de "copiar y pegar" que ignoraban la topología de la superficie 3D.
• Análisis de Ablación: La eliminación del Enmascaramiento de Atención Disjunto provocó contaminación semántica y pérdida de claridad estructural. Reemplazar la inyección de coordenadas implícita con el deformado explícito en el espacio de píxeles (Global o Local Explícito) resultó en desalineación geométrica y una pérdida irreversible de detalles de alta frecuencia debido al submuestreo.

5. Significado y Reivindicaciones

El artículo afirma cerrar la brecha entre la edición geométrica precisa y el fotorrealismo generativo. Al desacoplar la manipulación espacial de la generación de contenido visual, el marco ofrece una solución que es:

• Sin Pérdidas (Lossless): Preserva los detalles de alta frecuencia de la textura de referencia al evitar el remuestreo explícito de píxeles.
• Físicamente Consistente: Integra la textura sintetizada con la iluminación y la geometría originales de la escena mediante la fusión latente con prioris de profundidad e irradiancia.
• Controlable: Permite transformaciones afines definidas por el usuario que se respetan estrictamente, en lugar de depender de la interpretación probabilística del modelo basada en prompts de texto o imagen.

Los autores posicionan este trabajo como un nuevo estado del arte para la transferencia de materiales, ofreciendo un equilibrio óptimo entre control estructural, fidelidad de textura y realismo visual. Reconocen limitaciones respecto a los cuellos de botella de resolución en el espacio latente del VAE, la falta de mapas de materiales explícitos (p. ej., rugosidad) y la incapacidad de una única transformación afín para manejar transiciones bruscas en geometrías complejas, señalándolos como vías para trabajos futuros.