Resumo Técnico: Tiling de Textura Controlável com Modelos de Difusão Potencializados por RoPE Transformado

1. Declaração do Problema

A integração de texturas especificadas pelo usuário em imagens de cena é uma tarefa fundamental em computação gráfica e edição de imagens. Embora os métodos existentes de transferência de material e inpainting guiado por referência (ex: FLUX.1-dev-Fill, ZeST, MatSwap) possam editar aparências de superfície, eles enfrentam dificuldades com os requisitos específicos de tiling de textura (repetição de textura). As abordagens atuais enfrentam três limitações principais:

1. Falta de Controle Preciso: Frequentemente falham em aderir estritamente aos parâmetros espaciais definidos pelo usuário, como frequência, orientação e escala, frequentemente "alucinando" padrões baseados em distribuições aprendidas em vez da referência específica.
2. Reamostragem Destrutiva: Métodos que dependem de deformação explícita de pixels (ex: MatSwap) ou mecanismos de atenção cruzada sofrem de downsampling destrutivo, levando à perda de detalhes de alta frequência e fidelidade estrutural.
3. Vazamento Semântico: Os modelos existentes frequentemente falham em preservar a iluminação e a geometria coerentes da cena original ou permitem que características de referência vazem para regiões de fundo não editadas.

O desafio central é alcançar um tiling de textura controlável e de alta fidelidade que desacople a manipulação espacial da geração de conteúdo, preservando tanto a identidade da textura de referência quanto a consistência física da cena.

2. Metodologia

Os autores propõem um novo framework construído sobre a arquitetura Diffusion Transformer (DiT), especificamente aproveitando o modelo FLUX.1-Kontext-dev. A abordagem reformula o mapeamento de textura como uma tarefa especializada de inpainting condicionada visualmente usando duas inovações técnicas principais:

A. Embeddings Rotativos de Coordenadas Transformadas (Transformed RoPE)

Em vez de deformar fisamente os pixels da textura de entrada (o que causa perda de resolução), o método injeta transformações espaciais diretamente no mecanismo de atenção.

• Mecanismo: O framework utiliza Embeddings Posicionais Rotativos (RoPE) 2D, que codificam a consciência espacial via distâncias relativas entre tokens.
• Implementação: Transformações afins ($\mathcal{T}$) definidas pelo usuário, incluindo rotação, escala e translação, são aplicadas diretamente aos embeddings posicionais das chaves (keys) e valores (values) de referência durante a Auto-Atenção (Self-Attention).
• Efeito: Isso permite que o modelo trate a textura de referência como uma unidade única e realize um "Tiling Generativo Implícito". O mecanismo de atenção recupera características de alta fidelidade da unidade de referência com base nas coordenadas transformadas sem reamostragem explícita de pixels, preservando a fidelidade espectral total das características latentes.

B. Mascaramento de Atenção Disjunto

Para evitar o vazamento semântico e garantir a integridade estrutural, os autores introduzem uma máscara de atenção especializada que particiona a sequência de tokens em três subconjuntos disjuntos:

1. Tokens de Referência ($\mathcal{S}_{ref}$): Restritos a atender apenas a si mesmos. Isso protege a textura de referência da interferência do fundo e evita o vazamento de cor.
2. Tokens de Fundo ($\mathcal{S}_{bg}$): Permitidos a atender à cena, mas estritamente bloqueados de atender aos tokens de referência para evitar que a textura de referência altere o contexto não editado.
3. Tokens de Alvo de Inpainting ($\mathcal{S}_{mask}$): Concedidos visibilidade total para atender tanto à referência (para características de textura) quanto ao fundo (para iluminação global e geometria).

C. Pipeline do Sistema

O sistema aceita uma imagem de origem ($I_{src}$), uma máscara alvo ($M$), uma textura de referência ($I_{ref}$) e parâmetros de transformação ($\mathcal{T}$).

• Priors Geométricos: Mapas de profundidade ($D$) e mapas de irradiância ($L$) são extraídos usando estimadores upstream e codificados no espaço latente para modular o padrão de tiling de acordo com as normais de superfície e sombreamento.
• Fusão Latente: O latente alvo é construído concatenando o latente ruidoso, o fundo não editado, a máscara e os priors geométricos. A textura de referência é preenchida com zeros para corresponder às dimensões de canal e concatenada ao longo da dimensão da sequência.
• Treinamento: O modelo é treinado em duas etapas: primeiro no Subset Blender sintético (14.000 amostras) para aprender mecânicas fundamentais de tiling, e depois ajustado em um Subset de Adaptação (1.300 amostras) usando um motor de renderização baseado em física para reduzir a lacuna de realidade (reality gap).

3. Principais Contribuições

1. Tiling de Alta Fidelidade via Transformed RoPE: O artigo introduz um mecanismo para injetar transformações afins 2D diretamente nos Embeddings Posicionais Rotativos. Isso permite controle espacial preciso e preserva detalhes de alta frequência ao evitar a deformação de pixels destrutiva.
2. Controle de Atenção Disjunto: Uma estratégia de mascaramento dedicada é proposta para eliminar o vazamento de características entre a condição de referência e o fundo, garantindo regiões não editadas livres de artefatos e preservando a integridade estrutural do exemplar.
3. Dataset de Benchmark: Os autores lançam um dataset de larga escala com 15.000 pares cena-textura diversos e de alta qualidade, com matrizes de transformação ground-truth e máscaras semânticas densas para estabelecer um protocolo de avaliação padronizado para a controlabilidade de edição de textura.

4. Resultados Experimentais

O método foi avaliado contra baselines de estado da arte (FLUX.1-Fill-dev, FLUX.2-dev, ZeST, MaterialFusion, MatSwap) em datasets sintéticos e do mundo real.

• Fidelidade de Textura: Nos dados sintéticos, o método proposto alcançou desempenho de estado da arte em todas as métricas (LPIPS, CLIP-Score e Gram Matrix Loss), superando os baselines por margens significativas. Nos dados do mundo real, estudos de usuário mostraram uma taxa de preferência Top-1 de 42,0%, significativamente maior que o próximo melhor método (MatSwap com 9,8%).
• Controlabilidade Espacial: Em estudos de ablação e comparações onde os baselines foram forçados a usar entradas pré-deformadas, o método proposto demonstrou precisão geométrica superior. Ele lidou com sucesso com rotações complexas, escala e até injeções não afins, enquanto os baselines sofreram com aliasing, degradação estrutural ou vieses de "copiar-colar" que ignoravam a topologia da superfície 3D.
• Análise de Ablação: A remoção do Mascaramento de Atenção Disjunto levou à contaminação semântica e perda de clareza estrutural. Substituir a injeção de coordenadas implícita por deformação explícita no espaço de pixels (Global ou Local Explicit) resultou em desalinhamento geométrico e perda irreversível de detalhes de alta frequência devido ao downsampling.

5. Significância e Alegações

O artigo afirma preencher a lacuna entre a edição geométrica precisa e o fotorrealismo generativo. Ao desacoplar a manipulação espacial da geração de conteúdo visual, o framework oferece uma solução que é:

• Sem Perdas (Lossless): Preserva os detalhes de alta frequência da textura de referência ao evitar a reamostragem explícita de pixels.
• Fisicamente Consistente: Integra a textura sintetizada com a iluminação e geometria originais da cena através de fusão latente com priors de profundidade e irradiância.
• Controlável: Permite transformações afins definidas pelo usuário que são estritamente seguidas, em vez de depender da interpretação probabilística do modelo de prompts de texto ou imagem.

Os autores posicionam este trabalho como um novo estado da arte para transferência de material, oferecendo um equilíbrio ideal entre controle estrutural, fidelidade de textura e realismo visual. Eles reconhecem limitações em relação aos gargalos de resolução no espaço latente do VAE, a falta de mapas de material explícitos (ex: rugosidade) e a incapacidade de uma única transformação afim lidar com transições abruptas em geometrias complexas, apontando estes como caminhos para trabalhos futuros.