Resumo Técnico: RoPEMover

Declaração do Problema

Mover um objeto dentro de uma única imagem é uma tarefa complexa de edição de imagem que exige mais do que um simples deslocamento espacial. Uma edição bem-sucedida deve preservar a identidade do objeto, adaptar-se a mudanças de perspectiva e escala, completar plausivelmente regiões anteriormente ocultas e manter efeitos coerentes dependentes da cena, como sombras, reflexos e iluminação. As abordagens existentes frequentemente falham em alcançar esse nível de consistência. Métodos de dois passos (remoção seguida de inserção) frequentemente lutam com o tratamento de sombras e a preservação da identidade do objeto. Técnicas de copiar e colar com harmonização frequentemente falham em considerar mudanças de perspectiva, resultando em edições fisicamente inconsistentes (ex: objetos flutuantes). Embora abordagens generativas recentes aproveitem modelos de difusão de vídeo ou dados sintéticos de larga escala para aprender priors de movimento, elas frequentemente exigem construção de dados dispendiosa, pipelines complexos ou modelagem temporal que é desnecessária para a edição de imagem única.

Metodologia

O RoPEMover introduz um método de movimento de objeto consciente da geometria que opera diretamente nas representações internas de transformadores de difusão, especificamente manipulando os Embeddings Posicionais Rotativos (RoPE). A abordagem evita a necessidade de reconstrução 3D explícita ou conjuntos de dados de movimento de larga escala ao aproveitar os fortes priors espaciais já codificados em modelos pré-treinados.

Mecanismo Central: Manipulação de RoPE

O método é construído sobre a percepção de que o RoPE define um campo espacial estruturado dentro das camadas de atenção dos transformadores de difusão. Ao deformar esses embeddings posicionais, o modelo pode ser induzido a sintetizar um objeto em uma nova localização com movimento controlado.

1. Codificação do Sinal de Arraste: O usuário fornece um sinal de arraste definido por um trio $(dx, dy, s)$, representando o deslocamento no espaço de pixels e uma razão de escala. Esses parâmetros são convertidos em deslocamentos de grade de tokens e um fator de escala.
2. Deformação de RoPE (RoPE Warping): Para tokens dentro da máscara do objeto de origem, as codificações RoPE são substituídas por aquelas computadas para a posição alvo. Especificamente, os índices de linha e coluna $(r, c)$ são transformados para $(r', c')$ com base no deslocamento e na escala. Esta deformação é aplicada apenas durante os passos iniciais de denoising (ex: os primeiros 20 passos) para estabelecer o layout estrutural precocemente no processo de difusão reversa.

RoPE 3D Consciente de Profundidade

Para lidar com oclusões e ordenação de profundidade (colocando objetos à frente ou atrás de elementos da cena), o método estende o RoPE 2D para uma formulação consciente de profundidade:

• Reaproveitamento do Eixo Temporal: No RoPE 3D fatorizado (usado em modelos como o Qwen-Image), o eixo temporal é tipicamente não utilizado para alvos de imagem única. O RoPEMover reaproveita este eixo para injetar informações de profundidade métrica.
• Estimativa e Síntese de Profundidade: Um mapa de profundidade métrica é estimado para a imagem de origem. Na inferência, um mapa de profundidade alvo é sintetizado por:
  • Inpainting da profundidade do fundo (resolvendo a equação de Laplace) para preencher a região deixada vazia pelo objeto.
  • Deformação do mapa de profundidade do objeto de acordo com o sinal de arraste e aplicação de um offset de profundidade ($\Delta z$) especificado pelo usuário.
  • Composição do objeto deformado de profundidade sobre o fundo usando um teste de Z-buffer para determinar a ordenação de oclusão.
  • Mistura de descontinuidades de profundidade na borda da máscara.
• Injeção: Os valores de profundidade sintetizados são normalizados e injetados no primeiro componente complexo do eixo temporal do tensor de frequência do RoPE. Isso fornece ao modelo um contexto geométrico 3D explícito, permitindo o tratamento consistente de oclusões e efeitos dependentes da cena.

Estratégia de Treinamento

O modelo é treinado usando um currículo de dois estágios com eficiência de dados:

1. Estágio 1 (Dados Sintéticos): O modelo é treinado em um grande conjunto de dados de cenas sintéticas geradas a partir de CLEVR. Essas cenas fornecem o ground truth pixel-perfeito para movimento de objetos, desoclusão e profundidade, permitindo que o modelo aprenda um comportamento de edição preciso e controlável sem o overhead de renderização realista.
2. Estágio 2 (Fine-tuning com Dados Reais): Um estágio de fine-tuning leve é realizado em um pequeno conjunto de 165 fotografias reais pareadas. Este passo reduz o gap de domínio, melhorando a fidelidade visual, a preservação de identidade e o tratamento de iluminação e materiais complexos do mundo real.

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Movimento de Objeto Consciente de Geometria via Manipulação de Representação: Um novo método que permite o movimento de objetos ao manipular diretamente o RoPE dentro de transformadores de difusão, fornecendo controle espacial explícito sem exigir reconstrução 3D ou modelagem de vídeo.
2. Transformação Espacial Guiada por Profundidade: Uma extensão da manipulação de RoPE com condicionamento consciente de profundidade. Isso permite deslocamento geometricamente consistente, tratamento correto de oclusão (colocando objetos atrás ou à frente de outros elementos) e a geração de conteúdo coerente em regiões recém-reveladas.
3. Aprendizado com Eficiência de Dados: A abordagem aprende comportamentos de movimento eficazes a partir de dados sintéticos simples e um conjunto mínimo de imagens reais, evitando a necessidade de enormes conjuntos de dados de movimento ou pipelines de treinamento baseados em vídeo complexos.
4. Desempenho de Estado da Arte: O método alcança resultados superiores em tarefas de movimento de objetos, produzindo edições de alta fidelidade com propagação fisicamente consistente de sombras e iluminação, superando abordagens anteriores tanto em qualidade visual quanto em consistência geométrica.

Resultados e Avaliação

O método foi avaliado nos benchmarks ObjMove-A e ObjMove-B.

• Desempenho Quantitativo: No ObjMove-A, o RoPEMover alcançou resultados de estado da arte em todas as métricas, incluindo CLIP Score, DINO Score, DreamSim e PSNR. Superou significativamente os baselines como ObjectMover, FreeFine, MagicFixup e GeoDiffuser, particularmente na preservação da identidade do objeto (altos escores DINO/CLIP) e consistência do fundo.
• Desempenho Qualitativo: Comparações visuais demonstraram que o RoPEMover lida corretamente com cenários desafiadores, como mover objetos atrás de superfícies transparentes, relocar objetos estruturados pequenos e manter sombras e reflexos consistentes. Diferente dos métodos de dois passos que frequentemente produzem objetos "flutuantes" ou artefatos de copiar-e-colar, o RoPEMover gera edições que são fisicamente fundamentadas e conscientes da cena.
• Estudos de Ablação: Experimentos confirmaram que tanto a deformação de RoPE quanto o condicionamento de profundidade são críticos. Remover a deformação resultou em controle espacial pobre, enquanto remover o condicionamento de profundidade levou a imprecisões na ordenação de profundidade e oclusão. Além disso, mostrou-se que o segundo estágio de treinamento em dados reais é essencial para melhorar a preservação de identidade e a fidelidade visual em comparação com o treinamento apenas em dados sintéticos.
• Estudo com Usuários: Em um estudo com 20 participantes comparando contra três baselines fortes, o RoPEMover foi preferido em 83,4% dos votos em métricas de fidelidade da edição, realismo e consistência de fundo.

Significância

O RoPEMover demonstra que o deslocamento preciso e consciente da geometria pode ser alcançado manipulando diretamente as representações posicionais internas de transformadores de difusão. Ao interpretar o RoPE como um campo espacial manipulável e aumentá-lo com informações de profundidade, o método permite o movimento controlado de objetos que respeita a geometria da cena, oclusões e iluminação. Esta abordagem oferece uma alternativa mais eficiente e eficaz aos métodos que dependem de priors de vídeo ou conjuntos de dados de movimento de larga escala, fornecendo uma solução robusta para criação de conteúdo, efeitos visuais e design interativo onde a consistência física é primordial. Os autores observam que, embora o método melhore o controle, ele herda os custos computacionais da amostragem de difusão e os potenciais vieses dos modelos generativos subjacentes.