Resumo Técnico: LazyDrag

Declaração do Problema

A edição de imagens baseada em arrasto (drag-based) em modelos de difusão enfrenta um gargalo fundamental: a dependência de correspondência implícita de pontos via mecanismos de atenção. Métodos anteriores, como os que utilizam compartilhamento de atenção (ex: MasaCtrl), alocam pesos de atenção para regiões espacialmente próximas em vez de semanticamente relacionadas. Isso leva a edições instáveis, degradação da preservação de identidade e um comprometimento na força de inversão. Para mitigar esses problemas, abordagens existentes frequentemente recorrem à Otimização em Tempo de Teste (TTO) ou ao enfraquecimento da força de inversão. Esses compromissos resultam em inpainting não confiável, geração guiada por texto suprimida e edições distorcidas. Além disso, a transição de arquiteturas U-Net para Transformers de Difusão Multimodais (MM-DiTs) introduziu novos desafios; simplesmente compartilhar tokens de chave (key) e valor (value) em MM-DiTs falha em preservar a identidade de forma eficaz, e os métodos de preservação de identidade existentes (ex: CharaConsist) dependem de uma correspondência de similaridade de atenção frágil, que é instável sob inversão de força total.

Metodologia: LazyDrag

O LazyDrag é um método livre de treinamento (training-free) projetado para MM-DiTs que elimina a dependência de correspondência implícita de pontos ao introduzir um mapa de correspondência explícito. O método opera sob inversão de força total sem exigir TTO. O pipeline consiste em três estáções principais:

1. Geração de Mapa de Correspondência Explícito

Em vez de inferir correspondências através de atenção, o LazyDrag deriva um mapa de correspondência determinístico diretamente das instruções de arrasto do usuário.

• Cálculo do Campo de Deslocamento: O método calcula um campo de deslocamento usando uma estratégia de fusão Winner-Takes-All (WTA). Para cada ponto editável, o deslocamento é determinado pelo ponto de controle (handle) mais próximo, particionando a grade latente via fronteiras de Voronoi. Isso evita o cancelamento de movimento que ocorre ao tirar a média de arrastos opostos (ex: abrir uma boca).
• Inicialização Latente: O espaço latente é particionado em quatro regiões distintas:
  • Background ($R_{bg}$): Permanece inalterado.
  • Destinos ($R_{dst}$): Onde o conteúdo movido é renderizado com preservação de identidade.
  • Inpainting ($R_{inp}$): Inicializado com ruído Gaussiano (em vez de interpolação) para evitar artefatos repetitivos e permitir geração de alta fidelidade guiada por texto.
  • Transição ($R_{trans}$): Mistura as fronteiras suavemente.
• Formalização do Mapa: O processo resulta em um mapa de pontos de correspondência $M(x)$ e um mapa de peso $A(x)$, que servem como referências confiáveis para o controle de atenção subsequente.

2. Controle de Atenção Baseado em Correspondência

O mapa explícito impulsiona um mecanismo de controle de atenção de duas partes dentro das camadas de Atenção de Fluxo Único (SS-Attn) do MM-DiT:

• Controle de Entrada (Substituição e Concatenação de Tokens):
  • Preservação de Background: Para $R_{bg}$, os tokens de atenção ($Q, K, V$) são substituídos rigidamente pelos tokens originais armazenados em cache durante o processo de inversão para garantir que o fundo permaneça intocado.
  • Preservação de Identidade: Para $R_{dst}$ e $R_{trans}$, o método concatena os tokens de origem armazenados em cache (re-codificados com embeddings rotativos) com os tokens atuais. Isso injeta um sinal forte, orientado pela correspondência, no cálculo da atenção, preservando a identidade do objeto enquanto permite uma adaptação coerente.
• Refinamento de Saída (Fusão com Gate):
  • A saída da atenção é refinada via uma fusão por gate (gated merge) da saída atual e da saída em cache do ponto de origem correspondente.
  • O fator de mistura é controlado por um gate pelo peso de correspondência pré-computado $A(x)$ e um fator de decaimento temporal. Isso garante controle preciso nos pontos de controle, permitindo um relaxamento natural nas regiões circundantes, eliminando a necessidade de otimização latente de múltiplos passos.

Principais Contribuições

1. Primeira Inversão de Força Total em Edição por Arrasto: O LazyDrag é o primeiro método de edição por arrasto para MM-DiTs que utiliza inversão de força total em todos os passos de amostragem, desbloqueando a capacidade generativa total do modelo sem TTO.
2. Correspondência Explícita sobre Correspondência Implícita: Ao substituir a frágil correspondência de similaridade de atenção por um mapa de correspondência explícito definido pelo usuário, o método resolve a instabilidade central de trabalhos anteriores, permitindo edições estáveis e inpainting fiel.
3. Resolução de Ambiguidade via Guia de Texto: O método acopla o mapa de correspondência explícito com a orientação de texto, permitindo edições semanticamente consistentes (ex: mover uma mão para dentro de um bolso vs. atrás das costas) e inpainting natural de regiões complexas (ex: o interior da boca de um cachorro).
4. Suporte a Múltiplos Ciclos e Operações: O framework suporta operações simultâneas de mover e escalar, além de edições de múltiplos ciclos, mantendo a coerência visual.

Resultados Experimentais

Avaliado no DragBench (205 imagens, 349 pares de pontos), o LazyDrag supera oito baselines (incluindo DragDiffusion, GoodDrag, FastDrag e Inpaint4Drag) em métricas quantitativas e qualitativas:

• Desempenho Quantitativo: O LazyDrag alcança resultados de estado da arte (SOTA) com uma Distância Média (MD) de 21.49, superando o segundo melhor baseline (DragText com 21.51). Também lidera em Consistência Semântica (SC: 8.205), Qualidade Perceptual (PQ: 8.395) e Pontuação Geral (O: 8.210).
• Eficiência: Diferente dos baselines que exigem TTO (ex: ajuste fino de LoRA ou otimização de múltiplos passos), o LazyDrag é livre de treinamento e não requer otimização por imagem ou instrução.
• Estudo com Usuários: Em um estudo com 32 participantes especialistas, o LazyDrag foi preferido em 63,67% das comparações, superando significativamente todos os baselines.
• Superioridade Qualitativa: O método executa com sucesso edições complexas que falham para outros métodos, como abrir a boca de um cachorro e realizar o inpainting de seu interior, ou gerar novos objetos (ex: uma "bola de tênis") guiado por texto, tudo isso preservando a integridade do fundo e a identidade do objeto.

Significância

O artigo postula que o LazyDrag abre um novo caminho para paradigmas de edição ao demonstrar que a correspondência explícita pode substituir o gargalo fundamental da correspondência implícita de atenção. Ao permitir uma inversão de força total estável em MM-DiTs, o método desbloqueia capacidades generativas anteriormente suprimidas pela necessidade de TTO ou inversão enfraquecida. Ele estabelece um novo SOTA para edição por arrasto, oferecendo controle geométrico preciso, inpainting natural e criação robusta guiada por texto sem o custo computacional da otimização em tempo de teste.