Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

O artigo apresenta o Follow-Your-Shape, um framework sem treinamento e sem máscaras que utiliza um Mapa de Divergência de Trajetória e injeção programada de KV para realizar edições precisas de forma de objetos preservando o conteúdo de fundo, além de introduzir o ReShapeBench para avaliação rigorosa dessa tarefa.

O essencial

Imagine que você tem uma foto digital e quer mudar o formato de um objeto nela. Por exemplo, transformar um pato em um gato, ou trocar uma bola de futebol por um guitarra, mas sem estragar o fundo da imagem (a grama, o céu, as árvores).

Até hoje, as ferramentas de edição de imagem com Inteligência Artificial faziam um "truque" difícil: ou elas mudavam o objeto, mas bagunçavam o fundo, ou mantinham o fundo perfeito, mas o objeto novo parecia estranho ou não mudava de forma o suficiente.

Os autores deste paper, chamado "Follow-Your-Shape" (Siga Sua Forma), criaram uma nova maneira de fazer isso que é como ter um maestro genial conduzindo uma orquestra.

Aqui está a explicação simples, passo a passo:

1. O Problema: O "Desvio" Perigoso

Pense na edição de imagem como um caminho de caminhada.

• O Caminho Original: A IA já "caminhou" para criar a foto original (do ruído até a foto pronta).
• O Caminho da Edição: Você pede para a IA mudar o pato para um gato. A IA tenta fazer um novo caminho.

O problema é que, nas ferramentas antigas, quando a IA tentava fazer esse novo caminho, ela se perdia. Ela mudava o pato para um gato, mas também mudava a cor da grama ou fazia as árvores ficarem tortas. Era como tentar trocar o motor de um carro enquanto ele está em movimento, e acabar trocando as rodas também sem querer.

2. A Solução: O "Mapa de Desvio" (TDM)

A grande inovação do "Follow-Your-Shape" é um mapa chamado Trajectory Divergence Map (TDM).

A Analogia do GPS:
Imagine que você está dirigindo de casa para o trabalho (o caminho original). De repente, você decide ir para a praia (o caminho de edição).

• O Mapa de Desvio é como um GPS superinteligente que compara os dois trajetos em tempo real.
• Ele diz: "Olha, nos primeiros 10 minutos, os dois caminhos são iguais (o fundo da foto). Mas a partir daqui, o caminho da praia faz uma curva para a direita (onde o pato vira gato). Vamos seguir essa curva apenas ali, e manter o resto do caminho reto."

Esse mapa identifica exatamente onde a forma do objeto está mudando e onde o fundo deve permanecer estático. Ele não precisa que você desenhe uma máscara (recorte) na foto; a própria IA descobre onde cortar.

3. O Método: "Pausa, Estabilize e Edite"

A IA não faz tudo de uma vez. Ela usa uma estratégia de 3 etapas (como cozinhar um prato complexo):

• Etapa 1 (A Âncora): Nos primeiros momentos, a IA ignora o pedido de mudança e foca apenas em reconstruir a foto original perfeitamente. É como se ela dissesse: "Ok, vamos garantir que a grama e o céu estejam perfeitos antes de mexer no pato." Isso evita que o fundo fique bagunçado.
• Etapa 2 (A Exploração): Agora que a base está firme, a IA começa a aplicar o "Mapa de Desvio". Ela olha para onde o pato deveria virar gato e começa a fazer a mudança, mas só naquela área específica.
• Etapa 3 (O Refinamento): A IA mistura as peças. Ela pega a estrutura do novo gato e a coloca no lugar do pato, mas usa as "memórias" da foto original para garantir que a luz, as sombras e o fundo continuem iguais.

4. O Resultado: O "ReShapeBench"

Para provar que isso funciona, os autores criaram um novo teste (um "campo de provas") chamado ReShapeBench.
É como um campeonato de edição onde eles deram 120 fotos difíceis (com objetos complexos, como dois pássaros ou letras) e pediram para mudar a forma radicalmente.

• Resultado: O "Follow-Your-Shape" venceu todos os outros métodos. Ele conseguiu transformar um pato em um gato, ou uma bola em uma guitarra, mantendo o fundo tão perfeito que parece que a foto original já tinha aquele objeto ali.

Resumo em uma frase

O Follow-Your-Shape é como um editor de fotos mágico que sabe exatamente onde "pintar" a nova forma do objeto sem tocar em nenhum pincelada do fundo, usando um mapa inteligente que compara o "antes" e o "depois" para não cometer erros.

Por que isso é legal?
Antes, mudar a forma de um objeto era arriscado e exigia muito trabalho manual. Agora, com essa técnica, você pode pedir para a IA: "Transforme aquela cadeira de madeira em uma cadeira de metal" e ela fará isso mantendo o resto da sala intacta, como se fosse um truque de ilusionismo perfeito.

Resumo técnico

Resumo Técnico: Follow-Your-Shape

1. O Problema

Os modelos recentes de edição de imagem baseados em fluxo (flow-based) e difusão demonstraram capacidades gerais impressionantes. No entanto, eles enfrentam dificuldades significativas em cenários complexos, especificamente em transformações de escala de forma (shape transformations) de grande porte.

• Falhas Atuais: Quando tentam alterar a estrutura de um objeto (ex: transformar um carro em uma bicicleta), esses métodos frequentemente falham em atingir a forma desejada ou, inadvertidamente, alteram regiões não alvo (o fundo), degradando a qualidade da imagem.
• Limitações das Estratégias de Controle:
  • Máscaras Binárias Externas: São rígidas, dependem de ferramentas externas e têm dificuldade com detalhes finos de bordas e mudanças de forma drásticas.
  • Mapas de Atenção Cruzada (Cross-Attention): Frequentemente ruidosos e inconsistentes, tornando-se pouco confiáveis para localizar edições durante grandes transformações estruturais.
  • Injeção de Características (KV) Sem Condição: Preserva a estrutura, mas carece de seletividade, suprimindo as edições intencionais.

Existe uma lacuna crítica na capacidade de realizar edições estruturais precisas enquanto se mantém a integridade do conteúdo não editado sem o uso de máscaras manuais.

2. Metodologia

O Follow-Your-Shape é uma framework de edição de imagem livre de treinamento (training-free) e livre de máscaras (mask-free). A abordagem central baseia-se na análise da divergência entre as trajetórias de inversão (reconstrução da imagem original) e as trajetórias de edição (geração da nova imagem).

A metodologia é dividida em três componentes principais:

A. Mapa de Divergência de Trajetória (Trajectory Divergence Map - TDM)

• Conceito: O método observa que, no espaço latente, a diferença semântica entre o prompt de origem e o de destino se manifesta como uma divergência nos campos de velocidade (velocity fields) durante o processo de denoising.
• Cálculo: O TDM ($\delta_t$) é calculado como a norma L2 da diferença entre os vetores de velocidade previstos para o prompt de edição ($v_{tgt}$) e o prompt de origem ($v_{src}$) em cada token e passo de tempo.
• Função: O TDM localiza dinamicamente as regiões que devem ser editadas (onde a divergência é alta) e as regiões de fundo que devem ser preservadas (onde a divergência é baixa), eliminando a necessidade de máscaras externas.

B. Estratégia de Injeção Agendada de KV (Scheduled KV Injection)
Aplicar o TDM diretamente em todos os passos de denoising é subótimo devido à instabilidade nas etapas iniciais (alto ruído). O método propõe um processo em três estágios:

1. Estabilização Inicial (Stage 1): Nos primeiros passos ($k_{front}$), realiza-se uma injeção de Key-Value (KV) incondicional (usando apenas as características da inversão da imagem original). Isso ancora a trajetória em uma reconstrução fiel, evitando desvios semânticos prematuros no fundo.
2. Edição e Agregação (Stage 2): Durante uma janela de passos intermediários, o modelo explora o caminho guiado pelo prompt de destino. Simultaneamente, os mapas TDM são calculados e agregados temporalmente (usando uma fusão ponderada por softmax e suavização gaussiana) para criar uma máscara de edição robusta e coerente.
3. Conformidade Estrutural e Semântica (Stage 3): A máscara final ($M_S$) guia a injeção de características mistas. Em regiões editadas, injeta-se as características do alvo; em regiões de fundo, injeta-se as características da inversão original. Além disso, utiliza-se o ControlNet (com profundidade e Canny) para fornecer orientação estrutural adicional, garantindo que a nova forma se integre perfeitamente ao contexto.

3. Principais Contribuições

1. Framework Follow-Your-Shape: Uma nova arquitetura livre de treinamento e máscaras que utiliza o TDM para realizar transformações de forma de grande escala com alta precisão, preservando rigorosamente o fundo.
2. Estratégia de Injeção Agendada: Uma abordagem inovadora que adapta o mecanismo de controle ao longo do processo de denoising, equilibrando estabilidade inicial e liberdade de edição posterior.
3. ReShapeBench: A introdução de um novo benchmark específico para avaliação de edição de imagem consciente de forma.
   • Contém 120 novas imagens (70 de objeto único, 50 de múltiplos objetos).
   • Inclui pares de prompts refinados focados em mudanças geométricas e semânticas de grande porte.
   • Projetado para isolar a tarefa de transformação estrutural, diferentemente de benchmarks gerais existentes.

4. Resultados

Os experimentos foram conduzidos no ReShapeBench e no PIE-Bench, comparando o Follow-Your-Shape com métodos baseados em difusão (ex: MasaCtrl, PnPInversion) e baseados em fluxo (ex: RF-Edit, FlowEdit, FLUX.1).

• Desempenho Quantitativo: O método alcançou o estado da arte (SOTA) em todas as métricas principais:
  • Preservação de Fundo: Superou todos os baselines em PSNR e LPIPS, indicando que o fundo permanece quase idêntico ao original.
  • Alinhamento Texto-Imagem: Obteve as maiores pontuações de similaridade CLIP, garantindo que a nova forma corresponda ao prompt.
  • Qualidade Visual: Maior pontuação no LAION Aesthetic Score.
• Desempenho Qualitativo: Visualizações mostram que o método consegue realizar trocas drásticas de forma (ex: um pato virando um chapéu, um carro virando uma bicicleta) mantendo a iluminação, textura e composição do fundo intactos, enquanto outros métodos falham em manter a estrutura ou distorcem o fundo.
• Ablação: Estudos mostraram que a estabilização inicial ($k_{front}=2$) é crucial; sem ela, ocorrem desvios estruturais, e com excesso, a edição fica limitada.

5. Significância

O trabalho Follow-Your-Shape representa um avanço significativo na área de edição de imagem generativa ao resolver o problema de "edição estrutural sem máscaras".

• Inovação Conceitual: Demonstra que a análise dinâmica das trajetórias de fluxo no espaço latente pode substituir a necessidade de máscaras manuais ou heurísticas de atenção ruidosas para localizar edições.
• Aplicabilidade: Permite edições complexas e criativas que eram anteriormente impossíveis ou de baixa qualidade, abrindo caminho para ferramentas de edição mais intuitivas e controláveis.
• Padrão de Avaliação: Ao introduzir o ReShapeBench, o trabalho estabelece um novo padrão para avaliar especificamente a capacidade de modelos de alterar a geometria de objetos, uma tarefa negligenciada por benchmarks anteriores focados em tarefas gerais.

Em suma, o Follow-Your-Shape oferece uma solução robusta para a transformação de formas de objetos em imagens, garantindo que a "mágica" da edição não destrua a realidade do cenário original.