Wavelet-Guided Semantic Signal Compensation for Inversion-Free Image Editing

Resumo Técnico: Compensação de Sinal Semântico Guiada por Wavelets para Edição de Imagens Sem Inversão

Declaração do Problema
Estruturas recentes de edição de imagens sem inversão, como o FlowEdit, demonstraram a capacidade de modificar imagens estimando dinamicamente as diferenças de velocidade entre as trajetórias de origem e alvo sem exigir a inversão semântica explícita. Embora eficazes para edições locais, esses métodos exibem uma limitação crítica quando aplicados a modificações semânticas globais (por exemplo, alterar atributos de cor globais ou mudar todo o tema da cena).

Os autores identificam que no regime de alto ruído (etapas iniciais de geração), a trajetória de edição é dominada por um "fluxo de busca de variedade" (manifold-seeking flow) que transporta o ruído em direção à variedade da imagem natural. Esse fluxo dominante sobrepõe-se ao sutil sinal semântico condicionado pelo texto. Consequentemente, a trajetória de edição permanece fortemente alinhada com os vieses estruturais da imagem de origem, falhando em desviar-se suficientemente em direção aos novos atributos globais. No momento em que o nível de ruído diminui e o condicionamento de texto se torna mais influente, o layout global e a composição de cores já estão fixos, tornando ineficazes as mudanças semânticas de grande escala. Este fenômeno é denominado indistinguibilidade semântica.

Metodologia
O método proposto, Compensação de Sinal Semântico Guiada por Wavelets, é um aumento livre de treinamento (training-free augmentation) projetado para fortalecer o sinal efetivo durante os estágios iniciais de geração, preservando simultaneamente a consistência estrutural. A abordagem consiste em três componentes principais:

1. Sondagem Semântica de Mesmo Ponto (Same-Point Semantic Probing):
   Para desmembrar o sinal semântico do confundimento geométrico causado pela separação espacial entre os latentes de origem e alvo, o método avalia tanto o prompt de origem ($e_{src}$) quanto o prompt de alvo ($e_{tar}$) no mesmo estado latente exato ($x^{src}_{t_i}$). Isso gera uma direção induzida pelo prompt co-localizada ($v_{sem}$) que isola a diferença semântica sem o ruído do deslocamento espacial.

2. Extração de Baixa Frequência Baseada em Wavelets:
   A injeção direta do sinal bruto $v_{sem}$ pode introduzir perturbações de alta frequência que degradam a integridade estrutural da imagem de origem. Para resolver isso, o método emprega uma Transformada de Wavelet Discreta (DWT) 2D de Haar. O sinal semântico é decomposto em múltiplos níveis, e os coeficientes de detalhe de alta frequência são zerados. Apenas os coeficientes de aproximação de baixa frequência ($cA$) são retidos. Isso isola os componentes espacialmente coerentes e globais do sinal de edição (por exemplo, distribuição de cores globais, organização espacial grosseira), enquanto filtra o ruído de grão fino.

3. Injeção Modulada pelo Tempo:
   O sinal de baixa frequência extraído é injetado no fluxo de edição através de uma regra de atualização modificada. A força da injeção é governada por um peso quadrático dependente do tempo $w(t_i) = \lambda t_i^2$.

   • Etapas Iniciais ($t_i \approx 1$): O peso é máximo, fornecendo forte compensação global quando o sinal geométrico padrão é fraco e a trajetória é mais suscetível à variedade da origem.
   • Etapas Finais ($t_i \approx 0$): O peso desaparece, permitindo que o FlowEdit padrão domine, preservando assim os detalhes finos e a fidelidade de textura.
   • A atualização final combina o sinal geométrico original ($\Delta v_t$) com o sinal de baixa frequência compensado.

Principais Contribuições

• Análise de Limitações: Os autores identificam e analisam a "indistinguibilidade semântica" em modelos de fluxo retificado, demonstrando que a dominância do fluxo de busca de variedade em regimes de alto ruído limita o acúmulo de desvio direcional necessário para mudanças de atributos globais.
• Novo Mecanismo de Compensação: Eles propõem um framework de compensação de sinal semântico baseado em wavelets que extrai direções de baixa frequência de estados latentes idênticos. Este design fortalece a modificação semântica global sem sacrificar a fidelidade do plano de fundo.
• Avaliação Abrangente: O artigo fornece experimentos extensos, incluindo métricas quantitativas, estudos de usuário e análise no domínio da frequência, para validar a eficácia do método em diversas tarefas de edição.

Resultados Experimentais
Avaliado no conjunto de dados PIE-Bench utilizando o modelo FLUX (com resultados adicionais em SD3 e SD3.5), o método proposto demonstra desempenho superior em comparação tanto com baselines baseados em inversão (ex: RF-Inv, DNA-Edit) quanto em baselines sem inversão (ex: FlowEdit, FlowAlign).

• Métricas Quantitativas: O método alcança as pontuações de similaridade CLIP mais altas (indicando melhor alinhamento texto-imagem) ao mesmo tempo em que lidera nas métricas de preservação de plano de fundo (PSNR, SSIM, LPIPS). Ele equilibra com sucesso uma forte edição semântica com consistência estrutural.
• Resultados Qualitativos: Comparações visuais mostram que o método alcança mudanças consistentes de atributos globais (ex: mudanças de cor, substituição de objetos) sem introduzir distorções estruturais ou deriva semântica, que são modos de falha comuns em métodos existentes sem inversão.
• Estudo de Usuário: Em uma comparação pareada envolvendo 100 pares de imagens editadas, o método proposto foi preferido sobre todos os baselines pelos participantes humanos por preservar melhor as regiões não editadas enquanto reflete a edição pretendida.
• Análise de Frequência: A análise de densidade espectral de potência confirma que o método aumenta a energia espectral na faixa de baixa frequência (mudanças globais) enquanto mantém os níveis de base na faixa de alta frequência (detalhes estruturais).

Significância e Alegações
O artigo alega que sua principal contribuição é abordar o gargalo específico da modificação semântica global na edição sem inversão. Ao introduzir uma estratégia de compensação consciente da frequência, o método permite que modelos de fluxo retificado desloquem efetivamente atributos globais (como cor e composição) precocemente no processo de geração, uma capacidade anteriormente dificultada pela dominância de vieses estruturais em regimes de alto ruído. Os autores enfatizam que sua abordagem melhora a capacidade de edição sem exigir retreinamento de modelo, modificações de atenção ou inversão explícita, tornando-a um aprimoramento prático e eficiente para pipelines de edição baseados em fluxo existentes.