h-Flow: Flexible Flow-based Image Editing via Doob's h-Transform

Resumo Técnico de h-Flow: Edição de Imagem Flexível Baseada em Fluxo via h-Transform de Doob

Definição do Problema
A edição de imagens baseada em texto utilizando modelos de Fluxo Retificado (RF) de geração de texto-para-imagem pré-treinados enfrenta um compromisso fundamental entre alinhamento com o alvo (aderir fielmente ao prompt de destino) e consistência da fonte (preservar a estrutura e as regiões não editadas da imagem original). As abordagens existentes geralmente se dividem em duas categorias com limitações distintas:

1. Métodos baseados em inversão: Estes invertem a imagem de origem em uma distribuição de ruído latente antes de regenerá-la. Embora visem alta fidelidade, frequentemente dependem de designs heurísticos específicos de arquitetura e sofrem com acúmulo de erro durante o processo de inversão.
2. Métodos livres de inversão: Estes constroem trajetórias de transformação diretas da fonte para o alvo. Embora imponham consistência estrutural, muitas vezes carecem de uma fundamentação teórica unificada, dependendo de heurísticas empíricas que as tornam sensíveis a hiperparâmetros (ex: sementes aleatórias, passos de fluxo) e propensas à instabilidade.

O desafio central é alcançar um equilíbrio controlável e robusto entre esses dois objetivos sem exigir treinamento adicional ou depender de construções heurísticas frágeis.

Metodologia
Os autores propõem o h-Flow, um framework livre de treinamento que reformula a edição de imagens como um problema de geração condicional sob múltiplos eventos terminais, fundamentado no h-Transform de Doob.

1. Extensão Teórica para RF Determinístico:
   O h-Transform de Doob clássico é definido para equações diferenciais estocásticas (SDEs) com coeficientes de difusão não nulos. No entanto, os modelos RF operam via Equações Diferenciais Ordinárias (ODEs) determinísticas onde o coeficiente de difusão $g(t) \equiv 0$, tornando o h-Transform padrão indefinido. Para resolver isso, os autores constroem uma SDE equivalente que compartilha exatamente as mesmas distribuições marginais das dinâmicas de RF, mas possui um coeficiente de difusão não nulo ($g_{eq}(t) = \sqrt{2t/(1-t)}$). Isso permite a aplicação rigorosa do h-Transform ao framework de RF determinístico.

2. Orientação Dupla via h-Funções:
   O processo de edição é guiado por duas funções harmônicas ($h$-funções) correspondentes aos dois constrangimentos terminais:

   • Consistência da Fonte ($h_{rec}$): Codifica o constrangimento de que a imagem final deve corresponder à imagem de origem $x_0^{src}$. Isso gera um termo de orientação de reconstrução em forma fechada, $v_{rec} = (x_t - x_0^{src})/t$, que direciona a trajetória exatamente para a fonte.
   • Alinhamento com o Alvo ($h_{edit}$): Codifica a transição semântica para o prompt de edição $c^{edit}$. O sinal de orientação é derivado da diferença entre os campos de velocidade dos prompts de alvo e de origem ($\Delta_{edit} = v_\theta^{edit} - v_\theta^{src}$), isolando a mudança semântica enquanto descarta o conteúdo compartilhado.

3. Decomposição Ortogonal de Velocidade:
   Uma inovação fundamental é a projeção ortogonal do sinal de edição. Como a direção de edição $\Delta_{edit}$ pode conter componentes paralelos à velocidade de reconstrução $\tilde{v}_{rec}$, simplesmente somá-los pode causar interferência. Os autores projetam $\Delta_{edit}$ no complemento ortogonal de $\tilde{v}_{rec}$:
   $$\Delta_{edit}^\perp = \Delta_{edit} - \frac{\langle \Delta_{edit}, \tilde{v}_{rec} \rangle}{\|\tilde{v}_{rec}\|^2} \tilde{v}_{rec}$$
   Isso desacopla os dois objetivos: a velocidade de reconstrução preserva a estrutura da fonte, enquanto o componente de edição ortogonal modifica apenas o conteúdo semântico. Isso permite o controle independente via hiperparâmetros $\lambda_{rec}$ e $\lambda_{edit}$ sem degradação mútua.

4. Compatibilidade Plug-and-Play:
   A ODE de edição reversa é agnóstica à inicialização direta. O h-Flow pode ser combinado de forma transparente com vários processos diretos (ex: RF-Inversion, SDEdit, ODE-Inv) de maneira plug-and-play.

Principais Contribuições

• Fundamentação Teórica: O artigo introduz a primeira aplicação do h-Transform de Doob a modelos de Fluxo Retificado determinísticos através da construção de uma SDE equivalente, fornecendo uma ponte teórica principista para a geração guiada em frameworks de ODE.
• Controle Desacoplado: Ao projetar $h$-funções dedicadas e empregar a decomposição ortogonal de velocidade, o método separa explicitamente as direções de reconstrução e edição, permitindo um compromisso controlável entre fidelidade à fonte e alinhamento com o alvo.
• Flexibilidade Livre de Treinamento: A abordagem não requer treinamento adicional ou atualizações de gradiente para o modelo pré-treinado, baseando-se apenas em passagens diretas da rede de velocidade.

Resultados Experimentais
Os autores avaliaram o h-Flow nos conjuntos de dados PIE-Bench e PIE-Bench++, comparando-o com sete baselines (incluindo RF-Inversion, FlowEdit, SDEdit e UniEdit).

• Desempenho Quantitativo: O h-Flow alcançou o melhor ranking médio em 9 métricas (incluindo PSNR, LPIPS, SSIM, similaridade CLIP e pontuações estéticas) em ambos os benchmarks. Superou significativamente os baselines no equilíbrio entre consistência da fonte e alinhamento com o alvo. Por exemplo, enquanto o UniEdit alcançou alta consistência da fonte, sofreu no alinhamento com o alvo; inversamente, o ODEInv alcançou alto alinhamento, mas degradou a qualidade da imagem. O h-Flow manteve uma consistência de fonte competitiva enquanto entregava um alinhamento de alto nível.
• Desempenho Qualitativo: Comparações visuais demonstraram a capacidade do h-Flow de executar edições complexas (ex: tradução de assunto, adições localizadas) enquanto preserva estritamente as estruturas de fundo e regiões não editadas, evitando os artefatos comuns em outros métodos.
• Estudos de Ablação:
  • Compatibilidade: Integrar o h-Flow com diversos processos diretos (RF-Inversion, SDEdit, ODE-Inv) melhorou consistentemente o compromisso entre editabilidade e fidelidade, atuando como um estabilizador estrutural para métodos diretos instáveis.
  • Projeção Ortogonal: Remover o passo de projeção resultou em pontuações de alinhamento de texto mais baixas sem melhorar a fidelidade estrutural, confirmando que a projeção elimina efetivamente a interferência entre edição e reconstrução.
  • Hiperparâmetros: O estudo mostrou que $\lambda_{rec}$ e $\lambda_{edit}$ controlam seus respectivos objetivos de forma independente, validando a estratégia de desacoplamento.

Significância e Alegações
O artigo afirma que o h-Flow fornece um framework unificado e teoricamente fundamentado para a edição de imagens baseada em fluxo que supera a natureza heurística e a sensibilidade de métodos anteriores. Ao estender rigorosamente o h-Transform de Doob para fluxos determinísticos e desacoplar os objetivos de edição e reconstrução via decomposição ortogonal, o método alcança uma edição robusta, flexível e fiel em diversos cenários. Os autores enfatizam que sua abordagem é livre de treinamento e plug-and-play, tornando-a imediatamente aplicável a modelos de RF existentes sem modificações arquiteturais. O trabalho sugere que extensões futuras poderiam aplicar este framework a outras modalidades, como geração de vídeo ou 3D.