SteerFlow: Steering Rectified Flows for Faithful Inversion-Based Image Editing

Título: SteerFlow: Guiando Fluxos Retificados para Edição de Imagem Baseada em Inversão Fiel

1. O Problema

Os modelos generativos baseados em Fluxo Retificado (Rectified Flow - RF) permitem edição de imagem sem treinamento (training-free) através de um processo de duas etapas: Inversão (mapear uma imagem de origem para um latente de ruído) e Geração (regenerar a imagem a partir desse latente sob um novo prompt).

No entanto, os métodos existentes enfrentam dois desafios principais que degradam a fidelidade da fonte (preservação da estrutura original da imagem):

1. Erro de Inversão: A discretização do ODE (Equação Diferencial Ordinária) no processo de inversão introduz erros de truncamento. Quando o processo de geração reversa é executado, há uma incompatibilidade de velocidade entre a trajetória de inversão e a de geração, levando a uma reconstrução imperfeita. Métodos anteriores tentam corrigir isso usando solvers de ordem superior, o que aumenta drasticamente o custo computacional (mais inferências do modelo).
2. Divergência de Trajetória: Mesmo com um latente invertido perfeito, a mudança no prompt de texto e a aplicação de Classifier-Free Guidance (CFG) durante a geração podem fazer com que a trajetória de edição se desvie significativamente da estrutura original da imagem, resultando em perda de detalhes de fundo ou pose (ex: mudar um gato para um cachorro, mas perder a cadeira ou a mesa de fundo).

Soluções heurísticas atuais, como inversão truncada (parar a inversão cedo) ou injeção de características (copiar mapas de atenção), são sensíveis a parâmetros manuais e não se generalizam bem entre diferentes arquiteturas de modelos.

2. Metodologia (SteerFlow)

O SteerFlow propõe um framework de edição agnóstico ao modelo com garantias teóricas de fidelidade, composto por três componentes principais:

A. Processo Forward: Solver de Ponto Fixo Amortizado (Amortized Fixed-Point Solver - AFP)

• Objetivo: Minimizar o erro de inversão ao "endireitar" implicitamente a trajetória de inversão.
• Mecanismo: Em vez de usar apenas o método de Euler padrão, o SteerFlow impõe uma consistência de velocidade entre timesteps consecutivos. Ele resolve uma condição de ponto fixo implícita para a velocidade $v^*_i$.
• Otimização: Para evitar o custo computacional de iterações de ponto fixo em todos os passos (que causam um problema de "alvo móvel" e instabilidade), o método utiliza uma estratégia amortizada:
  • Realiza múltiplas iterações ($K$) apenas no primeiro timestep para minimizar o erro inicial.
  • Nos passos subsequentes, realiza apenas uma iteração, reutilizando a velocidade do passo anterior como "warm-start".
• Resultado: Reduz drasticamente o erro de inversão com um custo computacional mínimo (apenas $K-1$ inferências extras no total), garantindo que o latente invertido seja de alta fidelidade.

B. Processo Backward: Interpolação de Trajetória (Trajectory Interpolation)

• Objetivo: Resolver a divergência de trajetória, mantendo a edição ancorada à estrutura da fonte.
• Mecanismo: Em vez de usar apenas a velocidade condicionada ao alvo (que causa desvio) ou apenas a velocidade de reconstrução da fonte (que impede a edição), o SteerFlow interpola adaptativamente entre as duas:
  $$V^{edit}_t = V^{src}_t + \alpha_t \cdot (V^{tar}_t - V^{src}_t)$$
• Agendamento Adaptativo ($\alpha_t$): O coeficiente $\alpha_t$ não é constante. Ele decai ao longo do tempo e é ponderado pela similaridade cosseno entre as velocidades de fonte e alvo.
  • Nos passos iniciais (alta $\alpha$ decaimento, baixa similaridade), o sistema prioriza a reconstrução da fonte para evitar colapso estrutural.
  • Nos passos finais, libera mais a influência do prompt alvo para realizar a edição semântica.
• Teoria: Isso fornece um limite teórico superior para o erro de edição, provando que a interpolação reduz o desvio acumulado em comparação com a geração padrão.

C. Mecanismo de Mascaramento Adaptativo (Adaptive Masking)

• Objetivo: Prevenir o "vazamento" de edição para regiões de fundo não intencionais.
• Mecanismo:
  1. Gera uma máscara base usando o SAM3 (Segment Anything Model 3) guiado pelos tokens de edição.
  2. Refina dinamicamente essa máscara durante o processo de geração usando a diferença de velocidade ($\Delta V = V^{tar} - V^{src}$).
  3. Se a diferença de velocidade indicar uma mudança estrutural necessária fora da máscara base, a máscara é expandida adaptativamente.
• Resultado: Garante que as alterações sejam espacialmente localizadas, preservando o fundo e estruturas não relacionadas.

3. Contribuições Principais

1. Análise Teórica Rigorosa: Fornece limites de erro formais para o erro de inversão e a divergência de trajetória, motivando o design do framework.
2. Framework SteerFlow: Introduz o Amortized Fixed-Point Solver (para reduzir erro de inversão) e a Trajectory Interpolation (para ancorar a edição), alcançando um equilíbrio superior entre preservação da fonte e alinhamento ao alvo.
3. Mecanismo de Mascaramento Adaptativo: Uma abordagem espacialmente consciente que melhora a preservação de fundo sem sacrificar a editabilidade.
4. Extensibilidade: Demonstra que o método se estende naturalmente para edição multi-turno (múltiplas edições sequenciais) sem acumular drift (desvio) significativo da imagem original, algo que métodos anteriores falham em fazer.

4. Resultados Experimentais

Os autores avaliaram o SteerFlow nos modelos de estado da arte FLUX.1-dev e Stable Diffusion 3.5 Medium, utilizando o benchmark PIE-Bench.

• Desempenho Quantitativo:
  • O SteerFlow alcançou consistentemente o melhor equilíbrio geral (Ranking médio) entre preservação de fonte (medido por DinoDist, LPIPS, SSIM) e alinhamento ao alvo (CLIP Score, ImageReward).
  • Superou métodos baseados em inversão (como UniEdit, FireFlow) e métodos sem inversão (como FlowEdit).
  • Na tarefa de reconstrução de imagem, o SteerFlow obteve o segundo melhor desempenho em ambas as arquiteturas, demonstrando alta transferibilidade.
• Desempenho Qualitativo:
  • Visualizações mostram que o SteerFlow preserva melhor a pose, a estrutura de fundo e objetos não editados em comparação com métodos que sofrem de "over-editing" (perda total da estrutura) ou "under-editing" (mudança insuficiente).
  • O mascaramento adaptativo evita que alterações de texto afetem áreas irrelevantes da imagem.
• Edição Multi-Turno:
  • Em testes de múltiplas edições sequenciais, o SteerFlow manteve a consistência estrutural, enquanto métodos de linha de base acumulavam erros e desviavam da imagem original após várias iterações.

5. Significado e Impacto

O SteerFlow representa um avanço significativo na edição de imagens baseada em modelos de fluxo. Ao substituir heurísticas manuais e dependentes de arquitetura por princípios teóricos de controle de trajetória e correção de ponto fixo, o método oferece:

• Fidelidade Superior: Garante que a imagem editada mantenha a identidade e estrutura da imagem original.
• Eficiência: Alcança alta qualidade com um custo computacional comparável a métodos de primeira ordem, evitando o custo proibitivo de solvers de alta ordem.
• Generalização: Funciona robustamente em diferentes modelos de difusão/fluxo sem necessidade de re-treinamento ou ajuste fino complexo.
• Viabilidade para Edições Complexas: Torna viável a edição iterativa e composicional, abrindo caminho para aplicações mais sofisticadas de edição de imagem generativa.

Em resumo, o SteerFlow resolve o dilema fundamental da edição de imagem generativa: como alterar o conteúdo sem destruir a estrutura original, oferecendo uma solução teoricamente fundamentada e empiricamente superior.