Resumo Técnico: DuET (Dual Expert Trajectories) para Edição de Imagens por Difusão

1. Declaração do Problema

Modelos recentes de edição de imagem baseados em instruções, como o FLUX2-Klein e modelos multimodais unificados (UMMs), condicionam o processo de denoising (desruído) a uma imagem de origem em cada etapa para preservar a integridade estrutural. Embora esse "ancoramento persistente da imagem de origem" garanta que regiões não editadas permaneçam estáveis, o artigo argumenta que isso cria uma limitação fundamental: quando a cena alvo diverge substancialmente da entrada (ex: reescritas globais, substituição de objetos), o modelo tem dificuldade em executar totalmente a instrução. Isso frequentemente resulta em saídas menos naturais do que a geração pura de texto-para-imagem (T2I), exibindo artefatos de composição, conflitos de textura e inconsistências de iluminação.

Os pipelines atuais operam tipicamente em um único modo durante toda a trajetória — ou estritamente no modo de edição (origem + instrução) ou no modo T2I (apenas legenda) — falhando em aproveitar as capacidades duais do modelo para modular o ancoramento da origem dinamicamente durante uma única edição.

2. Metodologia: DuET

Os autores propõem o DuET (Dual Expert Trajectories), um framework de inferência livre de treinamento que alterna dinamicamente os modos de condicionamento dentro de uma única trajetória de denoising. O mecanismo central envolve uma transição temporária do modo de edição para o modo T2I de apenas legenda e o retorno ao modo de edição (E → T2I → E).

2.1 O Mecanismo de Alternância

• Edição Padrão (E): Condiciona na imagem de origem ($x_{src}$) e na instrução de edição ($p_{edit}$) em todas as etapas $k$.
• T2I Padrão: Condiciona apenas em uma legenda alvo ($c_{tgt}$) em todas as etapas.
• Cronograma DuET: O sampler executa em modo de Edição nas etapas iniciais, muda para o modo T2I (usando uma legenda alvo gerada por um VLM externo) para um intervalo específico $[k_1, k_2)$ e, em seguida, retorna ao modo de Edição para as etapas restantes.
  • Os "especialistas" neste contexto não são pesos de rede separados, mas sim modalidades de condicionamento distintas.
  • Isso não requer atualizações de pesos, passagens adicionais de forward ou ajuste fino do modelo.

2.2 Geração de Legenda Alvo

Quando a trajetória entra na fase T2I, o modelo requer uma legenda alvo ($c_{tgt}$) que descreva o resultado pretendido. O DuET obtém isso usando um VLM externo (ex: Gemini-2.5-pro) condicionado na imagem de origem e na instrução de edição original.

2.3 DuET Seletivo (Roteamento Adaptativo)

Reconhecendo que intervalos fixos podem degradar desnecessariamente a preservação da origem para edições que não exigem mudanças globais, os autores introduzem o Selective DuET. Esta variante utiliza sinais leves de "sonda de atenção" (attention-probe) lidos das etapas iniciais de uma passagem de edição pura para decidir se deve alternar os modos.

• Sinais: Duas métricas são computadas em um passo de sonda precoce ($k=9$):
  1. $\pi$ (Pressão de Preservação): Uma medida de alto quantil de quão fortemente a atenção do modelo está ancorada à imagem de origem.
  2. $cv$ (Coeficiente de Variação): Uma medida da localidade espacial da dependência da origem.
• Regra de Decisão: Se a edição mostrar alta pressão de preservação ($\pi > 0.22$) ou alta localidade espacial ($cv > 0.50$), o sistema permanece no modo de Edição pura. Se a edição for espacialmente uniforme e tiver baixa pressão de preservação (indicando uma reescrita global), o sistema aciona a excursão T2I.

3. Principais Contribuições

1. Alternância de Tarefas Livre de Treinamento: Um framework que modula o ancoramento da origem alternando entre os modos de edição e T2I ao longo de uma única trajetória de denoising, melhorando a relevância da instrução e a fidelidade sem necessidade de ajuste fino ou computação extra.
2. Avaliação Abrangente: Uma avaliação extensa no FLUX2-Klein (4B/9B) e modelos BAGEL através de múltiplos benchmarks (GEdit, ImgEdit, MagicBrush, GIE-Bench), utilizando controles pareados para isolar os efeitos de remover a imagem de origem versus alternar a legenda.
3. Selective DuET: Uma estratégia de roteamento por edição que demonstra que o compromisso entre fidelidade de edição e preservação da origem não é fundamental. Ao rotear com base em sinais de atenção, ele melha a fidelidade e a naturalidade enquanto mantém a preservação da origem perceptualmente indistinguível do baseline.

4. Resultados Experimentais

Os autores avaliaram o DuET em três modelos base usando amostragem de 50 passos.

• Desempenho de Intervalo Fixo: Cronogramas de DuET fixos (ex: alternando para T2I em intervalos como $[10, 16)$, $[25, 35)$ ou $[35, 45)$) melhoraram consistentemente a consistência semântica (G_SC), a qualidade perceptual (G_PQ) e a correção funcional em todos os modelos comparado ao baseline de edição pura.
• O Compromisso (Trade-off): Esses ganhos vieram com um custo mensurável na preservação da origem (menores pontuações de SSIM de pixels e Unmasked-CLIP). O artigo observa que este compromisso não é fundamental, mas depende do cronograma de alternância.
• Estudos de Ablação:
  • Variantes de Condicionamento: Os ganhos são impulsionados principalmente pela remoção do condicionamento da imagem de origem durante o intervalo T2I, e não apenas pela troca da legenda de texto. Variantes que mantiveram a imagem de origem (I2IC) ou mantiveram a instrução original (T2IEP) apresentaram melhorias significativamente menores em fidelidade e naturalidade.
  • Tempo (Timing): Janelas mais estreitas e posicionamentos específicos (ex: $[10, 16)$) ofereceram o melhor equilíbrio entre fidelidade e preservação para o FLUX2-Klein 4B/9B, enquanto janelas posteriores favoreceram a consistência semântica no BAGEL.
• Desempenho do Selective DuET: Ao aplicar a excursão T2I apenas às edições que se beneficiam dela (reescritas globais), o Selective DuET alcançou alta correção funcional enquanto mantinha pontuações de preservação da origem (SSIM $\approx 0.786$) que são perceptualmente indistinguíveis do baseline, efetivamente quebrando o compromisso entre fidelidade e preservação observado em cronogramas fixos.

5. Significância e Alegações

O artigo afirma que o DuET demonstra uma capacidade subutilizada dos modelos multimodais unificados: a habilidade de alternar modalidades de condicionamento dentro de uma única trajetória de inferência.

• Modéstia das Alegações: Os autores afirmam explicitamente que o Selective DuET é uma "prova de existência" e não uma solução universal. Eles reconhecem limitações, incluindo a dependência de sinais precoces da trajetória para roteamento (o que limita a profundidade da decisão), o uso de juízes VLM em vez de estudos humanos para limiares perceptuais, e a dependência de VLMs externos para a geração de legendas, o que pode introduzir desalinhamentos semânticos se a legenda divergir da intenção implícita da instrução.
• Insight Central: O artigo conclui que o ancoramento persistente da origem limita a naturalidade das edições para cenas divergentes. Ao relaxar temporariamente esse ancoramento via uma fase T2I, o DuET permite que a trajetória de denoising se mova em direção à distribuição alvo enquanto retém os benefícios estruturais da edição condicionada à imagem para as etapas finais. Isso sugere que "como, quando e com que frequência" alternar os modos de condicionamento é uma área crítica para estudos sistemáticos futuros em difusão baseada em edição.