Resumo Técnico: AnchorEdit

Declaração do Problema

A edição de imagens multi-turno é crítica para fluxos de trabalho de design iterativos, mas os modelos atuais lutam contra o desvio de identidade (identity drift) e a acumulação de erros ao longo de sucessivos passos de modificação. Embora pesquisas recentes tenham aproveitado priors de vídeo para melhorar a consistência temporal, os métodos de edição baseados em vídeo existentes tipicamente dependem de mecanismos de atenção bidirecional. Esta arquitetura é fundamentalmente desalinhada com a natureza causal e sequencial da edição interativa, onde cada etapa deve depender estritamente da imagem de origem e dos estados anteriores, sem acesso a instruções futuras. Este desalinhamento leva à degradação do seguimento de instruções, inconsistências visuais e incapacidade de extrapolar para cadeias de edição mais longas. Além disso, contextos de comprimento fixo nos modelos atuais impedem uma interação verdadeiramente online.

Metodologia

Os autores propõem o AnchorEdit, o primeiro framework de difusão autorregressiva (AR) projetado especificamente para edição de imagem multi-turno de alta resolução (1024p) e longo prazo. A abordagem preenche a lacuna entre os priors de vídeo e a inferência causal através de um currículo de treinamento em três estágios sistemático e um mecanismo de memória de inferência especializado.

1. Currículo de Treinamento em Três Estágios

• Estágio 1: Pré-treinamento de Turno Único com Preservação de Identidade
  • Adapta um backbone de geração de vídeo (Wan2.1-T2V-14B) para edição guiada por instrução.
  • RoPE Expandido: Aumenta a distância relativa do RoPE entre o estado de origem e o estado editado (de $\Delta=1$ para $\Delta=S$) para evitar o colapso semântico durante transições discretas, enfraquecendo o viés do modelo para movimentos suaves.
  • Treinamento com Instrução Nula: Treina o modelo para reconstruir a imagem de origem dada uma instrução nula, forçando o mapeamento de identidade e preservando regiões não relacionadas à edição.
• Estágio 2: Treinamento Autorregressivo Multi-turno Causal
  • Converte a geração para uma formulação causal usando máscaras de atenção causal.
  • Estratégia de Self-Rollout: Substitui aleatoriamente quadros históricos reais pelas próprias previsões anteriores do modelo durante o treinamento para mitigar o viés de exposição (exposure bias) e reduzir a lacuna entre treino e inferência.
  • Injeção de Degradação Sintética: Aplica degradações não gaussianas (ex: compressão JPEG, mudanças de cor, desfoque de movimento) aos quadros históricos para simular o desvio em tempo de inferência.
  • Objetivo Temporalmente Progressivo: Escala a dificuldade da tarefa, a intensidade do ruído e os pesos de perda ($\lambda_i$) progressivamente através dos turnos, forçando o modelo a aprender capacidades robustas de correção de erro para etapas posteriores na sequência.
• Estágio 3: Destilação de Correspondência de Distribuição
  • Comprime o processo de amostragem em um gerador eficiente de 4 passos.
  • Utiliza Destilação de Consistência Causal para aprender um mapa de fluxo consistente a partir do modelo professor, seguido de Destilação de Correspondência de Distribuição (DMD) combinada com perda de correspondência de fluxo para alinhar a saída do aluno com a distribuição de dados de alta fidelidade.

2. Pipeline de Inferência de Fluxo de Longa Cadeia (Long-Chain Streaming)

• Mecanismo de Memória: Implementa um cache KV seletivo onde o primeiro quadro (imagem de origem) atua como um sumidouro de atenção (attention sink) persistente (nunca removido) para ancorar a identidade global do sujeito. Uma janela deslizante mantém a coerência temporal local para edições recentes.
• Indexação de RoPE com Deslocamento (Strided): Para permitir a extrapolação além do comprimento da sequência de treinamento, o modelo atribui índices RoPE baseados no papel do quadro, em vez da ordem sequencial. O quadro sumidouro é fixo no índice 0, enquanto os quadros locais usam um deslocamento (stride) $s$ fixo. Isso preserva a distância do "salto semântico" aprendida no Estágio 1, evitando o colapso da identidade mesmo quando os quadros históricos são descartados.

Principais Contribuições

1. Primeiro Framework de Difusão AR de Alta Resolução: O AnchorEdit é o primeiro modelo de difusão autorregressiva projetado especificamente para edição de imagem multi-turno de longa duração e alta resolução.
2. Mecanismos de Forçamento e Memória Robustos: O artigo introduz o forçamento de self-rollout e mecanismos de memória histórica (sumidouro persistente + janela deslizante) ao paradigma de edição multi-turno. Essas estratégias mitigam efetivamente o viés de exposição e erros cumulativos, garantindo consistência de identidade estrita ao longo de mais de 10 rodadas de edição.
3. Benchmark Abrangente: Os autores introduzem um novo benchmark de edição multi-turno de alta resolução (1024p) com diversas profundidades de sequência, projetado para testar a estabilidade do modelo. Isso aborda a falta de ferramentas de avaliação padronizadas para edição de longo horizonte.

Resultados

Experimentos extensivos demonstram que o AnchorEdit alcança resultados de estado da arte:

• Desempenho Quantitativo: No benchmark multi-turno customizado, o AnchorEdit alcança uma Taxa de Sucesso (SR) de 52,9%, superando significativamente os modelos de referência como JoyImage-Edit (29,8%) e VINCIE (34,1%). Ele também mantém altas pontuações de Consistência (6,2) e Seguimento Semântico (5,3).
• Estabilidade de Longo Horizonte: O modelo mantém uma fidelidade excepcional do sujeito e adesão à instrução mesmo ao longo de mais de 10 rodadas de interação, enquanto métodos existentes sofrem com desvio de identidade e degradação visual após apenas alguns turnos.
• Eficiência: A inferência destilada de 4 passos entrega estes resultados com eficiência significativamente maior do que os modelos de difusão total.
• Estudos de Ablação: Confirmam que o RoPE Expandido, o Self-Rollout e a Degradação Progressiva são componentes críticos para prevenir o colapso de identidade e lidar com a acumulação de erros.

Significância

O artigo afirma que o AnchorEdit estabelece uma fundação confiável e escalável para a criação visual interativa de longo horizonte. Ao reaproveitar modelos de difusão de vídeo autorregressivos e alinhá-los com a estrutura causal da edição, o framework demonstra que é possível manter uma fidelidade de sujeito e consistência semântica excepcionais através de trajetórias de edição estendidas. Este trabalho aborda o gargalo crítico da acumulação de erros na criação iterativa, indo além das capacidades de turno único em direção a soluções práticas de nível de aplicação para a criação de conteúdo complexo.