Model the Edit, Not the Image: Visual Autoregressive Editing from a Source-Centric Perspective

Resumo Técnico: EditMod – Edição Visual Autorregressiva de uma Perspectiva Centrada na Fonte

Problema
Modelos autorregressivos visuais de próxima escala (VARs) emergiram como um paradigma generativo eficiente, sintetizando imagens de alta qualidade através de predições discretas de grosso para fino. No entanto, seu potencial para edição de imagens guiada por texto permanece subexplorado. As abordagens de edição existentes sem treinamento para VARs (e outros modelos generativos) adotam predominantemente uma perspectiva centrada na geração. Neste paradigma, o processo de edição é formulado como a regeneração de um estado condicionado ao alvo ($\hat{Z}_t$) que é subsequentemente restringido ou corrigido por informações da fonte ($C_s$) via inversão, injeção de características, controle de atenção ou máscaras espaciais.

Os autores argumentam que essa formulação falha em explorar plenamente as representações multiescala inerentes aos VARs. Ao tratar a fonte meramente como uma restrição sobre uma nova trajetória de geração, esses métodos podem introduzir overhead computacional desnecessário, depender de otimização ou inversão por imagem e expor regiões inalteradas à deriva (drift). O desafio central identificado é como modificar o conteúdo dependente de condição sem alterar desnecessariamente a representação da fonte restante, indo além do modelo baseado em restrições para uma modelagem direta de mudanças preditivas.

Metodologia: EditMod
O artigo propõe o EditMod, um método de edição sem treinamento, sem inversão e sem máscara que adota uma perspectiva centrada na fonte. Em vez de regenerar um estado alvo e restringi-lo, o EditMod trata os tokens da imagem fonte codificados ($Z_s$) como o estado visual primário e modela o processo de edição como uma atualização de resíduo induzida por condição ($\Delta_{s \to t}$).

O método opera na estrutura de tokens hierárquica e multiescala dos VARs (especificamente o modelo Infinity) através de um cronograma de três estágios, do grosso para o fino:

1. Preenchimento da Fonte (Escalas Grossas): Para as escalas iniciais mais grossas (que determinam a estrutura global e o layout), o EditMod realiza o preenchimento da fonte com os tokens da fonte ($z^e_k = z^s_k$). Isso ancora a composição original e preserva a geometria global sem regeneração.
2. Atualização Cross-Condicional (Escalas Intermediárias): Nas escalas intermediárias, o método estima a direção da edição comparando as predições condicionadas à fonte e condicionadas ao alvo sob um contexto autorregressivo compartilhado.
   • Ele calcula a diferença entre a predição condicionada ao alvo ($\Phi^t_k$) e a predição condicionada à fonte ($\Phi^s_k$) dado o mesmo prefixo editado ($Z^e_{<k}$).
   • Essa diferença, $\hat{\Delta}_{k, s \to t} = \Phi^t_k - \Phi^s_k$, representa a mudança semântica induzida pelo prompt de texto enquanto cancela as respostas do contexto compartilhado.
   • No espaço de probabilidade (utilizando Quantização Esférica Binária), esse deslocamento é aplicado como uma atualização de resíduo à representação da fonte: $Q^e_k = \text{clip}(Q^{src}_k + Q^t_k - Q^s_k, 0, 1)$. O código resultante é anexado ao contexto.
3. Refinamento do Alvo (Escalas Finas): Para as escalas finas finais, o método muda para a amostragem autorregressiva padrão condicionada ao alvo ($z^e_k \sim p_\theta(z_k | Z^e_{<k}, c_t)$). Isso permite que o modelo sintetize detalhes locais e texturas consistentes com a mudança solicitada, corrigindo quaisquer erros autorregressivos e refinando as bordas.

Principais Contribuições

• Formulação Centrada na Fonte: O artigo reformula a edição de VAR como a preservação do estado codificado da fonte $Z_s$ e a modelagem apenas do resíduo semântico $\Delta_{s \to t}$, em vez de restringir uma geração condicionada ao alvo. Isso desloca o fardo da preservação da reconstrução do conteúdo compartilhado (layout, identidade) para a estimativa de diferenças relacionadas à condição.
• Arquitetura EditMod: Uma implementação prática, sem treinamento, sem inversão e sem máscara, que realiza o preenchimento da fonte em escalas grossas, aplica deslocamentos de predição cross-condicionais em escalas intermediárias e amostra detalhes consistentes com o alvo em escalas finas. Não requer máscaras fornecidas pelo usuário, inversão ou otimização por imagem.
• Eficiência e Fidelidade: O método atinge eficiência de inferência e fidelidade à imagem fonte de estado da arte. Ele edita uma imagem de 1K em 1,57 segundos em uma única GPU A100, superando significativamente os editores baseados em VAR e difusão em velocidade, mantendo um forte alinhamento de texto.

Resultados Experimentais
Avaliado no conjunto de dados PIE-Bench (700 imagens reais com diversas tarefas de edição), o EditMod demonstra desempenho superior em comparação com baselines, incluindo métodos baseados em difusão (P2P, MasaCtrl, PnP), métodos baseados em fluxo (FlowEdit) e outros métodos baseados em VAR (AREdit, EditInfinity, BitResEdit).

• Métricas Quantitativas: O EditMod alcança pontuações líderes em preservação da fonte (CLIP-I, DINO, LPIPS, DreamSim) enquanto mantém um alinhamento de texto competitivo (CLIP-T). Especificamente, comparado ao AREdit (tempo de inferência de 3,00s, LPIPS de 0,2609), o EditMod-P alcança um tempo de inferência de 1,57s (uma redução de 47,7%) e um LPIPS de 0,2212 (uma melhoria de 15,1%).
• Estudos de Ablação:
  • Preenchimento da Fonte (Source Prefilling): Remover o preenchimento degrada significativamente a preservação da fonte (ex: +38% LPIPS), confirmando que as escalas iniciais codificam âncoras estruturais críticas.
  • Operações Intermediárias: A atualização diferencial proposta supera tanto a amostragem pura da fonte quanto a amostragem pura do alvo, demonstrando que comparar condições sob um contexto compartilhado isola efetivamente a mudança semântica.
  • Refinamento de Cauda (Tail Refinement): Mudar para a amostragem condicionada ao alvo nas escalas finas é crucial para reduzir artefatos locais e estabilizar as bordas dos objetos.

Significância e Alegações
O artigo afirma que as representações autorregressivas visuais fornecem um espaço de estado natural e eficiente para a edição centrada na fonte. Ao aproveitar a natureza alinhada por escala dos VARs, o EditMod demonstra que uma edição de alta fidelidade pode ser alcançada preservando diretamente o estado da fonte e modelando apenas a mudança semântica solicitada.

Os autores posicionam o EditMod como uma instanciação inicial deste paradigma, destacando sua capacidade de realizar edições complexas (substituição de objetos, modificação de atributos, transferência de estilo) sem o custo computacional da inversão ou a necessidade de supervisão espacial explícita. O trabalho sugere que pesquisas futuras poderiam explorar mecanismos de controle cross-scale mais adaptáveis e granulares, mas atualmente estabelece que uma estratégia simples de três estágios centrada na fonte é suficiente para alcançar eficiência e fidelidade líderes em edição de imagem guiada por texto.