Towards Robust Sequential Decomposition for Complex Image Editing

Resumo Técnico: Rumo à Decomposição Sequencial Robusta para Edição Complexa de Imagens

Declaração do Problema
Modelos generativos visuais recentes avançaram na edição de imagens de alta fidelidade guiada por instruções humanas. No entanto, esses modelos lutam com instruções complexas que envolvem operações de edição combinatórias ou dependências entre etapas. O artigo identifica dois paradigmas canônicos que falham sob tal complexidade:

1. Edição de Turno Único: Tenta aplicar todas as edições instruídas em uma única passagem. Isso frequentemente falha em analisar com precisão instruções complexas, levando a edições incompletas ou incorretas.
2. Edição Sequencial: Decompõe tarefas em etapas mais simples, mas sofre com erros cumulativos. Inacurácias introduzidas nas etapas iniciais propagam-se através das subsequentes, degradando a fidelidade do resultado final.

O desafio central é equilibrar os benefícios da decomposição de instruções em múltiplas etapas contra as desvantagens do acúmulo de erros.

Metodologia
Os autores propõem uma solução robusta dentro de um framework de edição em contexto unificado, onde um modelo multimodal gera sequências intercaladas de instruções decompostas e suas imagens editadas correspondentes, condicionando-se ao histórico completo de entradas contextuais.

• Pipeline de Dados Sintéticos: Para abordar a falta de dados decompostos de alta qualidade para tarefas complexas, os autores desenvolveram um pipeline no Blender.

  • Inicialização da Cena: Gera proceduralmente cenas 3D com objetos e materiais aleatórios.
  • Composição da Cadeia de Edição: Aplica uma sequência de 10 operações de edição atômicas (por exemplo, adição de objeto, remoção, translação, rotação, mudança de cor/material, mudança de ponto de vista, mudança de fundo).
  • Injeção de Dependência Inter-etapa: Introduz complexidade exigindo que operações posteriores referenciem resultados de edições anteriores (por exemplo, "mova o objeto que foi recolorido" ou "adicione um livro onde a cadeira estava originalmente").
  • Verdade Terrena: Como as operações são determinísticas, o pipeline produz sequências decompostas e imagens-alvo perfeitamente precisas, permitindo a curadoria de 94.000 sequências de edição de alta qualidade (60K independentes, 34K dependentes).

• Treinamento do Modelo: O framework utiliza o BAGEL, um modelo multimodal unificado. O modelo é ajustado finamente com três objetivos:

  1. Decomposição de Instrução: Prever instruções decompostas entre imagens intermediárias dada a instrução complexa e a imagem de origem.
  2. Edição em Contexto: Gerar imagens intermediárias e-alvo com base em pares texto-imagem decompostos, usando um objetivo de fluxo retificado.
  3. Edição de Turno Único: Manter a capacidade de editar da origem ao alvo em uma única etapa usando a instrução complexa.

• Paradigmas de Inferência: Os autores implementam e comparam três paradigmas durante a inferência:

  1. Edição de Turno Único: Edição direta da origem ao alvo.
  2. Edição Sequencial de Contexto Completo (FCSE): Decompõe a tarefa em $K$ etapas, onde cada etapa atende a todo o contexto de texto e imagem anterior.
  3. Edição Sequencial Guiada por Contexto (CGSE): Um paradigma novel que mitiga o acúmulo de erros. Calcula uma velocidade base ($v_d$) a partir da imagem de origem e da sequência completa de instruções decompostas, depois aplica um termo separado de "guia de contexto" derivado dos resultados de edição anteriores. Isso permite que o modelo module a influência de edições históricas via um coeficiente ($\gamma_{ctx}$), impedindo que erros iniciais corrompam etapas subsequentes.

• Transferência Sim-para-Real: Para generalizar para imagens do mundo real, o modelo é co-treinado em uma mistura das sequências decompostas sintéticas e pares de edição de turno único do mundo real (do Pico-Banana).

Principais Resultados

• Domínio Sintético:

  • A edição sequencial zero-shot causa degradação severa de desempenho em modelos de última geração (por exemplo, GPT-4o, Gemini 2.5 Flash Image).
  • O ajuste fino em dados sintéticos permite a decomposição sequencial robusta. A Edição Sequencial Guiada por Contexto (CGSE) supera consistentemente as linhas de base de turno único e a Edição Sequencial de Contexto Completo, particularmente em tarefas com dependências inter-etapa.
  • A CGSE alcança as melhores pontuações avaliadas pelo GPT e mantém robustez em métricas de similaridade (DINO-I/DINO-D) mesmo à medida que a complexidade da tarefa (comprimento da cadeia e proporção de dependência) aumenta.
  • O aumento das etapas de decomposição (até $K=5$) geralmente produz melhorias adicionais.

• Generalização Sim-para-Real:

  • O co-treinamento com dados do mundo real permite que as habilidades de decomposição aprendidas em tarefas sintéticas se transfiram efetivamente.
  • No benchmark Complex-Edit, o modelo co-treinado com Edição Guiada por Contexto de 2 etapas alcança Acompanhamento de Instrução (IF) e Preservação de Identidade (IP) superiores em comparação com linhas de base de turno único e modelos treinados apenas em dados sintéticos.
  • Estudos de preferência humana confirmam que a abordagem CGSE de 2 etapas é preferida para acompanhamento de instrução e preservação de identidade, embora mostre uma leve compensação na qualidade perceptiva em comparação com a edição de turno único em imagens reais.

Significado e Alegações
O artigo alega que a decomposição sequencial robusta é alcançável treinando-se em sequências de edição decompostas de alta qualidade e integrando-as com um paradigma de inferência bem projetado que gerencia o acúmulo de erros. Especificamente:

• A Decomposição Sequencial é Viável: Contrariamente à crença de que a execução sequencial inevitavelmente leva a resultados de baixa fidelidade devido ao acúmulo de erros, os autores demonstram que, com treinamento adequado e o paradigma Guiado por Contexto, a decomposição produz melhorias robustas mesmo à medida que a complexidade da tarefa aumenta.
• Transferência Sim-para-Real: Habilidades aprendidas em tarefas sintéticas (especificamente a capacidade de raciocinar sobre dependências e decompor instruções) podem ser transferidas com sucesso para domínios do mundo real através do co-treinamento, aprimorando a edição complexa de imagens em domínios mais amplos.
• Utilidade do Framework: O framework de edição em contexto fornece uma perspectiva unificada para estudar e comparar diferentes paradigmas de edição, revelando que estratégias guiadas por contexto são essenciais para equilibrar os benefícios da decomposição com os riscos da propagação de erros.

Os autores concluem que, embora seu trabalho foque principalmente na consistência semântica e no acompanhamento de instruções, aprimorar a qualidade perceptiva de imagens editadas sequencialmente no mundo real permanece uma área para trabalho futuro.