IMAGAgent: Orchestrating Multi-Turn Image Editing via Constraint-Aware Planning and Reflection

1. Problema e Motivação

O trabalho aborda as limitações críticas dos paradigmas atuais de edição de imagens em múltiplas voltas (multi-turn). Embora modelos de difusão e agentes aumentados por ferramentas tenham avançado na edição de imagem de uma única etapa, eles falham em cenários de interações sequenciais longas.

Os principais desafios identificados são:

• Acumulação de Erros: Em fluxos de trabalho sequenciais, pequenos erros em uma etapa inicial propagam-se e amplificam-se nas etapas subsequentes.
• Deriva Semântica (Semantic Drift): O sistema perde o alinhamento com as instruções originais ou com as edições anteriores, sobrescrevendo inadvertidamente modificações já realizadas.
• Distorção Estrutural: A falta de verificação visual fundamentada leva a alterações indesejadas na identidade, geometria e coerência de textura da imagem ao longo do tempo.
• Falta de Mecanismos de Feedback: A maioria dos métodos existentes opera em um regime "estático" (uma instrução, uma edição), sem um mecanismo explícito de ciclo fechado para representar, avaliar e impor restrições entre as voltas de edição.

2. Metodologia: IMAGAgent

O IMAGAgent é proposto como um framework de agente para edição de imagens em múltiplas voltas, baseado em um mecanismo de ciclo fechado "Planejar-Executar-Refletir" (Plan-Execute-Reflect). O sistema integra três módulos principais:

A. Módulo de Planejamento Consciente de Restrições (Constraint-Aware Planning)

• Função: Um Modelo de Linguagem e Visão (VLM) atua como planejador para decompor instruções complexas do usuário em uma sequência de sub-tasks atômicos.
• Regras de Decomposição: Para garantir a executabilidade, cada sub-tarefa deve obedecer a três critérios rigorosos:
  1. Singularidade do Alvo: Focar em uma única entidade ou grupo coerente, evitando edições simultâneas em objetos independentes.
  2. Atomicidade Semântica: A tarefa não deve ser divisível sem perder sua integridade semântica.
  3. Perceptibilidade Visual: A tarefa deve resultar em uma alteração visual tangível (ex: mudar cor, adicionar objeto), não apenas uma mudança semântica abstrata.
• Ordenação: O planejador reorganiza a sequência de tarefas com base em dependências semânticas (ex: segmentar antes de editar).

B. Módulo de Orquestração de Cadeia de Ferramentas (Tool-Chain Orchestration)

• Função: Dinamicamente constrói caminhos de execução baseados na imagem atual, na sub-tarefa atual e no contexto histórico.
• Mecanismo: Utiliza um mecanismo de "Chain-of-Thought" (CoT) para orquestrar modelos heterogêneos de visão, incluindo:
  • Recuperação de imagens.
  • Segmentação (ex: SAM).
  • Detecção (ex: Grounding DINO).
  • Edição (ex: Modelos de Difusão, Inpainting).
• Adaptabilidade: O agente seleciona a melhor cadeia de ferramentas para cada passo, ajustando-se aos resultados intermediários e ao histórico de interações.

C. Mecanismo de Reflexão Colaborativa Multi-Expert (Multi-Expert Collaborative Reflection)

• Função: Avalia os resultados intermediários para suprimir erros e garantir fidelidade estrutural antes de prosseguir para a próxima volta.
• Processo:
  1. Um painel de três VLMs especialistas avalia a imagem gerada sob quatro dimensões: alinhamento semântico, qualidade perceptual, avaliação estética e consistência lógica.
  2. Cada especialista gera um feedback bruto (aspectos positivos, defeitos negativos e uma pontuação).
  3. Um LLM central (Agregador) sintetiza esses feedbacks em um consenso unificado, gerando um novo conjunto de instruções de correção.
• Estratégia Iterativa: Se a pontuação de qualidade estiver abaixo de um limiar ($\tau_{sr}$), o sistema dispara um loop de re-geração, utilizando o feedback negativo para corrigir erros na próxima iteração. Se o limite de iterações for atingido, seleciona-se a melhor candidata histórica.

3. Contribuições Principais

1. Framework de Ciclo Fechado: Propõe o IMAGAgent, que modela a edição de imagens como um processo consciente de restrições, verificando visual e semanticamente as restrições ao longo de múltiplas voltas.
2. Novos Módulos de Planejamento e Orquestração: Desenvolveu módulos que garantem que cada sub-tarefa seja executável sob restrições explícitas, permitindo o agendamento adaptativo entre ferramentas de visão heterogêneas.
3. Mecanismo de Reflexão Multi-Expert: Introduziu um mecanismo que transforma feedback visual em sinais de correção executáveis, suprimindo efetivamente a deriva semântica e a acumulação de erros.
4. Novo Benchmark (MTEditBench): Criou e disponibilizou o MTEditBench, um conjunto de dados abrangente com 1.000 sequências de alta qualidade (mínimo de 4 voltas), projetado especificamente para avaliar a consistência semântica cumulativa em cenários complexos de edição de longo prazo.

4. Resultados Experimentais

Os experimentos foram conduzidos no MTEditBench e no conjunto de dados MagicBrush, comparando o IMAGAgent com modelos State-of-the-Art (SOTA) como ACE++, HQEdit, UltraEdit, VINCIE, OmniGen e GPT-4o.

• Desempenho Quantitativo:
  • O IMAGAgent superou consistentemente os métodos concorrentes nas métricas de DINO (consistência visual), CLIP-I (similaridade semântica imagem-imagem) e CLIP-T (alinhamento texto-imagem).
  • A vantagem do modelo torna-se mais pronunciada à medida que o número de voltas de edição aumenta, demonstrando sua capacidade de manter a estabilidade em interações de longo prazo.
• Desempenho Qualitativo:
  • Visualmente, o IMAGAgent demonstrou maior aderência às instruções e consistência, evitando a distorção estrutural comum em outros métodos após várias edições.
• Estudo de Usuário:
  • Em uma avaliação com especialistas, o método obteve as melhores pontuações em seguimento de instruções, realismo visual e qualidade geral de edição.
• Análise de Ablação:
  • A remoção do mecanismo de reflexão ("w/o Reflection") causou uma queda significativa no desempenho, confirmando a necessidade do ciclo de feedback.
  • A ausência de restrições no planejamento ("w/o Constraints") levou a tarefas ambíguas e falhas de execução.
  • A falta de contexto histórico ("w/o Historical Context") resultou em deriva semântica, onde o modelo sobrescrevia edições anteriores.

5. Significado e Impacto

O trabalho do IMAGAgent representa um avanço significativo na área de edição de imagens generativa interativa. Ao introduzir um mecanismo de reflexão e correção automática, o sistema supera a limitação fundamental dos métodos atuais de "execução linear", onde erros são irreversíveis.

• Robustez em Longo Prazo: Permite que usuários refinem visualizações complexas através de múltiplas instruções sem degradar a qualidade da imagem ou perder o controle semântico.
• Arquitetura Modular: A abordagem de orquestrar ferramentas heterogêneas sob um agente central oferece um caminho escalável para integrar novas capacidades de visão computacional no futuro.
• Padrão de Avaliação: A introdução do MTEditBench estabelece um novo padrão para avaliar a estabilidade e a consistência em tarefas de edição sequencial, preenchendo uma lacuna crítica na literatura atual.

Em resumo, o IMAGAgent demonstra que a combinação de planejamento consciente de restrições, orquestração dinâmica de ferramentas e reflexão colaborativa é essencial para realizar edição de imagens verdadeiramente robusta e interativa.