Resumo Técnico: De Planos a Pixels: Aprendendo a Planejar e Orquestrar para Edição de Imagens Aberta

Declaração do Problema

Modelos modernos de edição de imagens baseados em difusão destacam-se em transformações bem especificadas e concretas (por exemplo, "mude a cor do carro para vermelho"), mas lutam com instruções abstratas, abertas e de longo horizonte (por exemplo, "adapte este anúncio para um público rural"). Tais tarefas exigem mudanças coordenadas em imagens, texto, layout e contexto, envolvendo frequentemente múltiplas subtarefas e ferramentas heterogêneas. Abordagens anteriores baseadas em agentes tentam decompor essas tarefas, mas dependem de pipelines artesanais ou imitação de professores. Esses métodos fixam ordens de execução e heurísticas, falhando em treinar o planejador em sua própria distribuição ou otimizar a seleção de ferramentas com base nos resultados reais de edição. Isso leva a deslocamentos de distribuição, generalização limitada e baixa escalabilidade para instruções abertas.

Metodologia

Os autores propõem um framework de aprendizado experiencial que desacopla a edição de imagens de longo horizonte em duas etapas acopladas: Planejamento e Orquestração. O sistema interage com ferramentas de edição e recebe feedback baseado em resultados de um juiz Modelo de Linguagem e Visão (VLM) para refinar suas políticas.

1. Etapa 1: Planejador Guiado por Lista de Verificação (Auto-supervisionado)

Dada uma imagem de entrada $x$ e uma instrução de alto nível $I$, um LLM multimodal (Planejador) gera uma sequência estruturada e ordenada de subtarefas atômicas $P = \{s_1, \dots, s_T\}$.

• Construção da Lista de Verificação: Para garantir cobertura abrangente sem depender de modelos artesanais frágeis, o planejador é instruído com uma lista de verificação $C$ especificando critérios que uma edição satisfatória deve atender (por exemplo, substituição de produto, alinhamento semântico).
• Ajuste Fino Auto-supervisionado: Em vez de imitar um modelo professor (o que causa deslocamento de distribuição), o planejador é ajustado finamente via auto-distilação. Ele aprende a reproduzir planos que gera a si mesmo sob instrução de lista de verificação, condicionado apenas a $(x, I)$. Isso alinha o treinamento com a distribuição de geração nativa do modelo, melhorando a estabilidade e a generalização.
• Inferência: No momento do teste, a lista de verificação é removida; o planejador ajustado gera diretamente planos estruturados de múltiplos passos a partir de $(x, I)$.

2. Etapa 2: Orquestrador Orientado a Recompensa

Condicionado ao plano $P$, um Orquestrador (outro LLM multimodal) seleciona a ferramenta $a_t$ e a região $r_t$ apropriadas para cada subtarefa.

• Conjunto de Ferramentas: O framework utiliza um conjunto modular de ferramentas, incluindo ferramentas de análise (SAM-2, DeepSeek-OCR, Qwen-Layered, Qwen-BBox) para descoberta de região, editores de imagem inteira (Flux Kontext, Qwen-Image-Edit) e editores de nível de região (Flux Inpaint).
• Função de Recompensa: Um forte juiz VLM avalia a imagem editada $\hat{x}$ com base em três critérios: Adesão à Instrução, Preservação de Identidade e Qualidade Visual.
• Otimização de Política: O orquestrador é treinado para maximizar a recompensa esperada da trajetória. Como avaliar trajetórias completas é computacionalmente caro, os autores introduzem duas aproximações:
  1. Aproximação de Recompensa Aditiva: A recompensa da trajetória é aproximada como a soma de recompensas de subtarefas independentes.
  2. Independência da Imagem Original: As contribuições das ferramentas são estimadas avaliando-as na imagem original em vez de edições intermediárias.
     Essas aproximações permitem o pré-cálculo de recompensas para pares ferramenta-região, permitindo otimização de política tratável.

3. Refinamento em Loop Fechado e Inferência

• Refinamento do Plano: Antes de treinar o orquestrador, subtarefas inviáveis (aquelas com recompensas máximas alcançáveis abaixo de um limiar $\tau$) são podadas. O planejador é então re-treinado nesses planos refinados para alinhar o raciocínio de alto nível com o espaço de ações executáveis.
• Seleção Guiada por Verificador: Durante a inferência, o orquestrador propõe os $k$ principais candidatos de ferramenta-região. Um verificador leve (distilado do juiz VLM) pontua essas edições intermediárias, e a edição com a maior pontuação é selecionada para o próximo passo. Isso reduz o acúmulo de erros enquanto mantém a eficiência.

Contribuições Principais

1. Framework de Edição de Imagens de Longo Horizonte: O artigo apresenta a edição abstrata como um problema coordenado de planejamento e orquestração, permitindo raciocínio multi-etapa além da geração de etapa única.
2. Planejamento Guiado por Lista de Verificação Auto-supervisionado: Um planejador estruturado aprende decomposições a partir de suas próprias amostras guiadas por lista de verificação, reduzindo o deslocamento de distribuição em comparação com a imitação de professores.
3. Orquestrador Experiencial: Uma política orientada a recompensa aprende a seleção de ferramentas e regiões diretamente a partir de resultados de edição julgados, em vez de regras artesanais ou prompts estáticos.
4. Refinamento em Loop Fechado: O sistema poda subtarefas inviáveis com base no feedback de orquestração, alinhando planos com ações executáveis e alcançando desempenho state-of-the-art.

Resultados Experimentais

O framework foi avaliado no conjunto de dados MadVerse (anúncios multilíngues) e em benchmarks padrão como GEdit-Bench e MagicBrush.

• Comparação com Baselines: O método supera editores fortes de etapa única (Flux Kontext, Qwen-Image-Edit) e baselines de agentes multi-etapa (GenArtist, LayerCraft). Enquanto modelos de etapa única frequentemente falham em executar instruções complexas ou degradam a identidade da imagem, o método proposto alcança pontuações mais altas de seguimento de instrução, mantendo forte preservação de identidade e qualidade visual.
• Estudos com Usuários: Testes A/B randomizados com participantes humanos mostraram uma preferência consistente pelos resultados do método proposto em relação às baselines.
• Estudos de Ablação:
  • Design do Orquestrador: Treinar o orquestrador para aprender uma política explícita de seleção de ferramentas supera significativamente a instrução de um modelo base ou o uso de baselines sequenciais de ferramenta única.
  • Fonte do Plano: A auto-distilação guiada por lista de verificação produz menor perplexidade e melhor alinhamento distribucional do que o treinamento em planos gerados por professores.
  • Refinamento do Plano: Filtrar subtarefas inviáveis aumenta a recompensa máxima alcançável média, confirmando compatibilidade aprimorada entre planejamento e execução.
  • Ramificação de Inferência: Aumentar o número de ramos candidatos ($k$) durante a inferência melhora consistentemente a satisfação da instrução e a qualidade visual.

Significado e Alegações

O artigo afirma que, ao acoplar rigidamente o planejamento com a execução orientada a recompensas, a abordagem produz edições mais coerentes e confiáveis do que baselines de etapa única ou multi-etapa baseadas em regras. O significado reside em afastar-se de pipelines artesanais e imitação de professores em direção a um paradigma de aprendizado experiencial. Ao aprender a partir dos resultados reais das ferramentas de edição por meio de um juiz aprendido, o sistema fundamenta suas decisões no desempenho empírico. Isso permite que o framework lide com instruções abstratas e abertas que exigem transformações coordenadas e multi-etapa, abordando uma limitação crítica nos sistemas atuais de edição de imagens baseados em instruções. Os autores enfatizam que seu método melhora através da interação com ferramentas e resultados julgados, oferecendo um caminho escalável para tarefas complexas de raciocínio visual.