ScaleEdit-12M: Scaling Open-Source Image Editing Data Generation via Multi-Agent Framework

O artigo apresenta o ScaleEditor, um framework multi-agente totalmente open-source que gera o conjunto de dados de edição de imagens ScaleEdit-12M, demonstrando que pipelines agênticos de baixo custo podem alcançar qualidade comercial e melhorar significativamente o desempenho de modelos multimodais em benchmarks de edição.

O essencial

Imagine que você quer ensinar um robô a ser um artista de edição de fotos incrível. O problema é que, até agora, para ensinar esse robô, as empresas precisavam pagar milhões de dólares para usar ferramentas "privadas" e caras (como o GPT-4o da OpenAI) para criar exemplos de como editar fotos. Isso é como tentar ensinar alguém a cozinhar um banquete usando apenas ingredientes importados de um restaurante de luxo, o que é impossível para a maioria das pessoas.

Este paper, chamado ScaleEdit-12M, apresenta uma solução genial: como criar uma escola de edição de fotos gigante, gratuita e de alta qualidade, usando apenas ferramentas de código aberto (gratuitas).

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Cozinha sem Ingredientes

Antes, os cientistas tinham dois problemas para criar dados de edição de imagem:

• Usar modelos fechados (caros): Era como pedir para um chef famoso cozinhar 12 milhões de pratos para você estudar. Funciona, mas custa uma fortuna e você não pode escalar.
• Usar modelos abertos (baratos, mas ruins): Era como tentar ensinar o robô com receitas mal escritas e fotos borradas. O robô aprendia errado, fazia edições estranhas e não entendia instruções complexas.

2. A Solução: O "Chef de Cozinha" Multi-Agente (ScaleEditor)

Os autores criaram um sistema chamado ScaleEditor. Pense nele não como um único robô, mas como uma equipe de especialistas trabalhando juntos em uma linha de montagem inteligente.

A equipe tem três etapas principais:

• Etapa 1: A Caça aos Ingredientes (Expansão de Imagens)
  Em vez de usar apenas fotos de um banco de imagens comum, o sistema vai "caçar" na internet e criar variações.

  • Analogia: Imagine que você quer ensinar alguém a desenhar "cachorros". Em vez de usar apenas 10 fotos de cachorros, você usa o Google Imagens para achar cachorros em praias, na neve, de diferentes raças, e até usa um gerador de imagens para criar novos cenários. O sistema enche o armário com milhões de fotos variadas e ricas em detalhes.

• Etapa 2: A Linha de Montagem Inteligente (Síntese Multi-Agente)
  Aqui entra a mágica. O sistema não joga uma instrução aleatória em qualquer foto. Ele tem um "Gerente de Tráfego" (um agente inteligente) que olha para cada foto e decide: "Ah, essa foto tem um texto? Vamos pedir para um agente especialista em texto mudar o letreiro. Essa tem um céu? Vamos pedir para outro agente mudar a cor do céu para pôr do sol."

  • Analogia: É como ter uma fábrica onde cada produto vai para a estação de trabalho certa. Se é um carro, vai para a estação de pintura. Se é um bolo, vai para a estação de decoração. Isso garante que a instrução (o pedido) combine perfeitamente com a ação (a edição).

• Etapa 3: O Inspetor de Qualidade Rigoroso
  Antes de salvar a foto editada, um "inspetor" (outro agente de IA) verifica se o trabalho ficou bom.

  • Analogia: É como um chefe de cozinha provando o prato antes de servir. Se o robô tentou mudar a cor do céu, mas ficou tudo preto, o inspetor joga fora. Se o texto ficou ilegível, o inspetor descarta. Só passam as edições perfeitas.

3. O Resultado: O "Livro de Receitas" Definitivo (ScaleEdit-12M)

Com essa equipe trabalhando 24 horas por dia, eles criaram o ScaleEdit-12M.

• O que é: Um banco de dados com 12 milhões de exemplos de "Foto Original + Pedido de Edição + Foto Editada".
• Por que é especial: É o maior banco de dados de edição de imagem de código aberto já feito. Ele cobre desde mudar a cor de uma camisa até remover um prédio inteiro ou adicionar um texto em uma placa de rua.

4. A Prova de Fogo: O Aluno que Virou Mestre

Para ver se funcionava, eles pegaram dois modelos de IA famosos (chamados UniWorld-V1 e Bagel) e os treinaram usando apenas esse novo banco de dados.

• O Resultado: Os modelos treinados com ScaleEdit ficaram muito melhores do que os treinados com dados de outros bancos abertos.
• A Comparação: Em testes de conhecimento (como "mude a cor da camisa para combinar com o pôr do sol"), eles chegaram perto ou até superaram modelos que foram treinados com dados de empresas fechadas e caras.

Resumo em uma frase

Os autores criaram uma fábrica automatizada de "lições de edição" usando apenas ferramentas gratuitas, conseguindo ensinar robôs a editar fotos com uma qualidade que antes só era possível pagando milhões para empresas gigantes.

Por que isso importa?
Isso democratiza a tecnologia. Agora, qualquer pesquisador ou empresa pequena pode pegar esse banco de dados gratuito e criar seus próprios editores de fotos inteligentes, sem depender de bilionários ou de APIs caras. É como se eles tivessem aberto as portas da "Escola de Arte do Futuro" para todos.

Resumo técnico

Resumo Técnico: ScaleEdit-12M

1. O Problema

A edição de imagens baseada em instruções (usando linguagem natural) tornou-se uma capacidade central para Modelos Multimodais Unificados (UMMs). No entanto, a construção de conjuntos de dados de edição de imagem em larga escala, diversos e de alta qualidade enfrenta dois obstáculos principais:

• Dependência de APIs Proprietárias: Os melhores conjuntos de dados atuais são gerados usando modelos comerciais fechados (como GPT-4o), o que torna a escalação economicamente proibitiva e impede a reprodutibilidade aberta.
• Limitações de Pipelines Sintéticos Abertos: As abordagens existentes de código aberto frequentemente utilizam pipelines de edição sintéticos fixos (baseados em regras ou máscaras pré-definidas). Isso resulta em dados com baixa diversidade, qualidade visual inferior, artefatos e falta de alinhamento semântico entre texto e imagem.

A questão central é: É possível construir conjuntos de dados de edição de imagem em larga escala e de alta qualidade utilizando apenas ferramentas de código aberto e agentes autônomos?

2. Metodologia: O Framework ScaleEditor

Para responder a essa questão, os autores propõem o ScaleEditor, um framework hierárquico de múltiplos agentes totalmente aberto. O processo de geração de dados é dividido em três etapas principais:

A. Expansão de Imagens de Origem com Injeção de Conhecimento Mundial

• Coleta Inicial: Começa com imagens de conjuntos de dados abertos (COCO, OpenImages, SA-1B).
• Expansão Baseada em Recuperação: Utiliza motores de busca em larga escala (baseados em imagem e texto) para recuperar variações do mundo real e conceitos visuais de cauda longa.
• Expansão Baseada em Síntese: Utiliza modelos generativos (como Qwen-Image) para criar variantes semânticas coerentes das imagens originais, enriquecendo a diversidade dentro de domínios específicos.
• Filtragem: Remoção de duplicatas perceptuais, resultando em um pool de mais de 10 milhões de imagens únicas.

B. Síntese Adaptativa de Edição por Múltiplos Agentes

• Roteamento de Tarefas: Um agente roteador (baseado em Qwen2.5-VL-72B) analisa cada imagem e determina quais das 23 famílias de tarefas de edição são aplicáveis, rejeitando tarefas inadequadas para evitar ruído.
• Agentes Especializados:
  • Agentes de Instrução: Geram instruções de edição específicas para cada tarefa (ex: adicionar, remover, mudar cor, editar texto, raciocínio lógico). Incluem agentes reescritores para decompor comandos complexos.
  • Agentes de Edição: Utilizam uma variedade de modelos de ponta de código aberto (Qwen-Image-Edit, FLUX.1, Step1X-Edit, Flux-Text) para executar as edições.
  • Fluxos Específicos: Incluem fluxos para edição de texto (usando OCR e renderização de glifos) e edição baseada em raciocínio (desacoplando a intenção complexa do comando executável).

C. Verificação de Qualidade Consciente da Tarefa

• Um módulo de verificação baseado em MLLM (Qwen2.5-VL-72B) avalia cada par imagem-instrução-edição em três dimensões:
  1. Aderência à Instrução: A edição segue o prompt?
  2. Consistência da Edição: A estrutura e semântica original foram preservadas?
  3. Qualidade de Geração: A imagem é realista e livre de artefatos?
• Apenas amostras que atingem pontuações máximas ou próximas do máximo nessas dimensões são mantidas.

3. Contribuições Principais

1. ScaleEditor: Um framework de código aberto, escalável e baseado em agentes que automatiza a criação de dados de edição de imagem de alta qualidade sem depender de APIs pagas.
2. ScaleEdit-12M: O maior conjunto de dados de edição de imagem baseado em instruções de código aberto até a data, contendo 12 milhões de amostras verificadas.
   • Abrange 23 famílias de tarefas (desde edições globais de estilo até edições locais de objetos e raciocínio lógico).
   • Cobre domínios diversos: paisagens naturais, ambientes urbanos e cenas cotidianas.
3. Validação de Eficácia: Demonstração de que pipelines de agentes abertos podem rivalizar com a qualidade de dados gerados por APIs comerciais.

4. Resultados Experimentais

Os autores fine-tunaram dois modelos UMM representativos (UniWorld-V1 e Bagel) usando o ScaleEdit-12M e compararam o desempenho com modelos treinados em outros conjuntos de dados (abertos e comerciais).

• Benchmarks Gerais (GEdit, ImgEdit):
  • O UniWorld-V1 fine-tuned no ScaleEdit melhorou em 35,1% no GEdit e 10,4% no ImgEdit em relação à linha de base.
  • Superou consistentemente modelos treinados em outros conjuntos de dados abertos (como OmniEdit, AnyEdit, UltraEdit) e alcançou desempenho comparável ou superior a conjuntos gerados por modelos comerciais (ShareGPT-4o, OpenGPT-4o).
• Benchmarks de Raciocínio e Conhecimento (RISE, KRIS-Bench):
  • Houve ganhos massivos em tarefas que exigem conhecimento do mundo. O UniWorld-V1 melhorou em 150,0% no RISE e 26,5% no KRIS-Bench.
  • O Bagel também obteve melhorias significativas (ex: +23,0% no RISE).
• Estudos de Ablação:
  • Mesmo com tamanhos de dados iguais (1M), o ScaleEdit superou conjuntos comerciais e abertos, provando que a qualidade do pipeline é o fator determinante.
  • A remoção do roteador de tarefas ou do filtro de qualidade resultou em queda de desempenho, validando a importância da arquitetura multi-agente.
• Validação de Avaliação: O uso do Qwen2.5-VL-72B como "juiz" de qualidade mostrou alta correlação com o GPT-4o e preferências humanas, validando a viabilidade de uma avaliação totalmente aberta.

5. Significado e Impacto

O trabalho ScaleEdit-12M representa um marco importante para a comunidade de IA generativa:

• Democratização: Remove a barreira de custo para o desenvolvimento de modelos de edição de imagem de ponta, permitindo que pesquisadores utilizem dados de qualidade "nível comercial" sem pagar por APIs caras.
• Escalabilidade: Demonstra que frameworks de agentes multi-modais podem ser usados para sintetizar dados complexos e diversificados de forma autônoma.
• Avanço em Raciocínio: Ao focar em tarefas de raciocínio e conhecimento, o dataset ajuda a superar a limitação atual de modelos que apenas "pintam" pixels sem entender o contexto semântico ou lógico da edição.

Em suma, o artigo prova que é possível construir ecossistemas de dados robustos e de alta qualidade inteiramente dentro do ecossistema de código aberto, impulsionando o estado da arte em edição de imagens multimodal.