CompBench: Benchmarking Complex Instruction-guided Image Editing

O artigo apresenta o CompBench, um novo benchmark em larga escala para edição de imagens guiada por instruções complexas, desenvolvido através de uma colaboração entre humanos e modelos de linguagem multimodal para avaliar e revelar as limitações atuais dos modelos na manipulação precisa de cenas.

O essencial

Imagine que você tem um amigo muito talentoso, mas um pouco "teimoso", que é especialista em editar fotos. Você pede a ele: "Troque o cachorro por um gato". Ele faz isso perfeitamente. Mas, se você pedir algo mais complexo, como: "Coloque um gato preto, deitado, olhando para a janela, mas sem mexer no sofá ao fundo e mantendo a sombra da árvore lá fora", ele começa a ficar confuso. Ele pode colocar o gato no lugar errado, mudar a cor do sofá ou fazer a sombra desaparecer.

Até hoje, os testes para ver se esses "editores de fotos inteligentes" (que são modelos de Inteligência Artificial) são bons, eram como testes de pilotagem em uma pista de kart vazia e reta. Eles funcionavam bem em situações simples, mas não nos diziam se o piloto conseguiria dirigir em uma rua cheia de buracos, pedestres e curvas fechadas.

É aí que entra o CompBench, o novo "teste de estrada" criado pelos pesquisadores deste artigo.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O "Parquinho" vs. A "Selva"

Os testes antigos (chamados de benchmarks) eram como um parquinho infantil. As fotos eram simples: um objeto no meio, fundo limpo, sem muita bagunça.

• A realidade: O mundo real é uma selva urbana. Tem objetos escondidos (ocultos), coisas se sobrepondo, luzes estranhas e instruções complicadas.
• O resultado: As IAs passavam de nota no "parquinho", mas quando colocadas na "selva" (o mundo real), elas falhavam feio, criando imagens estranhas ou ignorando o que você pediu.

2. A Solução: O CompBench (O "Exame de Sobrevivência")

Os autores criaram o CompBench, que é como um exame de pilotagem em condições extremas.

• O que tem nele: Mais de 3.000 fotos complexas. Imagine uma foto com 13 objetos diferentes, alguns escondidos atrás de outros, e instruções que exigem raciocínio.
  • Exemplo: "Remova o tigre que está mais longe da água, mas mantenha a sombra dele no chão."
• A nova regra do jogo: Eles não querem apenas que a IA mude a foto. Eles querem que ela entenda onde colocar, como a coisa deve parecer, o que ela deve estar fazendo e quem são os objetos, tudo ao mesmo tempo.

3. Como eles criaram isso? (O "Chef e o Sous-chef")

Criar esses testes não foi fácil. Eles usaram uma equipe híbrida:

• O Sous-chef (IA Multimodal): Uma IA muito inteligente olhou para as fotos e sugeriu instruções complexas.
• O Chef (Humanos): Pessoas reais revisaram cada sugestão. Se a IA disse algo confuso ou se a edição ficou ruim, o Chef corrigiu ou descartou.
• O Segredo: Eles quebraram as instruções em 4 partes (como ingredientes de uma receita): Localização (onde?), Aparência (como é?), Dinâmica (o que está fazendo?) e Objetos (o quê?). Isso garante que a IA não se perca.

4. O Resultado: A Verdade Nua e Crua

Quando eles testaram as IAs mais famosas do mercado nesse novo "exame de sobrevivência", a notícia não foi muito boa para a maioria:

• A maioria tropeçou: Modelos que pareciam incríveis nos testes antigos falharam miseravelmente aqui. Eles não conseguiam entender instruções complexas ou mantinham o fundo da foto estragado.
• Os destaques: Alguns modelos novos, que usam uma tecnologia chamada MLLM (Modelos de Linguagem Multimodal), se saíram melhor. Pense neles como pilotos que estudaram mais teoria de voo, não apenas como pilotar. Eles entendem melhor o "porquê" das coisas, não apenas o "o quê".
• O maior problema: Mesmo os melhores têm dificuldade com geometria. Se você pedir para girar um objeto, eles muitas vezes o deixam torto ou "flutuando", como se a física não existisse.

5. Por que isso importa?

Este trabalho é como um termômetro de saúde para a tecnologia de edição de imagens.

• Ele mostra que, embora tenhamos feito progresso, ainda estamos longe de ter um "assistente de edição" perfeito que entende o mundo real.
• Ele aponta para onde os cientistas devem focar agora: ensinar as IAs a raciocinar melhor (entender a lógica) e a manter a física correta (não deixar objetos flutuando ou distorcidos).

Em resumo: O CompBench é o teste que finalmente diz: "Chega de brincadeira no parquinho. Vamos ver se você consegue editar uma foto real, com toda a complexidade do mundo, sem estragar nada." E a resposta foi: "Ainda temos muito o que aprender."

Resumo técnico

1. O Problema

O artigo identifica lacunas críticas nos benchmarks existentes para edição de imagens guiada por instruções (instruction-guided image editing). Os sistemas atuais e seus conjuntos de dados de avaliação apresentam três limitações principais:

• Falta de Complexidade de Cena: Os benchmarks atuais (como MagicBrush, ReasonEdit) utilizam frequentemente imagens de conjuntos de dados gerais (ex: MS COCO) com composições simplificadas, poucos objetos, pouca oclusão e layouts espaciais esparsos. Isso não reflete a complexidade do mundo real, onde há interações densas entre objetos e desordem natural.
• Instruções e Tarefas Limitadas: As instruções são frequentemente atômicas e simples (ex: "troque o cachorro por um gato"), falhando em capturar pedidos complexos do usuário que envolvem raciocínio espacial, relações contextuais, edição multi-objeto, múltiplos turnos ou estados dinâmicos.
• Qualidade de Dados Deficiente: Muitos benchmarks contêm edições de baixa qualidade, com falhas de alinhamento entre a instrução e a imagem gerada, ou artefatos visuais óbvios (distorções geométricas, inconsistências de fundo), o que compromete a avaliação real das capacidades dos modelos.

2. Metodologia

Para superar essas limitações, os autores propõem o CompBench, um benchmark de grande escala construído através de uma abordagem rigorosa:

• Coleta e Pré-processamento de Dados:

  • Utilização do conjunto de dados MOSE (focado em vídeo e objetos em movimento) como base para garantir complexidade de cena.
  • Filtragem rigorosa de qualidade visual e decomposição de máscaras multi-objeto em instâncias únicas.
  • Descarte de máscaras descontínuas ou altamente ocluídas usando MLLMs (Large Language Models Multimodais) e refinamento manual.

• Pipeline de Geração Colaborativa (MLLM-Humano):

  • Um framework onde MLLMs geram instruções iniciais baseadas na análise visual da cena e dos objetivos de edição.
  • Validação humana subsequente para garantir o alinhamento preciso entre instrução e imagem, descartando ou regenerando edições falhas.

• Estratégia de Decuplagem de Instruções:

  • As instruções são estruturadas em quatro dimensões para garantir precisão:
    1. Posicionamento Espacial (ex: "à esquerda da mesa").
    2. Atributos Visuais (cor, textura).
    3. Estados de Movimento (ex: "voando").
    4. Entidades de Objeto.
  • Isso transforma pedidos ambíguos em especificações bem definidas sem perder a expressividade natural.

• Taxonomia de Tarefas:
  O benchmark cobre 5 categorias principais e 9 tarefas específicas:

  1. Edição Local: Adição, remoção e substituição de objetos.
  2. Edição Multi: Edição multi-objeto e multi-turno.
  3. Edição de Ação: Modificação de estados dinâmicos ou interações.
  4. Edição Espacial da Cena: Edição de localização e ponto de vista (viewpoint).
  5. Raciocínio Complexo: Edições implícitas que exigem inferência lógica.

3. Principais Contribuições

• CompBench: O primeiro benchmark de grande escala (mais de 3.000 pares imagem-instrução) focado especificamente em cenários complexos de edição guiada por instruções.
• Métricas de Complexidade Superiores: O CompBench supera todos os benchmarks existentes em quatro indicadores-chave: número médio de objetos por imagem, número médio de categorias de objetos, taxa de oclusão e taxa de objetos fora do quadro.
• Curadoria de Alta Qualidade: Todas as amostras passaram por revisão de especialistas, garantindo que as edições sejam bem-sucedidas e semanticamente alinhadas, com pontuações de SSIM (Similaridade Estrutural) significativamente superiores às de outros conjuntos de dados.
• Framework de Avaliação Abrangente: Introdução de métricas que avaliam tanto a fidelidade do primeiro plano (usando CLIP para similaridade de imagem e aderência à instrução) quanto a preservação do fundo (usando PSNR, SSIM e LPIPS). Para tarefas complexas (ação, viewpoint), inclui avaliação humana e via LLMs (GPT-4o, Qwen2.5-VL).

4. Resultados Experimentais

Os autores avaliaram 15 modelos de ponta (incluindo InstructPix2pix, MagicBrush, SmartEdit, Bagel, FLUX.1 Kontext, Qwen-Image-Edit, etc.) no CompBench:

• Desempenho Geral: Nenhum modelo domina em todas as tarefas. O modelo Bagel destacou-se como o líder geral, alcançando os melhores resultados em 18 de 37 métricas (quase 50%), seguido por Qwen-Image-Edit e FLUX.1 Kontext.
• Falhas Comuns: Modelos sem integração de MLLMs (como InstructPix2pix e HQ-Edit) tendem a ignorar instruções complexas ou editar os objetos errados. O HQ-Edit apresentou desempenho significativamente inferior na maioria das tarefas.
• Edição Multi-turno: Todos os modelos sofreram queda na consistência do fundo na segunda rodada de edição, embora o SmartEdit tenha mantido um desempenho relativamente robusto.
• Raciocínio e Geometria: Modelos como Bagel e Qwen-Image-Edit demonstraram melhor capacidade de preservar informações espaciais e contextuais. No entanto, mesmo os melhores modelos ainda lutam com consistência física e geometria em tarefas de mudança de ponto de vista e ação, frequentemente gerando distorções.

5. Significado e Perspectivas Futuras

O CompBench revela que os modelos atuais de edição de imagens ainda possuem limitações fundamentais para aplicações reais complexas. O estudo oferece três insights cruciais para o desenvolvimento futuro:

1. Papel Crítico dos MLLMs: A integração de Modelos de Linguagem Multimodais é indispensável para interpretar instruções textuais intrincadas e contextos visuais; o alinhamento simples texto-imagem (CLIP) é insuficiente.
2. Desalinhamento Planejador-Executor: Existe uma lacuna entre a identificação do alvo (planejamento) e a execução da máscara precisa (execução), especialmente em cenas densas. Arquiteturas unificadas que aprendem compreensão e geração conjuntamente (como o Bagel) mitigam esse problema.
3. Necessidade de Raciocínio e Priors Geométricos: O futuro da área depende do aprimoramento das capacidades de raciocínio dos MLLMs e da incorporação de priores estruturais 3D ou guias geométricos para evitar alucinações geométricas e manter a consistência física.

Em suma, o CompBench estabelece um novo padrão de avaliação, expondo as deficiências atuais e fornecendo um caminho claro para a próxima geração de sistemas de edição de imagens guiados por instruções.