DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model

Este artigo apresenta o DLEBench, o primeiro benchmark dedicado a avaliar a capacidade de modelos de edição de imagem baseados em instruções na manipulação de objetos em pequena escala, introduzindo um conjunto de dados desafiador e um protocolo de avaliação robusto que revela lacunas significativas de desempenho nessa tarefa.

O essencial

Imagine que você tem um pintor de IA muito talentoso, capaz de mudar a cor de um carro, remover um cachorro de uma foto ou trocar o céu de dia para noite. Até agora, todos elogiavam esse pintor por fazer essas mudanças grandes e óbvias.

Mas e se você pedisse para ele mudar a cor de um botão minúsculo em uma jaqueta, ou apagar uma mosca que pousou no nariz de alguém? Ou mudar o texto em uma placa de rua que está longe?

É aqui que a coisa fica difícil. O novo trabalho de pesquisa chamado DLEBench (DeepLookEditBench) é como um "exame de vista" para esses pintores de IA, focado especificamente em detalhes pequenos.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: O "Gigante" vs. o "Grão de Areia"

Até hoje, os testes para essas IAs focavam em objetos grandes (como um carro ou uma pessoa). Era como testar um cirurgião apenas pedindo para ele amputar um braço. Ele consegue! Mas e se você pedisse para ele remover uma farpa minúscula do dedo? A IA muitas vezes falha. Ela pode:

• Confundir o alvo: Em vez de mudar o botão da jaqueta, ela muda a cor de toda a jaqueta.
• Não ver nada: A IA simplesmente ignora o objeto pequeno e não faz nada.
• Destruir a foto: Ao tentar mudar o pequeno objeto, ela estraga o resto da imagem (como se o pintor tivesse derrubado tinta em todo o quadro ao tentar pintar uma flor minúscula).

2. A Solução: Criando o "DLEBench" (O Campo de Treinamento)

Os pesquisadores criaram um banco de dados especial com 1.889 exemplos onde o objeto a ser editado é muito pequeno (ocupando apenas 1% a 10% da imagem).

• A Analogia da "Lupa": Eles pegaram fotos complexas e criaram instruções específicas para esses detalhes.
• O Truque do "Recorte": Como as IAs têm dificuldade em ver o objeto pequeno na foto inteira, os pesquisadores usaram uma técnica inteligente: eles "recortaram" a parte pequena da foto, fizeram a edição ali com precisão e depois "colaram" de volta. Isso criou a "resposta perfeita" (o padrão ouro) para comparar se a IA acertou ou não.

3. O Julgador: Por que o "Juiz de IA" não serve?

Normalmente, para saber se a edição ficou boa, usamos outra IA para julgar a primeira. Mas os autores descobriram que, para detalhes minúsculos, o "Juiz de IA" é cego.

• A Analogia do "Juiz Cego": Imagine pedir para um juiz avaliar se você trocou a cor de um grão de areia em uma praia. Se o juiz olhar de longe, ele não vê nada. Ele dirá que está tudo perfeito, mesmo que você tenha pintado a areia de azul.
• A Nova Solução (O Duplo Modo): Para resolver isso, eles criaram dois modos de avaliação:
  1. Modo Ferramentas (O Detetive): A IA de julgamento é forçada a usar "ferramentas" como uma lupa digital, um zoom e um comparador de pixels. Ela não pode apenas olhar; ela tem que "investigar" a foto para achar a diferença.
  2. Modo Oráculo (O Guia Humano): Aqui, os humanos dizem exatamente onde o objeto está (desenhando uma caixa ao redor dele). A IA de julgamento então olha apenas dentro dessa caixa, ignorando o resto da foto. Isso elimina a confusão de "onde eu devo olhar?".

4. O Resultado: A Realidade Dura

Quando eles testaram 10 das IAs mais famosas do mundo (incluindo modelos da Google, OpenAI e outros) nesse novo teste:

• A maioria falhou feio. Mesmo os modelos mais avançados tiveram muita dificuldade em editar objetos pequenos sem estragar a foto ou mudar a coisa errada.
• O "Cobertor" vs. a "Agulha": As IAs são ótimas em mudar o "cobertor" inteiro (objetos grandes), mas ainda são péssimas em costurar a "agulha" (objetos pequenos).
• Um modelo se destacou: O modelo Gemini-3-Pro foi o melhor, mas mesmo ele não foi perfeito. Curiosamente, alguns modelos de código aberto (gratuitos) foram melhores que modelos pagos e fechados em certas tarefas.

Resumo Final

O DLEBench é um novo espelho que mostra que, embora nossas IAs de edição de imagem sejam inteligentes, elas ainda têm "visão de túnel". Elas não conseguem focar nos detalhes minúsculos sem bagunçar o resto da cena.

Esse trabalho é importante porque, no futuro, queremos que essas IAs sejam cirurgiões precisos, capazes de corrigir um erro pequeno em uma foto sem precisar refazer a imagem inteira. Até lá, eles precisam aprender a usar a "lupa" com mais cuidado!

Resumo técnico

1. Problema Identificado

Os Modelos de Edição de Imagem Baseados em Instruções (IIEMs) avançaram significativamente, demonstrando boa aderência a instruções e raciocínio em benchmarks atuais. No entanto, existe uma lacuna crítica: a capacidade de editar objetos de pequena escala (que ocupam apenas 1% a 10% da área da imagem) permanece subexplorada.

• Viés dos Benchmarks Atuais: A maioria dos benchmarks existentes foca em objetos salientes e grandes, ignorando a dificuldade de localizar e modificar detalhes finos.
• Falhas Atuais: Mesmo modelos de ponta (como o Gemini-3-Pro) falham frequentemente na localização precisa de alvos pequenos, resultando em edições aplicadas aos objetos errados ou falhas na preservação de detalhes.
• Limitações de Avaliação: Métricas de similaridade tradicionais (ex: CLIP) e avaliadores baseados em Modelos Multimodais de Grande Porte (LMM-as-a-Judge) não conseguem discernir mudanças visuais sutis em objetos pequenos, levando a avaliações pouco confiáveis e subjetivas.

2. Metodologia

O artigo propõe uma abordagem completa para construir um benchmark e um protocolo de avaliação específicos para edição de pequena escala.

A. Construção do DLEBench (DeepLookEditBench)

O DLEBench é o primeiro benchmark dedicado a avaliar a edição de objetos pequenos, contendo 1.889 amostras distribuídas em 7 tipos de instruções (modificação de atributos como cor, material, forma, OCR, e modificação de objetos como contagem, substituição e remoção).

• Pipeline de Transformação Semi-automatizado:
  1. Construção de Metadados: Utiliza uma estratégia de síntese contrafactual para converter pares de perguntas e respostas (QA) de benchmarks de raciocínio visual (MME-Realworld, Pixel-Reasoner, V*-Bench) em instruções de edição, identificando o objeto alvo e o tipo de modificação.
  2. Geração de Imagens de Referência (Ground Truth): Para superar a dificuldade dos IIEMs em editar imagens completas com objetos pequenos, o método emprega uma estratégia de "Crop-and-Edit" (Recorte e Edição). O objeto alvo é isolado em uma região recortada, editado com precisão e depois reintegrado. Isso garante uma referência de alta qualidade.
  3. Verificação Humana: Uma etapa final de validação humana garante a consistência semântica e visual das amostras.

B. Protocolo de Avaliação

Para superar as limitações dos avaliadores automáticos, os autores propõem um protocolo com critérios refinados e um Framework de Avaliação Dual:

• Critérios de Pontuação:
  • Aderência à Instrução (Instruction Following - IF): Avalia se o modelo localizou o alvo corretamente e executou a ação sem modificações excessivas. A pontuação é hierárquica (1 a 4), baseada em modos de falha específicos (Falha de Localização, Ação Errada, Modificação Excessiva, Execução Impecável).
  • Consistência Visual (Visual Consistency - VC): Avalia a preservação das regiões não-alvo, também usando uma escala hierárquica baseada em anomalias (Colapso da Cena, Múltiplas Anomalias, Anomalia Única, Perfeita Consistência).
• Framework Dual-Mode:
  1. Modo Orientado por Ferramentas (Tool-driven): O LMM atua como um agente que invoca ferramentas externas (Grounding, Zoom-In, Detecção de Diferenças, Enhancer) para iterativamente localizar o objeto e analisar as alterações, compensando suas limitações de percepção visual.
  2. Modo Guiado por Oráculo (Oracle-guided): Utiliza bounding boxes anotados manualmente para recortar as imagens antes da avaliação, eliminando erros de localização e permitindo que o avaliador foque puramente na execução da edição e na consistência do fundo.

3. Principais Contribuições

1. DLEBench: O primeiro benchmark focado exclusivamente na capacidade de edição de objetos de pequena escala, preenchendo uma lacuna crítica na avaliação de IIEMs.
2. Protocolo de Avaliação Robusto: Introdução de rubricas de pontuação objetivas baseadas em modos de falha e um framework dual (Tool-driven e Oracle-guided) que supera a baixa alinhamento dos métodos "LMM-as-a-Judge" tradicionais com o julgamento humano em tarefas de alta granularidade.
3. Análise Empírica Abrangente: Avaliação de 10 modelos representativos (incluindo modelos proprietários como Gemini-3-Pro e GPT-Image-1, e modelos open-source como Bagel-Think e OmniGen2), revelando insights sobre as limitações atuais da tecnologia.

4. Resultados Experimentais

A avaliação de 10 IIEMs no DLEBench revelou descobertas significativas:

• Desempenho Geral Baixo: Mesmo os melhores modelos (ex: Gemini-3-Pro) obtiveram pontuações médias modestas, indicando uma deficiência generalizada na edição de pequenos objetos.
• Gap entre Proprietários e Open-Source: Contrariando a crença comum, modelos open-source selecionados (como o Bagel-Think) superaram modelos proprietários (como o GPT-Image-1) em tarefas de pequena escala, sugerindo que a arquitetura específica e o treinamento são mais importantes do que apenas o tamanho do modelo.
• Correlação com Escala: Existe uma forte correlação positiva entre o tamanho do objeto e o desempenho. Modelos como UniWorld-V1 e MagicBrush mostraram desempenho ruim em todas as escalas, enquanto outros melhoram conforme o objeto aumenta, mas ainda falham em escalas muito pequenas.
• Tipos de Instrução: A tarefa de "Alterar Contagem" (Change Count) foi a mais difícil para todos os modelos, devido à complexidade de isolar e enumerar múltiplos objetos pequenos.
• Validação do Framework: O modo Oracle-guided e o Tool-driven apresentaram uma correlação significativamente maior com o julgamento humano (medida por coeficientes de Spearman e Pearson e menor MAE) em comparação com os avaliadores LMM padrão (Gemini-3-Pro e GPT-4.1), que frequentemente falharam em detectar falhas sutis como deformações de forma ou adição de objetos indesejados.

5. Significado e Impacto

O trabalho demonstra que a edição de imagens baseada em instruções ainda não está madura para tarefas de precisão local (pequena escala), que são essenciais para correção de erros em imagens geradas e refinamento de detalhes.

• Padrão de Ouro: O DLEBench estabelece um novo padrão para avaliar a precisão e a fidelidade dos modelos de edição.
• Direção Futura: Os resultados indicam a necessidade de desenvolver modelos com melhor percepção visual de alta resolução e mecanismos de atenção mais focados.
• Método de Avaliação: O framework dual proposto oferece uma solução prática e confiável para a comunidade, permitindo a avaliação automatizada de alta qualidade sem depender exclusivamente de anotações humanas massivas para cada teste, ao mesmo tempo que mitiga as alucinações visuais dos LMMs.

Em resumo, o DLEBench expõe as limitações atuais dos modelos de ponta em cenários de alta granularidade e fornece as ferramentas necessárias (benchmark e protocolo) para guiar o desenvolvimento futuro de editores de imagem mais precisos e confiáveis.