🤖 AI

EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing

O artigo apresenta o EdiVal, um framework automatizado e centrado em objetos para avaliação granular de edição de imagens baseada em instruções, que supera as limitações dos métodos atuais ao introduzir métricas específicas para seguir instruções, consistência de conteúdo e qualidade visual em cenários de múltiplas rodadas, validado por meio do EdiVal Bench.

Autores originais: Tianyu Chen, Yasi Zhang, Zhi Zhang, Peiyu Yu, Shu Wang, Zhendong Wang, Kevin Lin, Xiaofei Wang, Zhengyuan Yang, Linjie Li, Chung-Ching Lin, Jianwen Xie, Oscar Leong, Lijuan Wang, Ying Nian Wu, Mingyua

Publicado 2026-03-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianyu Chen, Yasi Zhang, Zhi Zhang, Peiyu Yu, Shu Wang, Zhendong Wang, Kevin Lin, Xiaofei Wang, Zhengyuan Yang, Linjie Li, Chung-Ching Lin, Jianwen Xie, Oscar Leong, Lijuan Wang, Ying Nian Wu, Mingyuan Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo muito talentoso que é um artista digital. Você pede para ele mudar a cor de um carro na foto, depois pede para trocar o carro por uma moto, e depois pede para mudar o céu de azul para vermelho.

O problema é: como saber se o artista realmente fez o que você pediu?

Até agora, os cientistas tinham duas formas de avaliar esses artistas, e ambas eram meio falhas:

Comparar com uma foto "perfeita" de referência: Mas quem garante que a foto de referência é a única maneira correta de fazer a mudança? E se a referência já foi feita por outro computador, ela pode ter os mesmos defeitos.
Pedir para uma IA (um "robô observador") olhar a foto e dar uma nota: O problema é que esses robôs são ótimos em conversar, mas péssimos em ver detalhes. Eles podem alucinar (inventar coisas que não existem) ou não perceber que você trocou uma maçã verde por uma vermelha, achando que é a mesma coisa.

A Solução: O "EdiVal-Agent" (O Chefe de Obra)

Os autores deste paper criaram um novo sistema chamado EdiVal-Agent. Pense nele não como um simples observador, mas como um Chefe de Obra extremamente detalhista que trabalha em uma fábrica de fotos.

Aqui está como ele funciona, passo a passo, usando uma analogia simples:

1. O Inventário (Decomposição)

Antes de começar qualquer edição, o Chefe de Obra entra na foto e faz um inventário minucioso de tudo o que vê.

Ele não vê apenas "um carro". Ele vê: "Um carro vermelho, de metal, com 4 rodas, no fundo da imagem".
Ele cria uma lista (um "pool" de objetos) com tudo isso anotado. É como se ele tirasse uma foto mental de cada peça do quebra-cabeça antes de mexer em algo.

2. O Pedido Criativo (Geração de Instruções)

Em vez de usar apenas fotos prontas, o sistema cria seus próprios desafios.

Ele pega a lista de objetos e diz: "Ok, vamos mudar a cor do carro para azul". Depois, na próxima rodada, ele diz: "Agora, troque o carro azul por uma bicicleta".
Ele faz isso em várias rodadas (turnos), simulando como um humano real editaria uma foto, peça por peça.

3. A Inspeção Rigorosa (Avaliação)

Aqui está a mágica. Quando o artista (a IA que edita a foto) entrega o trabalho, o Chefe de Obra não apenas olha a foto final. Ele usa três ferramentas diferentes para checar:

O Detetive de Objetos (EdiVal-IF): Para ver se a instrução foi seguida.
- Exemplo: Se o pedido foi "trocar o carro por uma moto", o detetive usa uma lupa especial (um detector de objetos) para garantir que o carro sumiu e a moto apareceu. Ele não deixa o robô observador chutar; ele verifica matematicamente se o objeto novo está no lugar certo.
O Guardião da Memória (EdiVal-CC): Para ver se o que não deveria mudar, realmente não mudou.
- Exemplo: Se você trocou o carro, a árvore ao fundo deve continuar exatamente a mesma. O sistema compara a "alma" (o significado visual) da árvore antes e depois. Se a árvore mudou de forma estranha, ele perde pontos.
O Crítico de Beleza (EdiVal-VQ): Para ver se a foto ficou bonita e natural.
- Ele usa um modelo treinado com preferências humanas para ver se a foto ficou com cara de "falsa" ou com defeitos estranhos (como dedos extras ou cores brilhantes demais).

Por que isso é importante?

O paper testou esse sistema em 16 modelos diferentes de edição de imagem (incluindo os famosos da OpenAI, Google e modelos de código aberto).

As descobertas principais foram:

Alguns modelos são ótimos no começo, mas falham depois: Alguns IAs conseguem fazer a primeira edição perfeitamente, mas quando você pede uma segunda ou terceira mudança, elas começam a "alucinar" e estragar tudo. É como um aluno que sabe a primeira lição, mas esquece o que aprendeu na lição anterior.
O "Viés de Exposição": Modelos que foram treinados apenas para editar fotos reais (e não fotos que eles mesmos criaram) tendem a falhar quando você pede várias edições seguidas. Eles se confundem com o próprio trabalho.
O Vencedor: O modelo Seedream 4.0 se saiu muito bem, equilibrando bem a obediência às ordens, a preservação do que não deveria mudar e a qualidade visual.

Resumo Final

O EdiVal-Agent é como ter um inspetor de qualidade superpoderoso que não deixa passar nada. Ele não confia apenas na "intuição" de uma IA, mas usa lógica, detecção de objetos e comparação detalhada para garantir que, quando você pedir para mudar algo em uma foto, a IA realmente faça isso sem estragar o resto da imagem.

Isso é crucial para o futuro, porque queremos que essas IAs sejam usadas para coisas sérias (como design, acessibilidade e criação de conteúdo), e não apenas para brincadeiras que geram imagens estranhas e inconsistentes.

1. O Problema

O campo de edição de imagens baseada em instruções avançou rapidamente, mas a avaliação confiável e interpretável permanece um gargalo crítico, especialmente para cenários de edição multi-turno (múltiplas rodadas de refinamento). As abordagens atuais sofrem de duas limitações principais:

Dependência de Imagens de Referência: Protocolos que comparam a saída do modelo com uma imagem de referência "ground-truth" têm cobertura limitada e herdam vieses dos modelos generativos que criaram essas referências. Além disso, o espaço de edições aceitáveis é vasto, tornando uma única referência insuficiente.
Limitações dos Modelos Visão-Linguagem (VLMs) Zero-Shot: Métricas baseadas apenas em VLMs para avaliar a aderência à instrução, consistência de conteúdo e qualidade visual são frequentemente imprecisas. Eles falham em:
- Raciocínio espacial (ex: "à esquerda de").
- Detecção de objetos (alucinações de existência ou atributos).
- Sensibilidade a mudanças sutis em nível de pixel (cruciais para consistência).
- Avaliação estética e detecção de artefatos gerativos.

2. Metodologia: EdiVal-Agent

Os autores propõem o EdiVal-Agent, um framework de avaliação automatizado e de alta granularidade, fundamentado numa perspectiva centrada em objetos. O pipeline opera em três etapas principais:

A. Decomposição (Decomposition)

Um agente baseado em VLM (ex: GPT-4o) analisa a imagem de entrada e extrai uma lista estruturada de objetos visíveis, incluindo atributos como material, cor, texto, contagem e se estão em primeiro plano.
A saída é formatada em JSON.
Um detector de objetos de vocabulário aberto (Grounding-DINO) valida e localiza esses objetos, filtrando detecções de baixa confiança ou ambíguas para criar um "Pool de Todos os Objetos" inicial.

B. Geração de Instruções (Instruction Generation)

O agente gera instruções de edição diversificadas e contextualizadas, mantendo pools de objetos dinâmicos ao longo das rodadas (turnos):
- $P_{all}$ : Todos os objetos presentes.
- $P_{unch}$ : Objetos originais que não foram editados (para medir consistência).
- $P_{avail}$ : Objetos atualmente editáveis.
O sistema suporta 9 tipos de instruções agrupados em categorias semânticas: adição/remoção/substituição de sujeito, alteração de cor/material, mudança de texto, mudança de posição, mudança de contagem e mudança de fundo.
O processo é iterativo (até 3 turnos), atualizando os pools de objetos após cada instrução para simular um fluxo de edição real.

C. Avaliação (Evaluation)

O framework introduz três métricas principais:

EdiVal-IF (Instruction Following): Mede se a instrução foi seguida.
- Para tarefas simbólicas (ex: remover objeto, mudar posição, contar): Usa o Grounding-DINO para verificar logicamente a presença/ausência e coordenadas geométricas.
- Para tarefas semânticas (ex: mudar cor, material, texto): Usa um VLM (ex: Qwen2-VL) aplicado a recortes (crops) guiados pelo detector para verificar a mudança específica.
EdiVal-CC (Content Consistency): Mede a preservação de conteúdo não editado.
- Calcula a similaridade semântica (usando DINOv3) entre a imagem original e a editada para os objetos em $P_{unch}$ e para a região de fundo (excluindo todos os objetos).
EdiVal-VQ (Visual Quality): Avalia a qualidade estética global usando o HPSv3 (Human Preference Score v3), um modelo treinado com preferências humanas, evitando a imprecisão de VLMs zero-shot para qualidade.

O EdiVal-O (Score Geral) é a média geométrica de EdiVal-IF e EdiVal-CC, penalizando desequilíbrios.

3. Principais Contribuições

EdiVal-Agent: Um avaliador totalmente automatizado que combina decomposição simbólica de objetos, geração de instruções multi-turno e uma pipeline de avaliação híbrida (ferramentas especializadas + VLMs).
EdiVal-Bench: Um novo benchmark multi-turno contendo 1.716 instruções sobre 572 imagens do mundo real, cobrindo 9 tipos de instruções e 16 modelos de edição de ponta (incluindo modelos fechados como GPT-Image-1, Seedream 4.0 e modelos open-source como Qwen-Image-Edit).
Alta Concordância Humana: O EdiVal-IF alcançou 81.3% de concordância com avaliações humanas, superando significativamente VLMs zero-shot (75.2%) e métricas baseadas em CLIP (65.4%).
Análise de Viés de Exposição: O framework identificou que modelos treinados apenas em imagens reais (sem dados de geração própria) sofrem de "viés de exposição" em edições multi-turno, degradando rapidamente após o primeiro turno.

4. Resultados Chave

A avaliação de 16 modelos revelou insights importantes:

Melhor Desempenho Geral: O Seedream 4.0 liderou o ranking, oferecendo o melhor equilíbrio entre aderência à instrução, consistência de conteúdo e latência.
Evolução de Modelos: O GPT-Image-1.5 superou significativamente o GPT-Image-1, especialmente na consistência de conteúdo entre turnos. O Nano Banana 2 também superou seu predecessor.
Problemas de Consistência: O GPT-Image-1 teve excelente aderência à instrução, mas desempenho ruim em consistência de conteúdo (mudava objetos não intencionais).
Viés de Exposição em Open-Source: O Qwen-Image-Edit (open-source) teve bom desempenho no primeiro turno, mas degradou-se drasticamente nos turnos subsequentes (EdiVal-O caiu de 78.36 para 41.93), indicando que ele não consegue manter a estabilidade ao editar suas próprias gerações.
Qualidade Visual: Modelos como o GPT-Image-1 tendem a "embelezar" as imagens (aumentando o HPSv3), enquanto outros (como FLUX.1-Kontext-max) preservam a fidelidade à imagem original.
Multi-turno vs. Prompt Único: Para modelos sem viés de exposição, a edição multi-turno (sequencial) tende a ter maior sucesso do que prompts complexos únicos. Para modelos com viés de exposição, prompts complexos únicos podem performar melhor.

5. Significado e Impacto

O trabalho do EdiVal-Agent representa um avanço fundamental na avaliação de IA generativa para edição de imagens ao:

Superar a dependência de referências: Permite avaliar edições em imagens do mundo real sem necessidade de pares de imagens "antes/depois" perfeitos.
Oferecer Interpretabilidade: Ao decompor a avaliação em objetos específicos e tipos de tarefas, o framework identifica onde e por que um modelo falha (ex: falha em raciocínio espacial vs. falha em consistência de cor).
Guiar o Futuro: Os resultados expõem falhas críticas nos modelos atuais (como o viés de exposição em edições sequenciais), fornecendo diretrizes claras para o desenvolvimento da próxima geração de editores de imagem que devem ser robustos em múltiplos turnos.

O código e o dataset estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço contínuo na área de edição de imagens instrucional.