Resumo Técnico: Edit-Compass & EditReward-Compass

Declaração do Problema

Modelos recentes de edição de imagens avançaram significativamente na seguimento de instruções, compreensão multimodal e manipulação visual complexa. No entanto, o campo enfrenta duas lacunas críticas de avaliação:

1. Benchmarks de Edição de Imagens: Os benchmarks existentes frequentemente falham em refletir fielmente o julgamento humano, particularmente para modelos de fronteira. Isso é atribuído à dificuldade insuficiente das tarefas e a protocolos de avaliação de granularidade grosseira que não conseguem distinguir diferenças sutis de capacidade. Além disso, muitos benchmarks dependem de métricas automatizadas ou prompts simples de MLLM que carecem de alinhamento com o raciocínio humano em cenários complexos.
2. Benchmarks de Modelagem de Recompensa: À medida que o aprendizado por reforço (RL) se torna central na otimização da edição de imagens, a avaliação confiável de modelos de recompensa é crucial. Os benchmarks atuais de modelos de recompensa sofrem com incompatibilidades de distribuição; frequentemente avaliam modelos em comparações estáticas entre modelos, em vez de simular as distribuições realistas de candidatos dentro do mesmo modelo encontradas durante a otimização por RL (por exemplo, cenários FlowGRPO).

Metodologia

Os autores introduzem uma suíte unificada de avaliação composta por Edit-Compass (para modelos de edição de imagens) e EditReward-Compass (para modelos de recompensa).

1. Edit-Compass (Benchmark de Edição de Imagens)

• Escala e Escopo: Contém 2.388 instâncias cuidadosamente anotadas abrangendo 36 categorias de tarefas de granularidade fina em seis dimensões progressivamente desafiadoras:
  • Tarefas Gerais: Adição, remoção, substituição, extração de sujeitos, alterações de cor/tamanho/material, transferência de estilo e edição de texto.
  • Manipulação Dinâmica: Movimento de objetos, troca, interação, mudanças de ação e modificação de emoção.
  • Raciocínio de Conhecimento do Mundo: Tarefas de raciocínio temporal, causal, de jogos, matemático e químico.
  • Raciocínio Visual Algorítmico: Tarefas que exigem dedução lógica em múltiplos passos, como identificação de caminho ótimo, identificação de casca convexa, seleção da mochila e descoberta de palavras em grades.
  • Tarefas de Múltiplas Imagens: Composição, provação virtual e consciência de múltiplas imagens (transferência de atributos entre imagens).
  • Tarefas Complexas: Instruções compostas e tarefas de "Pintura Complexa" onde os usuários fornecem pistas visuais (setas, círculos, máscaras) juntamente com texto.
• Construção de Dados: Utiliza uma abordagem híbrida. Tarefas Gerais e Complexas usam imagens do mundo real com instruções geradas por LLMs e verificadas por humanos. Tarefas Dinâmicas, de Conhecimento do Mundo e de Múltiplas Imagens são projetadas por especialistas com imagens de origem geradas via prompts refinados. Tarefas Algorítmicas são geradas programaticamente com anotações de verdade fundamental derivadas de soluções algorítmicas (por exemplo, Dijkstra, programação dinâmica).
• Framework de Avaliação: Adota um framework de granularidade fina e multidimensional baseado em três dimensões centrais:
  • Consciência de Instrução: Seguimento de instruções e consciência de conhecimento do mundo.
  • Consistência Visual: Consistência de regiões não editadas e consistência de identidade.
  • Qualidade Visual: Naturalidade, fidelidade estrutural e severidade de artefatos.
  • Mecanismo: Utiliza um pipeline de MLLM como juiz com raciocínio estruturado em cadeia de pensamento e rubricas de pontuação específicas (escala 1–5) para gerar pontuações escalares e racionalizações interpretáveis.

2. EditReward-Compass (Benchmark de Modelagem de Recompensa)

• Escala: Contém 2.251 pares de preferência, cada um consistindo em uma instrução de edição e duas imagens editadas candidatas.
• Estratégia de Amostragem: Projetado para simular cenários realistas de otimização por RL. Emprega uma estratégia inspirada no FlowGRPO com equações diferenciais estocásticas para amostrar saídas candidatas de modelos diversos (tanto de código aberto quanto proprietários). Isso garante que a avaliação reflita as distribuições de candidatos intra-modelo encontradas durante a otimização da política, em vez de apenas comparações inter-modelo.
• Anotação: Um pipeline rigoroso de anotação humana em duas etapas envolvendo oito especialistas garante pares de preferência de alta qualidade com diferenças claras de qualidade na adesão à instrução e consistência visual.

Resultados Principais

Os autores avaliaram 29 modelos de edição de imagens de fronteira e 21 modelos de recompensa.

Modelos de Edição de Imagens

• Proprietários vs. Código Aberto: Existe uma lacuna substancial de desempenho. O melhor modelo proprietário (Nano Banana Pro) alcançou uma pontuação geral de 3,99, enquanto o modelo de código aberto mais forte (Qwen-Image-Edit) atingiu 2,69.
• Fraquezas Específicas de Tarefa: Embora modelos de código aberto performem competitivamente em tarefas básicas (Gerais, Manipulação Dinâmica), eles lutam significativamente com:
  • Raciocínio de Conhecimento do Mundo: (Nano Banana Pro: 3,89 vs. Qwen-Image-Edit: 1,74).
  • Raciocínio Visual Algorítmico: A maioria dos modelos pontua perto da linha de base (1,0–1,5), indicando uma falha em realizar raciocínio visual profundo e execução fiel de edições algorítmicas.
  • Edição de Múltiplas Imagens: Modelos de código fechado mostram uma vantagem clara na compreensão e composição entre imagens.
• Idioma: Muitos modelos exibem desequilíbrio cross-linguístico (melhor desempenho em inglês), embora modelos unificados avançados mostrem capacidades mais equilibradas.

Modelos de Recompensa

• MLLMs Nativos vs. Modelos Especializados: Grandes modelos de linguagem multimodais nativos (por exemplo, Qwen3.5-9B, Qwen3.6-27B) superam modelos de recompensa de código aberto existentes treinados explicitamente em dados de preferência (por exemplo, EditScore, EditReward).
• Escalonamento e Raciocínio: Modelos maiores geralmente performam melhor. Habilitar a inferência de "pensamento" (cadeia de pensamento) melhora consistentemente o desempenho do modelo de recompensa, com ganhos de até 10,56 pontos para modelos MoE esparsos.
• Protocolo de Avaliação: Os prompts estruturados usados no EditReward-Compass melhoram significativamente o desempenho de avaliação sobre bases anteriores (por exemplo, prompts EditScore), com ganhos de até 12,93%.

Significado e Alegações

O artigo alega fornecer um framework abrangente e alinhado ao humano para avaliar sistemas de edição de imagens de fronteira e modelos de recompensa. Seu significado reside em:

1. Avaliação Fiel: Ao introduzir tarefas progressivamente desafiadoras e avaliação baseada em raciocínio de granularidade fina, o benchmark revela fraquezas persistentes nos modelos atuais (especificamente em raciocínio e conhecimento do mundo) que benchmarks grosseiros ignoram.
2. Alinhamento com RL: O EditReward-Compass preenche a lacuna entre avaliação estática e cenários dinâmicos de otimização por RL, oferecendo um campo de testes realista para analisar a otimização guiada por recompensa.
3. Direção Futura: Os resultados sugerem que, embora a edição em nível de percepção rasa esteja amadurecendo, o campo deve focar em raciocínio mais profundo, integração de conhecimento do mundo e manipulação complexa de múltiplas imagens. Além disso, LLMs multimodais nativos parecem ser uma fundação mais promissora para modelagem de recompensa do que modelos especializados de menor escala treinados exclusivamente em dados de preferência.

Os autores reconhecem limitações, notando sua dependência de juízes MLLM baseados em API, o que pode introduzir variabilidade. Eles propõem trabalho futuro para desenvolver modelos juízes dedicados à edição de imagens para garantir avaliação mais estável e transparente sem dependências proprietárias.