Resumo Técnico: ProductConsistency

Definição do Problema

Embora os avanços recentes em edição de imagens baseada em instruções tenham permitido modificações visuais complexas a partir de linguagem natural, os modelos atuais (tanto de código aberto quanto proprietários) enfrentam dificuldades significativas em cenários centrados em produtos. Em domínios como publicidade, e-commerce e marketing, as imagens editadas exigem correção visual estrita. Os modelos existentes frequentemente falham em preservar a identidade detalhada do objeto, muitas vezes distorcendo a geometria do produto, alterando logotipos de marcas ou alucinando e errando a grafia de textos nas superfícies dos produtos.

Um fator primário para essa falha é a falta de conjuntos de dados e benchmarks dedicados que visem explicitamente a consistência da marca e a fidelidade do texto durante a edição. Os benchmarks existentes frequentemente ignoram o texto renderizado ou focam em layouts de estilo documental em vez de objetos fotografados. Além disso, os atuais modelos de recompensa de aprendizado por reforço (RL) são projetados para qualidade estética geral ou seguimento de instruções, falhando em capturar as restrições específicas de preservação da identidade do produto.

Metodologia

Os autores propõem um framework abrangente composto por um novo conjunto de dados, um pipeline de geração de dados sintéticos e uma estratégia de treinamento especializada envolvendo Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL).

1. Conjunto de Dados ProductConsistency e Pipeline de Geração

O núcleo do trabalho é um pipeline totalmente automatizado para gerar imagens de produtos sintéticas de alta qualidade com texto verificável e identidades de marca únicas.

• Geração Sintética: O pipeline define 131 itens de produtos únicos em 8 categorias (ex: alimentos, bebidas, cosméticos). Um MLLM (GPT-o3-mini) gera descrições de produtos diversas e assinaturas de marca (nome, paleta de cores, estilo de fonte).

• Síntese de Imagem e Filtragem: As imagens são geradas usando GPT-Image-1 High. Para garantir a fidelidade do texto, é aplicada uma etapa rigorosa de filtragem baseada em OCR. Uma imagem é retida apenas se o texto detectado por um modelo de OCR ($T_{ocr}$) corresponder exatamente ao texto de referência especificado no prompt ($T_{gt}$). Este processo resulta em um conjunto de alta precisão de 2.002 produtos sintéticos com texto legível.

• Divisão de Dados: Os dados filtrados são divididos em:

  • Conjunto de Dados SFT: 87.242 amostras usadas para ajuste fino supervisionado.
  • Conjunto de Dados RL: 869 imagens de produtos únicos (derivadas de 1.133 produtos únicos) selecionadas com base na alta variância no desempenho dos modelos de base, representando casos "propensos a falhas" onde a otimização é mais benéfica.
  • Benchmark: Um conjunto de teste verificado por humanos de 174 imagens de produtos (780 amostras totais com 5 prompts cada) distribuídas em 8 categorias.

• Estrutura de Treinamento: Os autores realizam o ajuste fino de dois modelos de código aberto: Qwen-Image-Edit-2511 e Flux.1-Kontext-dev.

• Ajuste Fino Supervisionado (SFT): Os modelos são treinados no conjunto de dados de 87k SFT usando Low-Rank Adaptation (LoRA). As imagens alvo para SFT são geradas usando Qwen-Image-Lightning (escolhido pela velocidade e renderização de texto) e filtradas via OCR para garantir que apenas saídas com texto correto sejam usadas como referência.

• Aprendizado por Reforço (RL): O treinamento continua a partir dos checkpoints de SFT usando o algoritmo FlowGRPO.

  • Recompensa de Consistência Cíclica: Para guiar o RL sem modelos de recompensa explícitos de consistência de produto, os autores propõem uma recompensa de proxy. Eles geram uma legenda ($c_{gen}$) a partir da imagem editada usando um MLLM (Qwen3-VL) e computam a similaridade de cosseno entre seu embedding e o embedding da descrição original do produto ($c_{gt}$). Isso impõe a preservação semântica da identidade do produto.
  • Recompensa de OCR: Esta é combinada com uma recompensa baseada na Taxa de Erro de Caracteres (CER) para penalizar explicitamente alucinações de texto e erros ortográficos.
  • Agregação: O algoritmo GDPO é usado para agregar as recompensas de consistência cíclica e de OCR com peso igual.

Principais Contribuições

1. Dataset & Pipeline ProductConsistency: Um pipeline totalmente automatizado para gerar imagens de produtos sintéticos com identidades de marca únicas e texto renderizado verificável, permitindo supervisão escalável para edição centrada em produtos.
2. Benchmark ProductConsistency: Uma suíte de avaliação rigorosa consistindo em 174 imagens de produtos em 8 categorias, emparelhadas com 5 prompts de edição cada (870 amostras), projetada para avaliar a preservação da identidade do produto, fidelidade de texto e consistência visual.
3. Treinamento Consciente de Produto com Recompensas de Consistência Cíclica: Um novo framework de RL que alinha as legendas das imagens geradas com as descrições originais dos produtos e incorpora recompensas baseadas em OCR. Esta abordagem visa explicitamente a adesão às instruções, a identidade semântica do produto e a fidelidade do texto.

Resultados

Os autores avaliaram seus modelos ajustados contra bases fortes (incluindo HiDream-E1-1, OmniGen2, NanoBanana e GPT-Image-1) no Benchmark ProductConsistency usando métricas de OCR, métricas perceptuais baseadas em segmentação (Seg CLIP-I, Seg DINO-I) e avaliações baseadas em MLLM (GPT-5.1).

• Melhorias Quantitativas: Os modelos ajustados com o conjunto de dados ProductConsistency mostraram melhorias consistentes em todas as métricas.
  • Qwen-Image-Edit-2511: O SFT reduziu a Taxa de Erro de Caracteres (CER) de 1,0682 para 0,7803. A adição de RL com recompensas de Consistência Cíclica reduziu ainda mais o CER para 0,2080, representando uma redução de 5x na taxa de erro de caracteres em comparação ao modelo base. O Seg CLIP-I melhorou de 0,8728 para 0,9245.
  • Flux.1-Kontext-dev: Partindo de uma base forte, o modelo alcançou o menor CER geral de 0,1204 e o melhor score DINO-I de 0,8115 após o treinamento de SFT e RL.
• Avaliação Qualitativa & MLLM: Avaliações baseadas em GPT confirmaram que as melhorias nos indicadores automatizados se traduziram em ganhos perceptíveis na consistência do produto, fidelidade de texto (incluindo fonte e cor) e estética geral.
• Estudo de Ablação: O estudo comparou a recompensa de Consistência Cíclica contra EditReward e recompensas de Consistência Visual Segmentada. Embora a Consistência Visual Segmentada tenha alcançado pontuações automatizadas altas, ela sofreu de "reward hacking", onde os modelos reproduziam a imagem de entrada em vez de realizar edições, levando a uma estética pobre e baixa adesão às instruções. A recompensa de Consistência Cíclica forneceu um sinal de treinamento mais robusto, superando outras configurações tanto em avaliações automatizadas quanto baseadas em GPT.

Significância

O artigo afirma que seu trabalho aborda uma lacuna crítica no campo: a incapacidade dos modelos atuais de edição baseada em instruções de manter a identidade detalhada do produto e a fidelidade do texto. Ao introduzir um conjunto de dados dedicado, um benchmark e um framework de treinamento centrado em consistência cíclica e recompensas de OCR, os autores demonstram que modelar explicitamente a consistência do produto é essencial para aplicações do mundo real em publicidade e e-commerce. Os resultados indicam que o ajuste fino de editores de código aberto robustos com este framework específico produz ganhos substanciais, tornando-os competitivos ou superiores aos modelos proprietários em tarefas de edição centradas em produtos.