HP-Edit: A Human-Preference Post-Training Framework for Image Editing

Resumo Técnico: HP-Edit

1. Problema e Motivação

As tarefas de edição de imagens baseadas em texto (Image-to-Image ou I2I) têm adotado modelos de difusão generativos como padrão. Embora métodos de Fine-Tuning Supervisionado (SFT) tenham melhorado a capacidade de edição, eles apresentam duas limitações críticas:

1. Desalinhamento com Preferências Humanas: Os dados de treinamento do SFT frequentemente provêm de fontes mistas (desenhos animados, imagens sintéticas) que não refletem o que os humanos consideram esteticamente agradável ou realista.
2. Custo de Anotação: Construir conjuntos de dados escaláveis alinhados a preferências humanas requer anotação manual cara e demorada, tornando o alinhamento em larga escala impraticável.

Métodos de Aprendizado por Reforço (RL), como DPO e GRPO, mostraram sucesso em geração de texto e síntese de imagens, mas sua aplicação em edição de imagens permanece pouco explorada devido à falta de frameworks e conjuntos de dados de preferência humana escaláveis e específicos para tarefas.

2. Metodologia: HP-Edit

O HP-Edit é um framework de pós-treinamento projetado para alinhar modelos de edição de imagens às preferências humanas. A abordagem consiste em três estágios principais:

• Estágio 1: O HP-Scorer (Avaliador de Preferência Humana)

  • Utiliza um Modelo de Linguagem Visual (VLM) pré-treinado (ex: Qwen2.5-VL) como um avaliador automático.
  • O VLM é instruído com prompts de pontuação específicos para cada tarefa (ex: troca de objetos, mudança de cor, desfoque).
  • O sistema é refinado iterativamente com uma pequena quantidade de dados anotados por humanos (pontuação de 0 a 5) até que as avaliações do VLM correspondam estreitamente aos julgamentos humanos.

• Estágio 2: Construção de Dados de Preferência (RealPref-50K)

  • Criação de um conjunto de dados realista e balanceado cobrindo 8 tarefas comuns e objetos frequentes (baseado em MS-COCO).
  • Filtragem de Casos Difíceis: O framework identifica que modelos pré-treinados já obtêm pontuações máximas em muitos casos fáceis. Para otimizar o RL, o HP-Edit filtra os casos de alta pontuação (fáceis) e foca nos casos difíceis (baixa pontuação), onde o modelo precisa aprender a melhorar a qualidade e o realismo.

• Estágio 3: Pós-treinamento com RL (Flow-GRPO)

  • O HP-Scorer atua como a função de recompensa durante o treinamento.
  • Utiliza-se o algoritmo Flow-GRPO (Group Relative Policy Optimization), adaptado para modelos de Flow Matching.
  • O modelo gera um grupo de imagens para um mesmo prompt; o HP-Scorer pontua cada uma, e o algoritmo calcula vantagens relativas dentro do grupo para atualizar a política do modelo, incentivando resultados que recebem pontuações mais altas.

3. Contribuições Principais

1. Framework HP-Edit: Uma arquitetura unificada que integra um avaliador baseado em VLM, um pipeline de construção de dados focado em casos difíceis e treinamento de RL específico para tarefas.
2. RealPref-50K: Um novo conjunto de dados de grande escala com mais de 55.000 casos de edição do mundo real, cobrindo 8 tarefas (adição, remoção, troca, substituição de fundo, mudança de cor, desfoque/bokeh, reiluminação e transferência de estilo) com distribuição balanceada de objetos.
3. RealPref-Bench: Um benchmark rigoroso para avaliação de desempenho em edição do mundo real, utilizando imagens reais e instruções de preferência verificadas manualmente.
4. HP-Scorer: Um avaliador automático alinhado a humanos que substitui a necessidade de anotação massiva durante o treinamento de RL, permitindo escalabilidade.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo base Qwen-Image-Edit-2509 e comparados com o estado da arte (SOTA), incluindo Step1X-Edit, BAGEL, X2Edit e FLUX.1-Kontext.

• Desempenho Quantitativo: No RealPref-Bench, o HP-Edit alcançou a melhor pontuação geral (4.667), superando o modelo base Qwen-Image-Edit-2509 (4.472) e outros métodos SOTA. Houve melhorias significativas em tarefas que exigem raciocínio semântico fino e realismo, como mudança de cor, desfoque e reiluminação.
• Desempenho em Benchmarks Externos: O método também obteve resultados SOTA no GEdit-Bench-EN, demonstrando boa generalização.
• Validação Humana: Um estudo com usuários confirmou que as pontuações do HP-Scorer têm uma forte correlação (Pearson ~0.89) com as avaliações humanas, validando a precisão do avaliador automático.
• Qualidade Visual: As comparações qualitativas mostram que o HP-Edit produz resultados mais realistas, com menos artefatos e melhor preservação da estrutura da cena em comparação aos baselines.

5. Significado e Impacto

O HP-Edit preenche uma lacuna crítica na comunidade de visão computacional ao demonstrar como aplicar Aprendizado por Reforço com Feedback Humano (RLHF) de forma eficiente em modelos de difusão para edição de imagens.

• Escalabilidade: Ao substituir a anotação humana massiva por um avaliador VLM refinado, o framework torna viável o treinamento de modelos alinhados a preferências em larga escala.
• Foco no Realismo: A estratégia de focar em "casos difíceis" (hard cases) durante o RL permite que o modelo aprenda a refinar detalhes sutis e estéticos que os métodos de SFT tradicionais ignoram.
• Padrão de Avaliação: A introdução do RealPref-Bench estabelece um novo padrão para avaliar a qualidade de edição baseada em preferências humanas reais, indo além de métricas puramente estatísticas.

Em suma, o HP-Edit representa um avanço significativo na capacidade de gerar edições de imagens que não apenas seguem instruções textuais, mas também atendem aos critérios estéticos e de realismo esperados por humanos.