Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation

1. Problema e Motivação

O artigo identifica uma limitação crítica na aplicação de Aprendizado por Reforço (RL) para modelos de geração e edição de imagens (como Text-to-Image e Image Editing). Embora o RL seja uma paradigma promissor para alinhar modelos com preferências humanas, ele depende fundamentalmente de Modelos de Recompensa (ou "críticos") para fornecer sinais de otimização.

Os problemas principais identificados são:

• Alucinações e Ruído: Modelos Multimodais de Linguagem (MLLMs) de uso geral, quando usados como críticos zero-shot, sofrem de alucinações severas, negligência de objetos e falta de raciocínio espacial preciso.
• Pontuações Não Confiáveis: Essas falhas resultam em pontuações de recompensa ruidosas e irrazoáveis, que podem enganar o processo de otimização, levando a falhas no aprendizado ou a estratégias de "hacking de recompensa" (onde o modelo explora falhas na métrica em vez de melhorar a qualidade real).
• Desempenho Insuficiente: Métodos atuais falham em fornecer feedback granular e confiável para tarefas complexas de edição e geração, limitando o potencial de alinhamento.

2. Metodologia: O Framework FIRM

Os autores propõem o FIRM (Faithful Image Reward Modeling), um framework abrangente que desenvolve modelos de recompensa robustos e específicos para tarefas. A abordagem divide-se em três pilares principais:

A. Pipelines de Curadoria de Dados (FIRM-Edit e FIRM-Gen)

Para superar as limitações dos MLLMs diretos, o FIRM introduz pipelines de dados especializados:

1. FIRM-Edit (Edição de Imagem) - Abordagem "Difference-First":

   • Observação: MLLMs são melhores em resolver problemas (descrever diferenças) do que em avaliar diretamente.
   • Pipeline: Em vez de pedir ao modelo para julgar a edição diretamente, o pipeline primeiro usa um MLLM para gerar uma descrição textual detalhada das diferenças visuais entre a imagem original e a editada.
   • Avaliação: Essa descrição de diferenças é então alimentada em outro MLLM (o avaliador) junto com a instrução original. Isso permite que o avaliador deduzir pontuações precisas para Execução (quão bem a instrução foi seguida) e Consistência (quão bem o resto da imagem foi preservado), reduzindo alucinações.
   • Dados: Resulta no dataset FIRM-Edit-370K.

2. FIRM-Gen (Geração Text-to-Image) - Abordagem "Plan-then-Score":

   • Problema: Avaliar prompts complexos com múltiplas restrições leva a uma diluição da atenção no modelo.
   • Pipeline: Um LLM potente atua como "planejador", extraindo um checklist estruturado de critérios de verificação a partir do prompt do usuário. Em seguida, um MLLM forte atua como "avaliador", verificando a imagem gerada item por item contra esse checklist antes de atribuir uma pontuação final de Aderência à Instrução.
   • Dados: Resulta no dataset FIRM-Gen-293K.

B. Benchmarks e Modelos Treinados

• FIRM-Bench: Um benchmark rigoroso com anotação humana (807 amostras) para validar os críticos, dividido em subconjuntos para edição (Execução e Consistência) e geração (Aderência à Instrução).
• Modelos de Recompensa: Foram treinados dois modelos especializados de 8B parâmetros (inicializados a partir do Qwen3-VL-8B-Instruct):
  • FIRM-Edit-8B: Especializado em edição.
  • FIRM-Gen-8B: Especializado em geração.

C. Estratégia de Recompensa em RL: "Base-and-Bonus"

Para integrar esses críticos no processo de RL sem causar colapso de otimização ou reward hacking, os autores propõem novas formulações de recompensa:

1. Para Edição (CME - Consistency-Modulated Execution):

   • Formulação: $R_{CME} = \text{Execução} \times (w_1 + w_2 \times \text{Consistência})$
   • Lógica: A execução da instrução é uma condição necessária. Se a execução for baixa, a recompensa total permanece suprimida, independentemente da consistência. Isso impede que o modelo "preguiçoso" mantenha a imagem original inalterada para maximizar a consistência.

2. Para Geração (QMA - Quality-Modulated Alignment):

   • Formulação: $R_{QMA} = \text{Aderência} \times (w_1 + w_2 \times \text{Qualidade})$
   • Lógica: Garante que a qualidade da imagem seja uma restrição. Evita que o modelo gere sombras pretas ou formas básicas que satisfazem o texto, mas não têm fidelidade visual.

3. Principais Contribuições

1. Framework FIRM: Um ecossistema completo que inclui pipelines de dados personalizados ("Difference-first" e "Plan-then-score"), datasets de alta qualidade (FIRM-Edit-370K e FIRM-Gen-293K) e modelos de recompensa especializados.
2. FIRM-Bench: Um benchmark abrangente e totalmente anotado por humanos que demonstra que os modelos FIRM superam MLLMs de uso geral e modelos proprietários na alinhamento com o julgamento humano.
3. Novas Formulações de Recompensa: A estratégia "Base-and-Bonus" (CME e QMA) que mitiga eficazmente o reward hacking e equilibra objetivos concorrentes (ex: edição vs. preservação de contexto).
4. Modelos Otimizados: Treinamento e lançamento de FIRM-Qwen-Edit e FIRM-SD3.5, que demonstram ganhos substanciais de desempenho.

4. Resultados Experimentais

• Avaliação no FIRM-Bench:

  • Edição: O FIRM-Edit-8B alcançou o menor Erro Absoluto Médio (MAE) geral (0.62), superando o GPT-5 (0.67) e todos os modelos open-source de grande porte (como Qwen3-VL-235B).
  • Geração: O FIRM-Gen-8B alcançou um MAE de 0.51, superando o GPT-5 (0.52) e o Qwen3-VL-32B (0.54), demonstrando que um modelo menor e especializado supera modelos maiores e genéricos.

• Desempenho via RL:

  • Edição (FIRM-Qwen-Edit): Alcançou um novo estado da arte (SOTA) de 7.84 no GEditBench e 4.42 no ImgEdit. O modelo treinado com FIRM superou significativamente o uso de modelos genéricos (Qwen3-VL) como críticos, que mostraram ganhos marginais ou até regressão.
  • Geração (FIRM-SD3.5): Superou modelos pesados como BAGEL e OmniGen2 em benchmarks complexos (GenEval, DPGBench, TIIF), especialmente em prompts longos e composicionalmente complexos.

• Análise de Curvas de Recompensa:

  • As curvas mostram que o FIRM evita o colapso de recompensa. Em edição, o FIRM-Edit-8B atribui pontuações mais realistas (mais baixas para falhas sutis) do que os modelos genéricos, que tendem a dar pontuações artificialmente altas. Em geração, o FIRM-Gen-8B penaliza corretamente a falta de fidelidade visual que os modelos genéricos ignoram.

5. Significado e Conclusão

O trabalho FIRM estabelece um novo padrão para a fidelidade e adesão a instruções em modelos generativos de imagem. A principal lição do artigo é que críticos robustos e específicos para a tarefa são indispensáveis para o sucesso do Aprendizado por Reforço em visão computacional.

Ao demonstrar que pipelines de curadoria de dados inteligentes (como decompor a tarefa de avaliação em etapas de "diferença" e "planejamento") e formulações de recompensa matematicamente estruturadas podem superar modelos de linguagem multimodal massivos e genéricos, o FIRM oferece uma via escalável e eficiente para alinhar modelos de geração de imagem com as expectativas humanas complexas. Todos os dados, modelos e códigos foram disponibilizados publicamente.