PaCo-RL: Advancing Reinforcement Learning for Consistent Image Generation with Pairwise Reward Modeling

Título: PaCo-RL: Avançando a Aprendizagem por Reforço para Geração Consistente de Imagens com Modelagem de Recompensa em Pares

1. O Problema

A geração consistente de imagens (manter identidades, estilos e coerência lógica entre múltiplas imagens geradas a partir de um mesmo prompt ou contexto) é crucial para aplicações como contação de histórias, design de personagens e publicidade. No entanto, a abordagem tradicional de treinamento supervisionado enfrenta dois obstáculos principais:

1. Falta de Dados: A escassez de conjuntos de dados em grande escala que capturem especificamente a consistência visual.
2. Complexidade de Modelagem: A dificuldade de modelar as preferências humanas subjetivas e complexas sobre consistência visual apenas com dados rotulados.

Embora a Aprendizagem por Reforço (RL) tenha mostrado potencial para alinhar modelos generativos às preferências humanas, sua aplicação na geração consistente de imagens ainda é um desafio devido à ausência de:

• Um Modelo de Recompensa (RM) adequado que avalie especificamente a consistência (a maioria dos RMs existentes foca apenas em estética ou alinhamento texto-imagem).
• Um Algoritmo de RL eficiente, já que a geração de múltiplas imagens de alta resolução é computacionalmente proibitiva e o treinamento com múltiplas recompensas tende a ser instável (dominância de uma recompensa sobre as outras).

2. Metodologia: PaCo-RL

O artigo propõe o PaCo-RL, um framework abrangente que combina um modelo de recompensa especializado e um algoritmo de RL otimizado. A solução divide-se em dois componentes principais:

A. PaCo-Reward (Modelo de Recompensa)

Para superar a falta de modelos de avaliação de consistência, os autores criaram:

• PaCo-Dataset: Um conjunto de dados em grande escala (54.624 pares de imagens) construído através de uma pipeline automatizada de síntese de dados. Eles geraram grades de imagens consistentes e aplicaram uma estratégia de "combinação de sub-figuras" para criar pares de comparação. Os dados foram anotados por humanos com rankings de consistência e enriquecidos com raciocínios do tipo Chain-of-Thought (CoT) gerados por IA.
• Arquitetura Generativa: Ao invés de usar uma cabeça de regressão para prever um score escalar (o que é incompatível com a natureza de predição de tokens de modelos de linguagem visual - VLMs), o PaCo-Reward reformula a avaliação como uma tarefa generativa. O modelo recebe dois pares de imagens e um prompt, e deve gerar uma resposta binária ("Sim" ou "Não") seguida de um raciocínio. A probabilidade do token "Sim" serve como a pontuação de consistência.
• Objetivo de Treinamento: Utiliza uma função de perda ponderada que equilibra a precisão da decisão binária com a qualidade do raciocínio (CoT), melhorando a generalização e a interpretabilidade.

B. PaCo-GRPO (Algoritmo de RL)

Para otimizar a geração consistente de forma eficiente e estável, o PaCo-RL introduz duas estratégias inovadoras baseadas no algoritmo GRPO (Group Relative Policy Optimization):

1. Treinamento com Desacoplamento de Resolução (Resolution-Decoupled Training):
   • O modelo treina com imagens de baixa resolução (ex: 512x512) para calcular as recompensas e atualizar a política, mas realiza a inferência (geração final) em alta resolução (ex: 1024x1024).
   • Isso reduz drasticamente o custo computacional (o custo escala quadraticamente com a resolução em arquiteturas Transformer) sem comprometer a qualidade final, pois sinais de recompensa de baixa qualidade ainda são informativos para o RL.
2. Agregação de Múltiplas Recompensas "Log-Tamed" (Log-Tamed Multi-reward Aggregation):
   • Para evitar que uma única recompensa (ex: consistência) domine o processo de otimização e degrade outras métricas (ex: fidelidade ao prompt), o método aplica uma transformação logarítmica às recompensas que apresentam alta variância.
   • Isso comprime os valores extremos, mantendo a ordem relativa das amostras, mas impedindo que uma recompensa "hijacke" o treinamento, garantindo estabilidade e equilíbrio entre os objetivos.

3. Contribuições Principais

1. PaCo-Reward: Um novo modelo de recompensa baseado em pares (pairwise) que supera os modelos existentes (como CLIP, DreamSim e outros VLMs) na correlação com preferências humanas sobre consistência visual.
2. PaCo-GRPO: Um algoritmo de RL que resolve os gargalos de eficiência e estabilidade, permitindo o treinamento de modelos para geração de conjuntos de imagens consistentes de forma prática.
3. PaCo-Dataset: Um novo benchmark e conjunto de dados anotados por humanos focados especificamente em padrões de consistência visual (identidade, estilo e lógica).
4. Estratégias de Otimização: A demonstração de que o treinamento em baixa resolução com inferência em alta resolução e a agregação logarítmica de recompensas são técnicas viáveis e superiores para tarefas de RL em geração de imagens.

4. Resultados Experimentais

Os autores avaliaram o framework em duas tarefas representativas: Geração de Conjuntos de Imagens (Text-to-ImageSet) e Edição de Imagens (Image Editing).

• Desempenho do Modelo de Recompensa (PaCo-Reward):

  • No benchmark ConsistencyRank, o PaCo-Reward-7B superou todos os baselines (incluindo modelos proprietários como GPT-5 em algumas métricas) com ganhos de 8,2% a 15,0% na correlação com preferências humanas.
  • No EditReward-Bench, alcançou resultados comparáveis aos modelos fechados, superando todas as soluções de código aberto.

• Desempenho na Geração (PaCo-RL):

  • Consistência: Em tarefas de Text-to-ImageSet, o método alcançou ganhos absolutos de 10,3% a 11,7% nas métricas de consistência visual em comparação com os melhores baselines de código aberto (como AutoT2IS), fechando a lacuna com modelos proprietários (GPT-4).
  • Fidelidade: Ao contrário de outros métodos que melhoram a consistência às custas da qualidade estética ou do prompt, o PaCo-RL manteve ou melhorou a fidelidade ao prompt e a qualidade estética.
  • Eficiência: O uso de treinamento em baixa resolução reduziu o tempo de treinamento em aproximadamente 50% (de 12h para 6h em testes específicos) sem perda de desempenho final.
  • Estabilidade: A estratégia "Log-Tamed" manteve a razão entre as recompensas de consistência e alinhamento abaixo de 1,8, evitando a dominância de uma única métrica e prevenindo o colapso do modelo.

5. Significado e Impacto

O trabalho PaCo-RL representa um avanço significativo no campo da geração de imagens generativas. Ele demonstra que a Aprendizagem por Reforço, quando equipada com modelos de recompensa especializados e algoritmos de otimização eficientes, pode superar as limitações do treinamento supervisionado em tarefas complexas que exigem coerência visual de longo alcance.

A proposta oferece uma solução prática e escalável para problemas críticos em aplicações do mundo real, como a criação de personagens consistentes para jogos e filmes, storyboards para publicidade e edição de imagens precisa. Além disso, as técnicas de desacoplamento de resolução e agregação de recompensas podem ser aplicadas a outras áreas de RL em visão computacional, tornando o treinamento de modelos generativos mais acessível e eficiente.