Resumo Técnico: Escalando a Geração de Imagens com Múltiplas Referências através da Otimização Dinâmica de Recompensa

Declaração do Problema

Embora a geração de imagens personalizada tenha avançado significativamente, a Geração de Imagens com Múltiplas Referências (MRIG - Multi-Reference Image Generation) continua sendo uma tarefa desafiadora. A MRIG exige a integração eficaz de múltiplas imagens de referência de tipos diversos (ex: sujeito, pose, estilo, iluminação, fundo) em um único resultado coerente. As pesquisas existentes são prejudicadas por duas limitações primárias:

1. Avaliação Insuficiente: Os benchmarks atuais focam tipicamente em tarefas simples com números limitados de imagens de referência ou tipos de referência únicos. Eles carecem da complexidade necessária para avaliar cenários que exigem a integração de inúmeras e diversas referências, e frequentemente dependem de métricas de grão grosso que falham em avaliar o desempenho através de tipos de referência específicos.
2. Degradação de Desempenho em Modelos de Código Aberto: Modelos mainstream de código aberto lutam em cenários complexos de MRIG. Embora performem adequadamente com poucas referências, seu desempenho deteriora-se rapidamente à medida que o número de imagens de referência de tipos mistos aumenta, criando um hiato significativo em comparação com modelos de código fechado de última geração (SOTA).

Metodologia: Framework DyRef

Para abordar esses desafios, os autores propõem o DyRef, um framework de treinamento de dois estágios projetado para escalar as capacidades de MRIG através da otimização dinâmica de recompensa.

Estágio I: Ajuste Fino Supervisionado (SFT)

O primeiro estágio equipa o modelo com capacidades básicas para lidar com tarefas complexas de MRIG.

• Baseline: Os autores utilizam o Qwen-Image-Edit-2511 (um backbone MMDiT de fluxo duplo) como o baseline de treinamento.
• Dados: Aproximadamente 14.000 amostras de treinamento são construídas usando um pipeline que gera imagens alvo via modelos de Texto-para-Imagem (T2I) e deriva as imagens de referência correspondentes (sujeito, fundo, estilo, iluminação, pose) utilizando modelos de segmentação e edição.
• Treinamento: O modelo é ajustado via LoRA com perda de Flow Matching para aprender o mapeamento fundamental entre entradas de múltiplas referências complexas e saídas alvo.

Estágio II: Otimização Dinâmica de Recompensa

O segundo estágio emprega Aprendizado por Reforço (especificamente Flow-GRPO) para alinhar o modelo com as preferências humanas e melhorar o desempenho em amostras difíceis. Este estágio introduz dois componentes inovadores:

1. Reponderação de Vantagem Sensível à Dificuldade (DAR - Difficulty-aware Advantage Reweighting):

   • Motivação: O treinamento padrão de RL tende a ser dominado por amostras mais simples (menos referências), enquanto amostras complexas (muitas referências de tipos mistos) recebem sinais de aprendizado insuficientes devido a pontuações de recompensa iniciais mais baixas.
   • Mecanismo: O DAR ajusta dinamicamente o objetivo de otimização ao atribuir pesos de grupo baseados na pontuação média de recompensa das amostras dentro de um grupo. Ele aumenta o peso de grupos com baixo desempenho (aqueles com numerosas referências de tipos mistos) para encorajar o modelo a focar nesses casos difíceis, enquanto evita o overfitting em amostras simples de alto desempenho.

2. Escalonamento Discriminativo de Recompensa (DRS - Discriminative Reward Scaling):

   • Motivação: Sinais de recompensa de encoders visuais padrão (ex: CLIP, SigLIPv2) frequentemente exibem uma distribuição estreita, onde amostras de alta qualidade e baixa qualidade recebem pontuações semelhantes, enfraquecendo os sinais de gradiente para atualizações de política.
   • Mecanismo: O DRS aplica uma função de transformação às pontuações de recompensa brutas para ampliar as diferenças de recompensa intra-grupo. Essa amplificação garante que amostras superiores recebam recompensas significativamente maiores do que as inferiores, facilitando uma otimização de política mais eficaz.

Sinais de Recompensa

O framework utiliza um sistema de recompensa híbrido:

• Alinhamento de Estilo: Utiliza CSD (uma métrica de similaridade de estilo) para guiar tarefas relacionadas ao estilo.
• Consistência Semântica: Utiliza SigLIPv2 (ou CLIP) para medir a consistência semântica entre as imagens geradas e as imagens alvo.

Principais Contribuições

1. OmniRef-Bench: Os autores introduzem um novo benchmark composto por 395 instâncias anotadas por especialistas cobrindo cinco tipos de referência (sujeito, fundo, estilo, iluminação, pose) e até quatro tipos de referência simultâneos. Ele apresenta uma estratégia de avaliação híbrida combinando métricas quantitativas objetivas e avaliações baseadas em Modelos de Linguagem de Grande Escala Multimodais (MLLM) com critérios detalhados para cada tipo de referência.
2. Framework DyRef: Uma abordagem de treinamento de dois estágios que consegue reduzir o hiato de desempenho entre modelos de código aberto e de código fechado em tarefas complexas de MRIG, integrando SFT com DAR e DRS.
3. Validação Empírica: Experimentos extensos demonstram que o DyRef melhora significativamente os modelos de código aberto no OmniRef-Bench e generaliza bem para benchmarks de edição de imagem única.

Resultados Experimentais

• Desempenho no OmniRef-Bench: O DyRef supera significativamente os modelos de código aberto existentes (ex: OmniGen2, DreamOmni2, BAGEL) em pelo menos 12% em métricas objetivas e 29% em avaliações de MLLM. Notavelmente, ele alcança resultados comparáveis aos modelos de código fechado SOTA como Nano Banana Pro e Seedream 4.5, destacando-se particularmente em métricas de estilo e pose.
• Generalização: O método melhora o desempenho em benchmarks de edição de imagem única (ImgEdit e DreamBench++), indicando que os aprimoramentos nas capacidades de múltiplas referências não comprometem as habilidades básicas de edição de imagem.
• Robustez: A abordagem mostra eficácia em diferentes escalas de modelos (testada em modelos de 9B e 20B parâmetros) e mantém o desempenho em tipos de referência não vistos.
• Estudo de Usuário: Um estudo com especialistas humanos confirma que a avaliação baseada em MLLM se alinha bem com as preferências humanas (correlação de Pearson de 0.9), e as imagens geradas pelo DyRef classificam-se alto contra os baselines de código fechado.

Significância e Alegações

O artigo afirma que a principal contribuição deste trabalho é abordar a crítica degradação de desempenho observada em modelos de código aberto conforme a complexidade e a contagem de referências aumentam. Ao introduzir o OmniRef-Bench, os autores fornecem uma ferramenta necessária para avaliar rigorosamente cenários complexos de MRIG, revelando as limitações dos métodos atuais. Através do DyRef, eles demonstram que a otimização dinâmica de recompensa (especificamente DAR e DRS) pode mitigar efetivamente a variância de desempenho através de diferentes escalas de referência.

Os autores posicionam seu trabalho como um passo para tornar a geração de imagens de múltiplas referências complexas e de alta fidelidade acessível via modelos de código aberto, o que é crucial para aplicações em design visual profissional e publicidade, onde a integração coerente de elementos visuais variados é essencial. Eles reconhecem que, embora o DyRef reduza o hiato significativamente, a MRIG complexa continua sendo um problema em aberto, particularmente no que diz respeito ao seguimento de instruções e ao desmembramento de características (feature disentanglement) em cenários extremos.