Resumo Técnico: DivRL – Recompensas de Autossimilaridade Desentrelaçadas para Geração de Diversos Sujeitos

1. Declaração do Problema: O Paradoxo Identidade-Diversidade

A geração de imagens orientada por sujeitos visa sintetizar novas imagens de um sujeito específico enquanto preserva sua identidade visual em diversos contextos, poses e estilos. Apesar da fidelidade dos modelos recentes baseados em difusão, existe uma tensão fundamental conhecida como o "Paradoxo Identidade-Diversidade."

• O Conflito: Modelos que impõem fortemente a preservação da identidade frequentemente colapsam na geração de imagens quase duplicatas da referência, exibindo poses, pontos de vista e expressões rígidas. Por outro lado, métodos que incentivam a diversidade estrutural frequentemente sofrem de "deriva de identidade" (identity drift), onde o sujeito gerado perde suas características definidoras.
• Causa Raiz: Este paradoxo surge porque os atributos visuais que definem a identidade estão emaranhados com a estrutura espacial na imagem de referência. Quando os modelos tentam preservar a identidade, eles inadvertidamente preservam a informação estrutural emaranhada, reduzindo a diversidade. Quando tentam alterar a estrutura, correm o risco de modificar atributos que definem a identidade.
• Limitações das Recompensas Atuais: As recompensas baseadas em identidade existentes frequentemente incentivam a mimetização estrutural, pois os modelos podem maximizar as pontuações de identidade reproduzindo a configuração espacial exata da referência, em vez de explorar variações inéditas e consistentes com a identidade.

2. Metodologia: Framework DivRL

Os autores propõem o DivRL, um framework de pós-treinamento baseado em Aprendizado por Reforço (especificamente Flow-GRPO) que otimiza conjuntamente a consistência de identidade e a diversidade estrutural. A inovação central reside no desentranhamento desses objetivos através de designs de recompensa específicos e uma estratégia de otimização "Explorar-e-Suprimir" (Explore-and-Suppress).

2.1 Design de Recompensa

O framework utiliza dois sinais de recompensa distintos derivados de características visuais desentrançadas (especificamente usando as características visuais MTG de um modelo de similaridade robusto):

1. Correspondência Semântica Visual (VSM) para Consistência de Identidade:

   • A VSM avalia a preservação da identidade computando matrizes de similaridade semântica e visual entre a imagem de referência e as imagens geradas.
   • Ela identifica regiões semanticamente consistentes (onde a similaridade semântica excede um limiar $\tau_s$) e avalia a consistência visual dentro dessas regiões.
   • Uma pontuação VSM mais alta indica uma melhor preservação da identidade do sujeito sob condições variadas.

2. Medida de Autossimilaridade Negativa (nSSM) para Diversidade Estrutural:

   • Ao contrário das métricas de diferença de características globais, a nSSM quantifica a diversidade analisando as relações internas das características visuais.
   • Ela computa Matrizes de Autossimilaridade (SSM) para as grades de características visuais tanto da imagem de referência quanto das imagens geradas. Essas matrizes capturam a organização espacial intrínseca das partes do objeto.
   • A nSSM é definida como $1 - \rho$, onde $\rho$ é o coeficiente de correlação de Pearson entre as SSMs da referência e das imagens geradas.
   • Lógica: Uma alta correlação implica layouts estruturais semelhantes (baixa diversidade), enquanto uma correlação menor corresponde a contextos estruturalmente diversos (por exemplo, diferentes poses ou pontos de vista). Maximizar a nSSM incentiva o modelo a explorar configurações estruturalmente diferentes.
   • Estabilização: Para evitar artefatos de textura de alta frequência (uma forma de reward hacking onde o modelo imita correlações locais sem mudar a estrutura global), as características visuais são subamostradas via average pooling de $2\times2$ antes de computar a SSM.

2.2 Estratégia de Otimização: "Explorar-e-Suprimir"

Otimizar diretamente ambos os objetivos simultaneamente via ponderação linear leva a um treinamento instável e ao reward hacking. Em vez disso, o DivRL emprega uma estratégia de otimização de portão de dois estágios:

• Estágio 1 (Explorar): O modelo é treinado usando a nSSM como recompensa única. Isso incentiva o modelo a explorar livremente o espaço latente e gerar configurações estruturalmente diversas, quebrando a rigidez do modelo pré-treinado.
• Estágio 2 (Suprimir): O modelo é treinado usando uma formulação de recompensa com portão (gated reward formulation).
  • A VSM atua como uma restrição (portão).
  • Se a pontuação VSM de uma amostra estiver acima de um limiar $s$, ela recebe a recompensa nSSM.
  • Se a pontuação VSM estiver abaixo de $s$, uma penalidade de perda de dobradiça quadrática é aplicada: $R = \text{nSSM} - \lambda(s - \text{VSM})^2$.
  • Efeito: Isso converte a preservação da identidade de um objetivo concorrente para uma restrição de viabilidade. O modelo é livre para explorar estruturas diversas, desde que permaneçam dentro da região de consistência de identidade. Isso desacopla a otimização, permitindo que tanto a nSSM quanto a VSM melhorem conjuntamente sem que os gradientes de uma destruam a outra.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Métrica nSSM: A introdução da Medida de Autossimilaridade Negativa, uma métrica de espaço de características que quantifica a diversidade estrutural analisando as correlações de autossimilaridade de características visuais desentrançadas, em vez de diferenças de características globais.
2. Estratégia Explore-and-Suppress: Uma abordagem de otimização inovadora que desacopla a exploração de diversidade da preservação de identidade usando uma formulação de recompensa com portão, transformando efetivamente a preservação de identidade em uma restrição em vez de um objetivo conflitante.
3. Validação Empírica: Demonstração no benchmark DreamBench++ utilizando o backbone Flux-Kontext, mostrando que o método melhora a diversidade estrutural enquanto mantém uma consistência de identidade competitiva. Os autores observam que a formulação nSSM e a otimização de dois estágios são agnósticas ao backbone.

4. Resultados Experimentais

O método foi avaliado no benchmark DreamBench++ (150 identidades, 9 prompts cada) contra fortes baselines incluindo Flux-IP-Adapter, OmniGen, OmniGen2, UNO e PaCo-RL.

• Desempenho Quantitativo:

  • Equilíbrio: O DivRL alcança um equilíbrio superior entre consistência de identidade e diversidade estrutural em comparação aos baselines. Enquanto otimizar apenas para VSM melhora a consistência mas prejudica a diversidade, e a nSSM sozinha melhora a diversidade mas prejudica a consistência, a abordagem combinada mantém alta consistência (comparável ao Flux-Kontext) enquanto aumenta significativamente as métricas de diversidade (MTG-nSSM, DINO-nSSM).
  • Seguimento de Prompt: Curiosamente, o método melhora o alinhamento com o prompt. Os autores atribuem isso à relaxação da "rigidez geométrica" induzida pelo pré-treinamento; ao incentivar a diversidade estrutural, o modelo adapta o sujeito de forma mais eficaz às instruções contextuais do prompt.
  • Troca Consistência vs. Diversidade: Gráficos de Razão de Consistência vs. Diversidade-sobre-Consistência mostram que o DivRL ocupa a região de alta utilidade onde ambos os objetivos coexistem, superando combinações lineares de recompensas que falham em melhorar ambos simultaneamente.

• Observações Qualitativas:

  • Baselines como Flux-Kontext e PaCo-RL frequentemente produzem saídas rígidas ou falham em seguir interações de prompt (por exemplo, falhar em colocar um sujeito em uma cena específica).
  • Outros modelos (por exemplo, OmniGen) produzem saídas diversas, mas sofrem de deriva de identidade.
  • O DivRL gera com sucesso imagens com poses, pontos de vista e expressões variadas, mantendo detalhes visuais finos do sujeito de referência.

5. Significância e Limitações

Significância:
O artigo identifica a mimetização estrutural como um modo de falha crítico nos métodos existentes de geração orientada por sujeitos. Ao separar explicitamente a diversidade estrutural da preservação de identidade, o DivRL resolve o Paradoxo Identidade-Diversidade. A estratégia "Explore-and-Suppress" demonstra que tratar a identidade como uma restrição de viabilidade, em vez de um objetivo concorrente, permite que os modelos explorem espaços latentes de alta qualidade onde identidade e novidade coexistem.

Limitações:
Os autores reconhecem modestamente algumas restrições:

• Escopo da Métrica: A métrica de diversidade (nSSM) foca em variações estruturais (pose, ponto de vista) e pode não capturar totalmente diversidades semânticas de nível superior ou mudanças composicionais complexas.
• Custo Computacional: A dependência de Aprendizado por Reforço para pós-treinamento introduz um overhead computacional adicional em comparação com métodos puramente feed-forward.
• Restrições de Entrada: O modelo base (Flux-Kontext) aceita uma única imagem de referência, o que pode limitar a eficácia quando a referência contém pistas de identidade ambíguas ou oclusões complexas.

O artigo conclui que trabalhos futuros poderiam abordar essas limitações através de métricas de diversidade mais ricas, estratégias de otimização mais eficientes e condicionamento de múltiplas referências.