Resolving the Identity Crisis in Text-to-Image Generation

Título: Resolvendo a Crise de Identidade na Geração de Imagens Texto-para-Imagem

Autores: Shubhankar Borse, Farzad Farhadzadeh, Munawar Hayat, Fatih Porikli (Qualcomm AI Research)
Método Proposto: DISCO (Reinforcement with Diversity Constraints)

---

1. O Problema: A "Crise de Identidade"

Os modelos de texto-para-imagem mais avançados (SOTA), baseados em difusão e flow-matching, sofrem de uma falha persistente ao gerar cenas com múltiplas pessoas: a crise de identidade.

• Sintomas:
  • Rostos Duplicados: Geração de múltiplas pessoas com rostos idênticos ou quase idênticos dentro da mesma imagem.
  • Fusão de Identidades: As identidades dos indivíduos se misturam, perdendo a individualidade.
  • Contagem Incorreta: O modelo falha em gerar o número exato de pessoas solicitado no prompt.
  • Colapso de Diversidade Global: Mesmo que uma imagem tenha rostos diferentes, ao gerar um grupo de imagens para o mesmo prompt, o modelo tende a repetir as mesmas identidades em todas as amostras.
• Impacto: Isso limita aplicações práticas como geração de dados sintéticos para treinamento de modelos de personalização, criação de conteúdo narrativo, simulações sociais e geração de personagens consistentes.

2. Metodologia: O Framework DISCO

O DISCO é um framework de Aprendizado por Reforço (RL) projetado para otimizar diretamente a diversidade de identidades, tanto dentro de uma única imagem quanto entre um grupo de imagens geradas para o mesmo prompt.

Arquitetura e Treinamento

• Base: O método faz fine-tuning em modelos de flow-matching (como Flux e Krea) utilizando o algoritmo GRPO (Group-Relative Policy Optimization).
• Vantagem do GRPO: Permite otimizar objetivos não diferenciáveis (como métricas de qualidade humana) sem a necessidade de um modelo de recompensa treinado separadamente, utilizando vantagens normalizadas por grupo para reduzir a variância.
• Curriculum Learning (Aprendizado de Currículo): Para lidar com a complexidade crescente, o treinamento utiliza um currículo de estágio único que começa com prompts simples (2-4 pessoas) e gradualmente se expande para cenários complexos (até 7 pessoas), estabilizando a convergência, especialmente em modelos especialistas.

Função de Recompensa Compositiva

O núcleo da inovação é uma função de recompensa composta por quatro componentes que guiam o GRPO:

1. Diversidade Intra-Imagem ($r^d_{img}$): Penaliza a similaridade facial dentro de uma única imagem. Garante que, se o prompt pede 5 pessoas, elas tenham rostos distintos.
2. Diversidade Inter-Amostras / Grupal ($r^d_{grp}$): Inovação Chave. Penaliza a repetição de identidades entre as imagens geradas para o mesmo prompt. O modelo calcula uma estatística contrafactual ("remover-um") para ver se uma imagem específica contribui para a diversidade global do grupo. Se uma imagem repete uma identidade comum no grupo, sua recompensa diminui.
3. Controle de Contagem ($r^c_{img}$): Garante que o número de rostos detectados corresponda exatamente ao número solicitado no prompt, prevenindo o "hacking de recompensa" (onde o modelo gera menos pessoas para evitar duplicatas).
4. Qualidade e Alinhamento ($r^q_{img}$): Utiliza o HPSv3 (Human Preference Score) para garantir que a imagem mantenha alta qualidade estética, alinhamento com o prompt e coerência visual, evitando artefatos (como rostos dispostos em grade artificial).

3. Contribuições Principais

1. Otimização Direta de Diversidade via RL: O DISCO é um dos primeiros métodos a usar RL para otimizar explicitamente a diversidade de identidades em geração de imagens, abordando tanto a unicidade intra-imagem quanto a diversidade inter-amostras.
2. Recompensa Grupal Contrafactual: A descoberta de que otimizar apenas a diversidade dentro da imagem não é suficiente (as duplicatas apenas migram para outras amostras). A recompensa grupal resolve esse colapso global.
3. Caracterização e Mitigação de "Reward Hacking": O trabalho identifica que a otimização de diversidade pode levar o modelo a gerar menos pessoas ou rostos em grades artificiais. O uso combinado de controle de contagem e recompensa de qualidade (HPS) mitiga esses comportamentos indesejados.
4. Aprendizado sem Anotações: O método não requer dados reais anotados ou pares de imagem-texto com identidades específicas; funciona puramente com prompts e recompensas computacionais.
5. Generalização de Atributos: Ao treinar apenas para diversidade facial, o modelo melhora incidentalmente a diversidade de roupas e tipos corporais, demonstrando uma compreensão mais ampla de "distinção entre indivíduos".

4. Resultados Experimentais

O DISCO foi avaliado em conjuntos de dados como DiverseHumans e MultiHuman-TestBench, comparado com modelos de código aberto (Flux, SD3.5, OmniGen2) e proprietários (GPT-Image-1, Gemini).

• Precisão de Rostos Únicos (UFA): O DISCO (baseado em Flux) atingiu 98.6% de UFA, superando significativamente o GPT-Image-1 (85.1%) e o Flux base (48.2%).
• Dispersão de Identidade Global (GIS): Alcançou 98.3%, indicando que quase todas as identidades geradas em um lote de imagens são únicas, contra 89.8% do GPT-Image-1.
• Precisão de Contagem: Melhorou de 70.8% (Flux base) para 92.4% (DISCO).
• Qualidade Perceptual: Mantém ou melhora as pontuações HPS (Human Preference Score), provando que a diversidade não sacrifica a qualidade visual.
• Escalabilidade: O desempenho permanece robusto mesmo com o aumento do número de pessoas (6-7 pessoas), onde os modelos base falham drasticamente.

5. Significado e Impacto

O trabalho resolve um gargalo fundamental na geração de imagens sintéticas: a incapacidade de criar multidões realistas e diversas.

• Solução Escalável: Oferece uma solução escalável e livre de anotações para a síntese de imagens com múltiplos humanos.
• Aplicações Práticas: Permite a criação de dados sintéticos de alta qualidade para treinar modelos de personalização, melhorar ambientes de simulação social e gerar conteúdo narrativo com personagens consistentes.
• Mudança de Paradigma: Demonstra que a otimização de RL, quando guiada por recompensas estruturadas que consideram o contexto global (grupo de amostras), pode corrigir falhas profundas de "colapso de modo" em modelos generativos, superando até mesmo sistemas proprietários de ponta.

Em resumo, o DISCO transforma modelos que tendem a "copiar e colar" rostos em geradores capazes de criar indivíduos distintos e diversos em escala, sem comprometer a qualidade da imagem ou a aderência ao prompt.