Ar2Can: An Architect and an Artist Leveraging a Canvas for Multi-Human Generation

Título: Ar2Can: Um Arquiteto e um Artista Utilizando uma Tela para Geração Multi-Humana

1. O Problema

Apesar dos avanços recentes em modelos de geração de imagens personalizados (text-to-image), os modelos existentes falham sistematicamente ao gerar cenas com múltiplos humanos distintos. As principais falhas incluem:

• Fusão de Identidades: Faces de diferentes pessoas se misturam ou tornam-se indistinguíveis.
• Duplicação: A mesma face é gerada em múltiplos locais.
• Contagem Incorreta: O número de pessoas na imagem não corresponde ao solicitado no prompt.
• Limitações Atuais: Métodos baseados em condicionamento regional exigem anotações espaciais manuais (limitando a usabilidade), enquanto abordagens de preservação de identidade funcionam bem para um único sujeito, mas falham na composição de múltiplas identidades.

O cerne do problema é que os modelos atuais tentam raciocinar simultaneamente sobre "onde" as pessoas devem estar (layout espacial) e "como" elas devem parecer (renderização de identidade) em um único processo de geração, o que leva a conflitos estruturais.

2. Metodologia: A Framework Ar2Can

O Ar2Can propõe uma abordagem de duas etapas que desacopla o planejamento espacial da renderização de identidade, utilizando uma metáfora de "Arquiteto" e "Artista" trabalhando sobre uma "Tela" (Canvas).

A. O Arquiteto (Planejamento Espacial)

O módulo Arquiteto gera um plano espacial estruturado (caixas delimitadoras e, opcionalmente, poses) baseado no prompt de texto e nas imagens de referência. O papel é definir onde cada pessoa deve aparecer antes da geração da imagem final.

• Arquiteto-A (Baseado em LLM): Utiliza o modelo Qwen-2.5 (0.5B) com Supervised Fine-Tuning (SFT). É especializado em compreensão linguística para garantir a contagem exata de pessoas e gerar coordenadas de caixas delimitadoras de forma autoregressiva.
• Arquiteto-B (Baseado em T2I): Utiliza o modelo Flux-Schnell ajustado via Reinforcement Learning (RL). É especializado em gerar layouts espaciais plausíveis e poses naturais, aproveitando seus priores espaciais 2D, embora possa ter uma contagem ligeiramente menos precisa que o Arquiteto-A.

B. O Artista (Renderização de Identidade)

O módulo Artista (baseado no modelo Flux-Kontext) sintetiza a imagem fotorealista condicionada ao plano espacial do Arquiteto, ao prompt de texto e às imagens de referência.

• Treinamento via RL (GRPO): O Artista é treinado usando Group Relative Policy Optimization (GRPO). Em vez de fine-tuning supervisionado (que exigiria dados massivos e anotados), o modelo é otimizado diretamente para maximizar recompensas compostas.
• Recompensas Compostas:
  1. Correspondência de Face Baseada em Centroides (Hungarian Matching): Em vez de exigir que a face gerada esteja em coordenadas exatas (o que causa artefatos de "copiar e colar"), o sistema usa o algoritmo Húngaro para corresponder os centroides das caixas previstas pelo Arquiteto às faces detectadas na imagem gerada. Em seguida, calcula a similaridade de identidade (usando ArcFace) entre a referência e a face correspondente.
  2. Precisão da Contagem: Recompensa a correspondência exata entre o número de pessoas solicitadas e detectadas.
  3. Alinhamento com Prompt e Qualidade: Utiliza o HPSv3 (Human Preference Score) para garantir qualidade estética e aderência ao texto.
  4. Correção de Pose: Recompensa poses frontais naturais para evitar artefatos rígidos.

C. Estratégias de Otimização e Dados

• Compartilhamento e Descarte de Tokens: Para reduzir o custo computacional e lidar com oclusões, o modelo descarta tokens de áreas vazias e compartilha codificações posicionais (RoPE) em regiões sobrepostas. Isso ensina o modelo a resolver conflitos de profundidade e oclusão de forma natural, em vez de apenas colar identidades no mesmo local.
• Curriculum Learning: O treinamento começa com cenas de 2-3 pessoas e gradualmente aumenta para grupos maiores (até 7), estabilizando o aprendizado inicial.
• Dados Sintéticos: Um diferencial crucial é que o Ar2Can é treinado principalmente com dados sintéticos (gerados por DisCo) combinados com rostos de referência reais. Isso elimina a necessidade de grandes conjuntos de dados proprietários de fotos de grupos reais, que são raros e difíceis de obter.

3. Principais Contribuições

1. Desacoplamento Arquitetônico: Introdução de uma framework de duas etapas que separa o planejamento espacial (Arquiteto) da renderização de identidade (Artista), resolvendo o problema de fusão de identidades.
2. Métodos de Recompensa Espacialmente Fundamentados: Proposição de uma recompensa de correspondência de face baseada no algoritmo Húngaro e centroides, que permite flexibilidade espacial enquanto mantém a fidelidade da identidade.
3. Treinamento com Dados Sintéticos: Demonstração de que é possível alcançar estado da arte (SOTA) em geração multi-humana sem depender de grandes datasets reais de grupos, utilizando dados sintéticos híbridos.
4. Eficiência: Uso de estratégias de compartilhamento de tokens que reduzem o tempo de inferência em 2x e permitem o tratamento automático de oclusões.
5. Versatilidade: Suporte a duas variantes de Arquiteto (focadas em precisão de contagem vs. qualidade espacial) para diferentes cenários de implantação.

4. Resultados

O método foi avaliado no benchmark MultiHuman-Testbench e no Multi-ID-Test, superando significativamente métodos proprietários (como GPT-Image-1, Nanobanana) e de código aberto (OmniGen, XVerse, WithAnyone).

• Precisão de Contagem: O Ar2Can (com Arquiteto-A) alcançou 90.2% de precisão, superando todos os baselines.
• Preservação de Identidade: O Ar2Can (com Arquiteto-B) alcançou a melhor pontuação de Multi-ID (68.2), superando o segundo melhor método de código aberto (MH-OmniGen) por 13.7 pontos.
• Qualidade Perceptual: Mantém pontuações HPS (Human Preference Score) competitivas (30.8), indicando alta qualidade fotorealista.
• Equilíbrio: Diferente de outros métodos que trocam identidade por alinhamento ao prompt (ou vice-versa), o Ar2Can otimiza ambos simultaneamente.
• Latência: Compartilhamento de tokens permite que o Ar2Can gere imagens de alta qualidade em ~15.5 segundos (em GPU A100), sendo significativamente mais rápido que métodos concorrentes que levam 50-80 segundos.

5. Significado e Impacto

O Ar2Can representa um avanço fundamental na geração de imagens de grupos, resolvendo um dos problemas mais persistentes na área: a consistência de múltiplas identidades em um único cenário.

• Viabilidade Prática: Ao não depender de dados reais de grupos (que são escassos e problemáticos para privacidade), o método oferece um caminho escalável para aplicações comerciais.
• Arquitetura Modular: A separação entre "onde" e "quem" permite que diferentes modelos de linguagem ou difusão sejam plugados como Arquitetos ou Artistas, facilitando atualizações futuras.
• Qualidade vs. Controle: O trabalho demonstra que é possível ter controle espacial rigoroso sem sacrificar a qualidade fotorealista ou a fidelidade da identidade, estabelecendo um novo padrão para benchmarks de geração multi-humana.

Em resumo, o Ar2Can oferece uma solução robusta, eficiente e de alta qualidade para a geração de cenas com múltiplas pessoas, superando as limitações das abordagens end-to-end atuais através de uma decomposição inteligente do problema e treinamento avançado por reforço.