💻 computer science

Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation

Este artigo introduz um framework de dois ramos aprimorado por uma estratégia de Escalonamento de Equilíbrio Dinâmico (DBS) para resolver o compromisso entre fidelidade facial e consistência de aparência geral na geração personalizada de imagens de pessoas, juntamente com o lançamento do benchmark Pexels-100 para avaliação holística de identidade.

Autores originais: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um diretor em um estúdio de cinema, mas, em vez de contratar atores, você tem uma câmera mágica que pode conjurar qualquer personagem que você descrever. Você quer um herói que se pareça exatamente com seu melhor amigo — o mesmo sorriso, os mesmos olhos, o mesmo nariz excêntrico — mas vestindo um traje espacial em Marte, ou talvez montando um dragão em uma floresta medieval. Este é o sonho da "geração de imagem personalizada". Por muito tempo, os artistas de IA tiveram que escolher entre duas opções frustrantes: ou fazer o personagem ter exatamente o rosto do seu amigo, mas esquecer o que ele estava vestindo ou como era seu corpo; ou vesti-lo com a roupa e a pose perfeitas, mas acabar com o rosto de um estranho. Era como tentar assar um bolo onde você conseguia deixar a cobertura perfeita ou a massa perfeita, mas nunca as duas ao mesmo tempo. Este artigo mergulha nesse canto específico da inteligência artificial, abordando o problema complicado de manter o "eu completo" de uma pessoa consistente — seu rosto e também todo o seu traje e estilo — quando a IA é solicitada a colocá-la em novas situações.

Os pesquisadores por trás deste estudo, liderados por Yuxuan Xiao e colegas, decidiram parar de escolher lados. Eles começaram construindo um sistema de "Dual-Branch Ingênuo" (Naive Dual-Branch), que é essencialmente uma rodovia de duas faixas para a IA. Uma faixa foca no quadro geral (as roupas, o formato do corpo, o penteado) e a outra faixa dá um zoom nos detalhes minúscios do rosto. Eles descobriram que, embora essa abordagem de duas faixas fosse um bom começo, era um pouco caótica. A "faixa do rosto" estava dirigindo rápido demais e assumindo o controle de todo o carro, enquanto a "faixa da aparência" estava se perdendo no espelho retrovisor. O resultado? Rostos ótimos, mas as roupas às vezes se transformavam em algo estranho, ou o formato do corpo ficava esmagado.

Para consertar esse congestionamento, a equipe inventou um sistema de controle de tráfego inteligente chamado Escalonamento de Equilíbrio Dinâmico (DBS). Pense nele como um maestro inteligente para uma orquestra. O maestro usa dois truques principais. Primeiro, eles usam o Portão Temporal Adaptativo (Adaptive Temporal Gating), que é como um interruptor de intensidade (dimmer) que altera o volume dos músicos do rosto e do corpo em diferentes momentos da música. No início do processo, o maestro pode deixar o rosto tocar uma melodia constante e confiável para estabelecer a identidade, mas conforme a música progride, eles aumentam suavemente o volume do corpo e das roupas para que não sejam abafados. Segundo, eles introduziram a Otimização Consciente de Região (Region-Aware Optimization). Imagine que a IA está pintando um quadro e, normalmente, ela pinta toda a tela com a mesma pressão de pincel. Esse novo truque diz à IA: "Ei, seja super cuidadoso e preciso ao pintar o rosto, mas não esqueça de dar atenção igual às roupas e ao fundo". Isso garante que a IA não fique obcecada pelos olhos e ignore a camisa.

A equipe testou seu novo método em um benchmark personalizado que criaram chamado Pexels-100, que apresenta 100 imagens de corpo inteiro diferentes para ver o quão bem a IA consegue manter a identidade de uma pessoa intacta em várias cenas. Os resultados foram promissores. O método deles conseguiu alcançar um equilíbrio muito melhor do que outras ferramentas de código aberto, mantendo o rosto reconhecível enquanto também garantia que as roupas e o corpo parecessem corretos. Na verdade, a abordagem deles teve um desempenho tão bom que chegou a rivalizar com alguns sistemas comerciais caros de código fechado. No entanto, os autores fazem questão de notar que isso ainda não é uma varinha mágica para todos os problemas. Se você pedir à IA para desenhar uma pessoa fazendo um salto acrobático complexo ou mostrando movimentos intrincados das mãos, a imagem ainda pode ficar um pouco instável ou distorcida, porque o modelo de IA subjacente ainda tem dificuldades com essas estruturas físicas complicadas. Mas, para a maioria dos cenários cotidianos, este novo "maestro" ajuda a IA a finalmente cantar em harmonia, mantendo a pessoa inteira parecendo ela mesma, e não apenas o seu rosto.

Resumo Técnico: Além da Consistência Facial: Geração de Imagens de Pessoas Personalizadas com Preservação de Identidade Holística

Declaração do Problema
A geração de imagens de pessoas personalizadas visa sintetizar imagens que correspondam à identidade de um usuário com base em uma imagem de referência e comandos de texto (prompts). Os métodos atuais enfrentam um compromisso fundamental: eles tipicamente enfatizam ou a consistência do sujeito (preservando a aparência global, vestuário e forma corporal) ou a consistência facial (preservando a estrutura e detalhes faciais locais), mas raramente ambos simultaneamente. As abordagens existentes frequentemente sofrem de instabilidade ao tentar combinar ambos, levando a cenários onde a identidade facial é preservada às custas da aparência geral, ou vice-versa. Esse desequilíbrio surge dos espaços de representação heterogêneos e dos mecanismos de injeção de diferentes ramos de identidade, que causam interações descoordenadas e a persistente super-dominância do ramo facial durante o processo de denoising (redução de ruído).

Metodologia
Os autores propõem um framework unificado construído sobre o backbone de transformer de difusão FLUX.1-dev, introduzindo um baseline de Ramo Duplo Ingênuo (NDB - Naive Dual-Branch) e refinando-o com uma estratégia de ajuste fino de Escalonamento de Equilíbrio Dinâmico (DBS - Dynamic Balancing Scaling).

Baseline de Ramo Duplo Ingênuo (NDB):
O framework integra dois caminhos de condicionamento distintos:
- Ramo de Aparência: Baseado no InstantCharacter [23], este ramo captura pistas de identidade global (penteado, proporção corporal, vestuário) usando características fundidas de DINOv2 e SigLIP projetadas via um Q-Former e injetadas via atenção cruzada (cross-attention).
- Ramo Facial: Baseado no InfiniteYou [10], este ramo foca na geometria e textura facial detalhadas usando um codificador facial pré-treinado, injetado via um caminho residual do tipo ControlNet.
  Embora essa combinação produza resultados promissores, ela exibe instabilidade onde o ramo facial domina a geração, levando a uma aparência inconsistente.
Escalonamento de Equilíbrio Dinâmico (DBS):
Para coordenar os dois ramos e mitigar a dominância do ramo facial, o DBS introduz dois componentes complementares:
- Portão Temporal Adaptativo (ATG - Adaptive Temporal Gating): Um mecanismo consciente do tempo que modula dinamicamente a força de contribuição dos ramos de aparência e facial ao longo da trajetória de denoising. O ramo facial serve como uma âncora de referência estável, enquanto a contribuição do ramo de aparência é progressivamente relaxada em relação a esta âncora. Isso evita a otimização instável no início do treinamento e garante uma orientação equilibrada através de diferentes passos de tempo (timesteps).
- Otimização Consciente de Região (RAO - Region-Aware Optimization): Uma função de perda projetada para abordar o desequilíbrio espacial. Como as regiões faciais são pequenas e as regiões de aparência são grandes, o MSE (Erro Quadrático Médio) global padrão fornece supervisão uniforme que falha em otimizar regiões específicas de forma eficaz. O RAO decompõe o erro de denoising em três objetivos regionais: facial ( $L_f$ ), aparência ( $L_a$ ) e global ( $L_g$ ). Ele emprega uma agregação estilo Pareto guiada por referência, onde as perdas facial e de aparência são ativadas apenas quando apresentam desempenho inferior em relação a uma referência de média móvel exponencial (EMA), enquanto a perda global permanece como um objetivo de fundo persistente. Isso protege as pistas de identidade específicas de cada região sem permitir que um único ramo domine a trajetória de otimização.

Principais Contribuições

Método de Ramo Duplo Ingênuo (NDB): A proposta de modelar explicitamente a aparência e as características faciais locais separadamente dentro de um framework de geração compartilhado para abordar a consistência de identidade holística.
Escalonamento de Equilíbrio Dinâmico (DBS): Uma estratégia de ajuste fino composta por Portão Temporal Adaptativo e Otimização Consciente de Região. Esta estratégia atenua a manutenção insuficiente da consistência holística causada pela forte dominância de sinal no baseline NDB, alcançando um melhor equilíbrio entre fidelidade facial e consistência de aparência.
Benchmark Pexels-100: A construção do primeiro benchmark de teste especificamente para avaliar a consistência de identidade holística na geração de imagens de pessoas personalizadas, utilizando imagens de corpo inteiro e comandos de texto para avaliar o desempenho em dimensões faciais e de aparência.

Resultados Experimentais
O método foi avaliado no benchmark Pexels-100 utilizando métricas incluindo Similaridade Facial (ArcFace), Reidentificação de Pessoa (ReID), pontuação DINOv2 e CLIP-T.

Desempenho Quantitativo: O método proposto supera os baselines de código aberto existentes (ex: InstantCharacter, InfiniteYou, UNO, Kontext) em consistência de identidade holística. Especificamente, alcança uma Pontuação Facial de 0,7875 e uma pontuação DINOv2 de 0,3202, superando a maioria dos modelos de código aberto e permanecendo competitivo com sistemas comerciais de código fechado (ex: GPT-Image-2).
Desempenho Qualitativo: Comparações visuais demonstram que, enquanto alguns métodos se destacam em similaridade facial ou consistência de vestuário, o método proposto mantém um equilíbrio mais favorável, preservando tanto a identidade facial quanto a coerência da aparência geral em diversos cenários.
Estudos de Ablação: Experimentos confirmam que tanto o ATG quanto o RAO contribuem para as melhorias de desempenho. O modelo DBS completo alcança a melhor consistência holística, validando que os componentes são complementares em vez de redundantes.

Significância e Alegações
O artigo afirma fornecer um framework básico controlável para modelagem de identidade holística. Ao abordar o compromisso inerente entre fidelidade facial e consistência de aparência, o método proposto oferece uma abordagem mais estável e interpretável para a geração de pessoas personalizadas em comparação com as soluções de código aberto existentes. Os autores enfatizam que sua abordagem não visa maximizar a similaridade facial isoladamente, mas sim melhorar a coerência de toda a representação da identidade. Embora o método dependa de modulação baseada em portões (gating) sem alterar o aprendizado de características subjacente do backbone (limitando seu desempenho em poses complexas ou estruturas finas como mãos), ele estabelece um passo significativo para unificar restrições de identidade global e local na geração de imagens baseada em difusão.

Mais como este