Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps

Título: Pro-Pose: Síntese de Retratos Corporais Completos Não Emparelhados via Mapas UV Canônicos

1. O Problema

A fotografia cotidiana ("in-the-wild") frequentemente apresenta condições descontroladas, como iluminação imperfeita, fundos bagunçados, poses arbitrárias e roupas complexas. Transformar essas imagens em avatares digitais controláveis e de alta fidelidade é um desafio significativo devido à escassez de dados de treinamento de alta qualidade.

• Limitações dos Métodos Atuais:
  • Métodos de Reposicionamento (Reposing): Técnicas existentes (como MCLD, LEFFA) dependem de pequenos conjuntos de dados emparelhados (ex: DeepFashion, com apenas ~100 identidades), levando a overfitting (sobreajuste), perda de identidade e incapacidade de generalizar para novas pessoas.
  • Virtual Try-On (VTO): Modelos de provação virtual geralmente preservam a pose original da pessoa e não a controlam. Além disso, as roupas originais da imagem de entrada causam interferência geométrica e vazamento estrutural, prejudicando a aplicação de novas roupas.
  • Falta de Dados: Não existem grandes conjuntos de dados onde a mesma pessoa aparece em várias roupas e poses, o que tornaria o problema trivial.

O objetivo do Pro-Pose é sintetizar um avatar fotorealista, controlável por pose, que preserve a identidade completa do corpo (rosto, forma corporal, textura da pele) a partir de uma única foto, removendo as roupas originais e padronizando o sujeito em uma "roupa base" mínima.

2. Metodologia

O Pro-Pose propõe um framework unificado que aprende a partir de uma combinação de dados emparelhados (escassos) e não emparelhados (abundantes), operando em um espaço de textura UV canônico.

A. Espaço UV Canônico e Desacoplamento

Em vez de trabalhar no espaço da imagem 2D, o método transforma a foto de entrada em um mapa de textura UV canônico (baseado no modelo SMPL-X).

• Vantagem: Isso desacopla a pose da aparência. A textura UV representa a identidade da pessoa independentemente de como ela está posicionada.
• Desafio: Em uma única vista, o mapa UV é parcial devido a oclusões (partes do corpo escondidas).

B. Reposicionamento UV Baseado em Doadores (Donor-based UV Reposing)

Para evitar que o modelo aprenda "atalhos" (copiar pixels visíveis baseados nas bordas de oclusão que revelam a pose original), o Pro-Pose introduz uma técnica inovadora de auto-supervisão:

1. Máscaras de Doadores: Para uma imagem de entrada, o sistema aplica uma máscara de visibilidade extraída de uma imagem aleatória de um "doador" (uma pessoa diferente em uma pose diferente).
2. Mistura de Texturas: A textura parcial da entrada é combinada com a máscara do doador, criando uma textura híbrida onde as bordas de oclusão não correspondem mais à pose original.
3. Força de Aprendizado: Isso força a rede neural a aprender o mapeamento geométrico 3D real para preencher as áreas faltantes, em vez de apenas copiar pixels.

C. Arquitetura de Geração

• Modelo Base: Utiliza um modelo de Fluxo Retificado (Rectified Flow) com o backbone Flux.1 (transformer).
• Treinamento Híbrido:
  • Dados Emparelhados: Condiciona o modelo na textura parcial, na pose alvo e no recorte facial.
  • Dados Não Emparelhados: Usa o reposicionamento baseado em doadores e remove a condição facial para evitar vazamento de informação pixel-perfeito, forçando a reconstrução da identidade apenas a partir da textura deformada.
• Padronização de Roupas (Base Clothing - BC): Utiliza o modelo de IA Gemini 2.5 Flash Image para editar automaticamente os dados de treinamento, substituindo todas as roupas por um "top preto sem mangas e shorts pretos". Isso cria um "canvas limpo" para tarefas downstream.

D. Personalização em Tempo de Teste (Few-Shot Adaptation)

Para casos extremos ou para máxima fidelidade, o método permite um ajuste fino (fine-tuning) leve usando LoRA (Low-Rank Adaptation) com apenas algumas imagens de referência do sujeito, melhorando a preservação da identidade sem necessidade de grandes conjuntos de dados.

3. Principais Contribuições

1. Framework de Treinamento Escalável: Integra dados emparelhados escassos com centenas de milhares de imagens não emparelhadas, superando a limitação de diversidade de identidade dos benchmarks atuais.
2. Mecanismo de Reposicionamento UV Baseado em Doadores: Uma estratégia auto-supervisionada que quebra a correlação entre pose e textura, permitindo aprendizado robusto a partir de imagens únicas.
3. Dataset Base Clothing (BC): Criação de um grande conjunto de dados padronizado (roupas mínimas pretas) sintetizado via IA, eliminando variáveis de confusão de roupas.
4. Personalização Adaptativa: Um mecanismo de ajuste fino em tempo de teste que reduz drasticamente a "deriva de identidade" em cenários desafiadores.
5. Aplicação em Virtual Try-On (VTO): Demonstra que o avatar canônico gerado serve como uma base superior para modelos de provação virtual, eliminando a interferência geométrica das roupas originais.

4. Resultados

O Pro-Pose foi avaliado em conjuntos de dados in-domain (DeepFashion) e out-of-domain (WPose - fotos "in-the-wild").

• Desempenho Quantitativo:
  • Alcançou o estado da arte (SOTA) em todas as métricas principais: fidelidade de imagem (PSNR, SSIM, LPIPS), preservação de identidade (FaceSim, DINO) e qualidade perceptual (HPSv3).
  • No conjunto WPose (fotos reais e desafiadoras), o modelo superou consistentemente todos os baselines (incluindo MCLD, LEFFA e o próprio Gemini 2.5 Flash Image).
  • Preservação de Identidade: Em poses extremas, o Pro-Pose manteve a identidade em 86,5% dos casos (FaceSim > 0.4), enquanto os métodos concorrentes falharam em mais de 97% dos casos.
• Análise de Ablação:
  • O modelo treinado apenas com dados emparelhados sofreu de overfitting e vazamento de identidade.
  • O modelo treinado apenas com dados não emparelhados falhou em mudanças de pose significativas.
  • A combinação híbrida ("Unpaired + Paired") foi essencial para o sucesso.
• Aplicação Prática: A integração com ferramentas de Virtual Try-On mostrou que usar o avatar do Pro-Pose como entrada resulta em provações de roupas muito mais precisas e realistas do que usar a foto original.

5. Significado e Impacto

O Pro-Pose representa um avanço significativo na síntese de imagens humanas ao resolver o dilema da escassez de dados de identidade. Ao mover o problema para o espaço UV e utilizar uma estratégia de "doadores" para simular oclusões realistas, o método consegue generalizar para pessoas nunca vistas antes, mantendo suas características faciais e corporais únicas.

Sua capacidade de gerar um "avatar canônico" (com roupas neutras) abre portas para:

• Comércio Eletrônico: Provação virtual de roupas mais precisa e sem interferência de roupas anteriores.
• Identidade Digital: Criação de avatares fotorealistas a partir de fotos casuais para uso em metaverso, jogos ou redes sociais.
• Edição de Imagem: Permite a edição direta de texturas (ex: adicionar tatuagens ou maquiagem) que se propagam geometricamente corretamente para qualquer pose.

Em resumo, o Pro-Pose estabelece um novo padrão para a geração de avatares humanos controláveis a partir de uma única imagem, superando as limitações de dados e generalização dos métodos anteriores.