Resumo Técnico: PSHuman

Declaração do Problema

A reconstrução de humanos 3D fotorrealistas a partir de uma única imagem RGB "in-the-wild" permanece um problema aberto desafiador devido a poses corporais complexas, auto-oclusões sofisticadas e topologias de vestuário intrincadas. Métodos existentes dependem tipicamente de funções implícitas ou geram apenas vistas frontal/posterior para mitigar a ambiguidade. No entanto, essas abordagens frequentemente sofrem de:

1. Perda de Detalhes e Artefatos: Paradigmas de regressão implícita lutam para capturar geometria e textura de alta fidelidade, levando a artefatos em novas vistas.
2. Ambiguidade Espacial: Gerar apenas uma única vista traseira falha em fornecer informações estéreo suficientes para resolver ambiguidades espaciais.
3. Distorções Geométricas: Aplicar diretamente modelos de difusão multiview a imagens humanas de visão única frequentemente resulta em severas distorções geométricas, particularmente em características faciais e proporções corporais, devido à natureza mal definida do problema e à falta de priors anatômicos.
4. Perda de Identidade Facial: Modelos de difusão pré-treinados costem produzir detalhes faciais distorcidos ou não naturais em entradas de corpo inteiro porque o rosto ocupa uma região pequena e de baixa resolução na imagem, fornecendo informações insuficientes para a predição detalhada de normais após o codificação VAE.

Metodologia

O PSHuman propõe um novo framework que reconstrói explicitamente malhas humanas texturizadas aproveitando os priors de um modelo de difusão multiview. O pipeline consiste em duas etapas primárias:

1. Difusão Multiview Cross-Scale Corpo-Rosto

Em vez de gerar apenas vistas frontal/traseira, o PSHuman gera diretamente seis vistas (frente, frente-esquerda, esquerda, costas, direita, frente-direita) de mapas de cor e de normais. Para abordar desafios específicos, dois mecanismos principais são introduzidos:

• Difusão Condicionada por SMPL-X: Para evitar estruturas corporais não naturais e inconsistências de membros causadas por auto-oclusão, o modelo de difusão é condicionado a modelos paramétricos SMPL-X. Os parâmetros SMPL-X estimados são renderizados a partir dos pontos de vista alvo e concatenados com a imagem de entrada como condições latentes. Isso guia o processo de difusão para aderir à anatomia humana, garantindo vistas consistentes mesmo com poses complexas.
• Difusão Cross-Scale Corpo-Rosto: Para resolver a distorção facial e mudanças de identidade, os autores propõem um framework de modelagem de distribuição de probabilidade conjunta $p(x_B, x_F)$ que gera simultaneamente imagens globais de corpo inteiro e imagens faciais locais de alta resolução.
  • Denoising Conjunto: Uma camada de mistura de ruído (noise blending) é empregada dentro dos blocos de auto-atenção da UNet. O vetor latente do ramo facial é redimensionado e misturado na região facial do ramo corporal global. Isso permite que a informação facial seja transferida para novas vistas do corpo via atenção cross-view, garantindo consistência cross-scale e cross-view enquanto preserva a identidade.

2. Escultura Humana Explícita Inicializada por SMPLX

Ao contrário de métodos implícitos que mapeiam características para superfícies via MLPs, o PSHuman utiliza os mapas de normais e de cores gerados para esculpir explicitamente uma malha 3D.

• Inicialização: O processo começa com uma malha SMPL-X inicializada a partir da imagem de entrada.
• Remesh Difeferenciável: A malha SMPL-X é deformada e re-malhada (remeshed) usando rasterização diferenciável. A otimização ajusta iterativamente as posições dos vértices e as arestas das faces para minimizar a diferença entre os mapas de normais e silhuetas gerados e renderizados. Esta abordagem, ao contrário do simples deslocamento de vértices, permite a recuperação de detalhes complexos como roupas largas.
• Fusão de Aparência: Uma vez recuperada a geometria, as imagens de cores multiview são fundidas na malha. Um pipeline de renderização diferenciável otimiza as cores por vértice para mitigar inconsistências generativas. Uma máscara de visibilidade e interpolação baseada em KDTree são usadas para lidar com áreas não observadas, garantindo cobertura de textura abrangente.

Principais Contribuições

1. Framework PSHuman: Um novo método de difusão explícito para modelagem humana 3D detalhada e realista a partir de uma única imagem, alcançando a reconstrução em aproximadamente um minuto.
2. Difusão Cross-Scale e Condicionada: A introdução de um modelo de difusão cross-scale corpo-rosto e um modelo de difusão multiview condicionado por SMPL-X. Estes permitem a geração de corpo inteiro de alta fidelidade com identidade facial preservada e consistência anatômica, mesmo com poucos dados de treinamento (3.000 scans).
3. Módulo de Escultura Explícita: Um módulo de escultura humana explícita inicializado por SMPLX que utiliza rasterização diferenciável para recuperar rapidamente malhas texturizadas a partir de imagens cross-domain multiview geradas, superando baselines implícitos.

Resultados Experimentais

Experimentos extensivos foram conduzidos nos datasets THuman2.1, CustomHumans e CAPE.

• Qualidade da Geometria: O PSHuman demonstra desempenho superior em Chamfer Distance (CD), Point-to-Surface (P2S) e Consistência de Normal (NC) comparado a métodos implícitos (PIFu, PIFuHD) e explícitos (ECON, GTA) de última geração. Ele atinge o menor CD (0.4399 cm) e P2S (0.4077 cm) no subset THuman2.1 ao usar priors de SMPL-X de verdade fundamental (ground-truth).
• Qualidade de Aparência: O método atinge o maior PSNR (20.85) e SSIM (0.8636) e o menor LPIPS (0.0764) no subset THuman2.1, indicando alta fidelidade de textura e consistência em novas vistas.
• Reconstrução Facial: Comparações quantitativas mostram que o PSHuman supera significativamente os baselines (ECON, SIFU, SITH) em métricas de geometria e textura facial, validando a eficácia da difusão cross-scale.
• Robustez: O método mantém um desempenho robusto mesmo quando a estimativa SMPL-X contém erros, superando outras abordagens baseadas em template sob condições de pose/forma ruidosas.

Significância e Alegações

O artigo afirma que o PSHuman alcança um equilíbrio crítico entre precisão, eficiência e robustez de pose. Enquanto métodos recentes baseados em SDS podem alcançar detalhes geométricos altos, eles frequentemente requerem horas de otimização e lutam com poses complexas. Em contraste, o PSHumana gera novas vistas detalhadas, de alta qualidade e harmoniosas em menos de um minuto.

Os autores enfatizam que seu trabalho aborda os modos de falha específicos da aplicação de difusão multiview em humanos:

• Ele evita a "alucinação" de estruturas corporais impossíveis através do condicionamento por SMPL-X.
• Resolve a perda de identidade facial e de detalhes através da difusão cross-scale e mistura de ruído.
• Vai além das representações implícitas para a escultura explícita de malhas, permitindo melhor manipulação de detalhes geométricos finos como rugas de tecido e características faciais.

O artigo conclui que o PSHuman representa um passo significativo à frente na reconstrução humana 3D a partir de uma única imagem, oferecendo uma solução prática para aplicações que exigem modelagem humana rápida, de alta fidelidade e robusta à pose.