Resumen Técnico: PSHuman

Planteamiento del Problema

La reconstrucción de humanos 3D fotorealistas a partir de una única imagen RGB de entorno natural (in-the-wild) sigue siendo un problema abierto y desafiante debido a las complejas poses corporales, las sofisticadas auto-oclusiones y la intrincada topología de la ropa. Los métodos existentes suelen depender de funciones implícitas o generan únicamente vistas frontales/posteriores para mitigar la ambigüedad. Sin embargo, estos enfoques suelen sufrir de:

1. Pérdida de Detalles y Artefactos: Los paradigmas de regresión implícita luchan por capturar geometría y texturas de alta fidelidad, lo que provoca artefactos en vistas no vistas anteriormente (novel view artifacts).
2. Ambigüedad Espacial: Generar solo una vista posterior no proporciona suficiente información estéreo para resolver las ambigedades espaciales.
3. Distorsiones Geométricas: La aplicación directa de modelos de difusión multivista a imágenes humanas de una sola vista suele resultar en severas distorsiones geométricas, particularmente en los rasgos faciales y las proporciones corporales, debido a la naturaleza mal planteada del problema y la falta de priors anatómicos.
4. Pérdida de Identidad Facial: Los modelos de difusión pre-entrenados suelen producir detalles faciales distorsionados o antinaturales en entradas de cuerpo completo porque el rostro ocupa una región pequeña y de baja resolución en la imagen, proporcionando información insuficiente para la predicción detallada de normales tras la codificación del VAE.

Metodología

PSHuman propone un nuevo marco de trabajo que reconstruye explícitamente mallas humanas texturizadas aprovechando los priors de un modelo de difusión multivista. El flujo de trabajo consta de dos etapas principales:

1. Difusión Multivista de Escala Cruzada Cuerpo-Rostro

En lugar de generar solo vistas frontal y posterior, PSHuman genera directamente seis vistas (frontal, frontal-izquierda, izquierda, trasera, derecha y frontal-derecha) tanto de mapas de color como de mapas de normales. Para abordar desafíos específicos, se introducen dos mecanismos clave:

• Difusión Condicionada por SMPL-X: Para evitar estructuras corporales antinaturales e inconsistencias en las extremidades causadas por la auto-oclusión, el modelo de difusión se condiciona mediante modelos paramétricos SMPL-X. Los parámetros SMPL-X estimados se renderizan desde los puntos de vista objetivo y se concatenan con la imagen de entrada como condiciones latentes. Esto guía el proceso de difusión para adherirse a la anatomía humana, asegurando vistas consistentes incluso con poses complejas.
• Difusión de Escala Cruzada Cuerpo-Rostro: Para resolver la distorsión facial y los cambios de identidad, los autores proponen un marco de modelado de distribución de probabilidad conjunta $p(x_B, x_F)$ que genera simultáneamente imágenes globales de cuerpo completo y de rostro local de alta resolución.
  • Denoising Conjunto: Se emplea una capa de mezcla de ruido dentro de los bloques de auto-atención de la UNet. El vector latente de la rama del rostro se redimensiona y se mezcla en la región facial de la rama corporal global. Esto permite que la información facial se transfiera a las nuevas vistas del cuerpo mediante atención entre vistas, asegurando la consistencia de escala cruzada y de vista cruzada mientras se preserva la identidad.

2. Tallado Humano Explícito Inicializado con SMPLX

A diferencia de los métodos implícitos que mapean características a superficies mediante MLPs, PSHuman utiliza los mapas de normales y color generados para tallar explícitamente una malla 3D.

• Inicialización: El proceso comienza con una malla SMPL-X inicializada a partir de la imagen de entrada.
• Remallado Diferenciable: La malla SMPL-X se deforma y se remalla utilizando rasterización diferenciable. La optimización ajusta iterativamente las posiciones de los vértices y las aristas de las caras para minimizar la diferencia entre las normales y siluetas renderizadas y las generadas. Este enfoque, a diferencia del simple desplazamiento de vértices, permite la recuperación de detalles complejos como la ropa holgada.
• Fusión de Apariencia: Una vez recuperada la geometría, las imágenes de color multivista se fusionan sobre la malla. Un flujo de renderizado diferenciable optimiza los colores por vértice para mitigar las inconsistencias generativas. Se utiliza una máscara de visibilidad e interpolación basada en KDTree para manejar áreas no observadas, asegurando una cobertura de textura integral.

Contribuciones Clave

1. Marco de Trabajo PSHuman: Un nuevo método explícito basado en difusión para el modelado humano 3D detallado y realista a partir de una sola imagen, logrando la reconstrucción en aproximadamente un minuto.
2. Difusión de Escala Cruzada y Condicionada: La introducción de un modelo de difusión de escala cruzada cuerpo-rostro y un modelo de difusión multivista condicionado por SMPL-X. Estos permiten la generación de cuerpo completo de alta fidelidad con identidad facial preservada y consistencia anatómica, incluso con pocos datos de entrenamiento (3,000 escaneos).
3. Módulo de Tallado Explícito: Un módulo de tallado humano explícito inicializado con SMPLX que utiliza rasterización diferenciable para recuperar rápidamente mallas texturizadas a partir de imágenes de dominio cruzado multivista, superando a los baselines implícitos.

Resultados Experimentales

Se realizaron experimentos extensos en los conjuntos de datos THuman2.1, CustomHumans y CAPE.

• Calidad de la Geometría: PSHuman demuestra un rendimiento superior en Distancia de Chamfer (CD), Punto-a-Superficie (P2S) y Consistencia de Normales (NC) en comparación con los métodos implícitos (PIFu, PIFuHD) y explícitos (ECON, GTA) de última generación. Logra el CD más bajo (0.4399 cm) y el P2S más bajo (0.4077 cm) en el subconjunto THuman2.1 cuando se utilizan priors de SMPL-X reales.
• Calidad de la Apariencia: El método alcanza el PSNR más alto (20.85) y el SSIM más alto (0.8636), así como el LPIPS más bajo (0.0764) en el subconjunto THuman2.1, lo que indica una alta fidelidad de textura y consistencia en las nuevas vistas.
• Reconstrucción Facial: Las comparaciones cuantitativas muestran que PSHuman supera significativamente a los baselines (ECON, SIFU, SITH) en métricas de geometría y textura facial, validando la efectividad de la difusión de escala cruzada.
• Robustez: El método mantiene un rendimiento robusto incluso cuando la estimación de SMPL-X contiene errores, superando a otros enfoques basados en plantillas bajo condiciones de pose/forma ruidosas.

Significado y Reivindicaciones

El artículo afirma que PSHuman logra un equilibrio crítico entre precisión, eficiencia y robustez de pose. Mientras que los métodos recientes basados en SDS pueden lograr detalles geométicos altos, a menudo requieren horas de optimización y luchan con poses complejas. En contraste, PSHumana genera vistas nuevas de alta calidad, detalladas y armoniosas en menos de un minuto.

Los autores enfatizan que su trabajo aborda los modos de fallo específicos de la aplicación de la difusión multivista a los humanos:

• Previene la "alucinación" de estructuras corporales imposibles mediante el condicionamiento por SMPL-X.
• Resuelve la pérdida de identidad y detalle facial mediante la difusión de escala cruzada y la mezcla de ruido.
• Va más allá de las representaciones implícitas hacia el tallado de mallas explícito, permitiendo un mejor manejo de detalles geométricos finos como las arrugas de la tela y los rasgos faciales.

El artículo concluye que PSHuman representa un paso significativo hacia adelante en la reconstrucción de humanos 3D a partir de una sola imagen, ofreciando una solución práctica para aplicaciones que requieren un modelado humano rápido, de alta fidelidad y robusto ante la pose.