Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps

1. El Problema

La generación de avatares humanos realistas y controlables a partir de una sola fotografía ("in-the-wild") enfrenta desafíos significativos:

• Falta de Datos Emparejados: Los métodos existentes (como MCLD, LEFFA) dependen de conjuntos de datos pequeños y emparejados (misma persona, diferentes poses y ropa), como DeepFashion. Estos conjuntos tienen una diversidad de identidad muy limitada (aprox. 100 identidades), lo que provoca sobreajuste (overfitting) y una mala generalización a personas no vistas.
• Pérdida de Identidad y Fugas de Pose: Los modelos actuales a menudo fallan en preservar las características faciales, la forma del cuerpo y la textura de la piel cuando cambian la pose drásticamente. Además, tienden a "copiar y pegar" píxeles basándose en los bordes de la ropa o las oclusiones, en lugar de aprender la geometría 3D real.
• Interferencia de la Ropa Original: Para aplicaciones posteriores como el "Virtual Try-On" (VTO), la ropa compleja del sujeto original actúa como una interferencia geométrica, dificultando que los modelos de prueba virtual apliquen nuevas prendas con fidelidad.

2. Metodología

Pro-Pose propone un marco de trabajo unificado que opera en un espacio de textura UV canónico, desacoplando la pose de la apariencia. La metodología se basa en los siguientes pilares:

A. Espacio UV Canónico y Desacoplamiento

En lugar de trabajar directamente en el espacio de la imagen, el método transforma la foto de entrada en un mapa de textura UV completo (basado en el modelo SMPL-X). Esto permite separar teóricamente la identidad (textura) de la pose. Sin embargo, en una sola vista, el mapa de textura es parcial debido a las oclusiones.

B. Reposicionamiento UV Basado en Donantes (Donor-Based UV Reposing)

Este es el núcleo de la auto-supervisión para datos no emparejados.

• El Problema de la Fuga: Si se usa la máscara de visibilidad original de la imagen de entrada, los bordes de la textura revelan la pose original, permitiendo al modelo aprender atajos triviales.
• La Solución: El método introduce una máscara de visibilidad aleatoria extraída de una imagen "donante" (otra persona con una pose diferente). Se aplica esta máscara al mapa de textura de entrada, creando una textura híbrida ($T_{p \to \tilde{p}}$).
• Resultado: Esto rompe la correlación entre los bordes visibles y la pose original, obligando al modelo a aprender un aclaramiento geométrico robusto (geometric inpainting) para reconstruir la identidad sin depender de la posición original de los píxeles.

C. Entrenamiento Híbrido (Datos Emparejados y No Emparejados)

El modelo utiliza una estrategia de doble rama para aprovechar tanto los datos escasos emparejados como los abundantes no emparejados:

1. Rama Emparejada: Utiliza pares de referencia y objetivo (con SMPL-X) para refinar la precisión geométrica.
2. Rama No Emparejada (Auto-supervisada): Utiliza la técnica de "Donor-Based Reposing" descrita arriba. Crucialmente, en esta rama se descarta la condición de recorte facial (face crop) para evitar que el modelo copie píxeles de la cara de entrada trivialmente, forzándolo a reconstruir la identidad desde la textura deformada.

D. Personalización en Tiempo de Prueba (Test-Time Personalization)

Para mejorar la fidelidad en casos extremos o sujetos específicos, el método permite un fine-tuning ligero (usando LoRA) con un pequeño conjunto de imágenes de referencia del mismo sujeto. Esto adapta los priores preentrenados sin requerir grandes conjuntos de datos.

E. Estandarización de Ropa (Base Clothing - BC)

Utilizando un modelo generativo (Gemini 2.5 Flash Image), el equipo estandariza todas las imágenes de entrenamiento y prueba, reemplazando la ropa original por un conjunto básico (top negro sin mangas y pantalones cortos negros). Esto crea un "lienzo limpio" que elimina la interferencia de la ropa original, ideal para tareas posteriores como el Virtual Try-On.

3. Contribuciones Clave

1. Marco de Entrenamiento Escalable: Integración exitosa de datos emparejados escasos con miles de imágenes no emparejadas, superando la limitación de diversidad de identidad de los benchmarks actuales.
2. Mecanismo de Auto-supervisión Innovador: La técnica de Donor-Based UV Reposing que elimina la fuga de información de la pose a través de los bordes de oclusión, permitiendo el aprendizaje efectivo sin pares de datos.
3. Creación del Dataset BC: Un conjunto de datos a gran escala donde los sujetos están estandarizados en ropa básica negra, facilitando la generación de avatares limpios y la aplicación en VTO.
4. Adaptación Específica del Sujeto: Un mecanismo de fine-tuning eficiente que mejora la preservación de la identidad en escenarios desafiantes.
5. Resultados SOTA: Demostración de que el enfoque supera a los métodos actuales (MCLD, LEFFA, UniHuman, etc.) tanto en métricas cuantitativas como cualitativas.

4. Resultados y Evaluación

• Rendimiento Cuantitativo: En los conjuntos de datos DeepFashion (in-domain) y WPose (out-of-domain/in-the-wild), Pro-Pose logra el estado del arte (SOTA) en todas las métricas clave:
  • Fidelidad de Imagen: Mejores puntuaciones en PSNR, SSIM y LPIPS.
  • Preservación de Identidad: Significativamente superior en FaceSim (similitud facial) y DINO (alineación semántica).
  • Robustez: Mientras que los métodos basales fallan en preservar la identidad en cambios de pose grandes (>97% de fallos en baselines vs. 13.5% en Pro-Pose), Pro-Pose mantiene la identidad incluso en cambios de pose extremos.
• Análisis de Ablación: Se demostró que el uso exclusivo de datos emparejados lleva a sobreajuste (el modelo genera caras que se parecen a las del entrenamiento, no al sujeto), y el uso exclusivo de datos no emparejados falla en cambios de pose grandes. La combinación híbrida es esencial.
• Aplicación en Virtual Try-On (VTO): Al usar el avatar canónico generado por Pro-Pose como entrada para modelos de VTO existentes, se eliminan los errores estructurales causados por la ropa original, mejorando drásticamente la calidad del resultado final.

5. Significado e Impacto

Pro-Pose representa un avance fundamental en la síntesis de imágenes humanas al resolver el dilema de la falta de datos de alta calidad y diversidad. Al mover el problema al espacio UV y utilizar una estrategia de auto-supervisión inteligente, logra:

• Generación de Avatares Fieles: Crear representaciones digitales de alta fidelidad a partir de una sola foto casual.
• Fundamento para Aplicaciones Comerciales: Proporcionar una representación geométrica limpia y estandarizada que es crítica para la industria del comercio electrónico (prueba virtual de ropa) y la creación de metaverso.
• Generalización Real: Demostrar que es posible entrenar modelos robustos con datos del mundo real ("in-the-wild") sin depender exclusivamente de costosas recolecciones de datos emparejados.

En resumen, Pro-Pose establece un nuevo estándar para la síntesis de retratos humanos controlables, combinando la precisión geométrica de los modelos 3D con la flexibilidad y fidelidad de los modelos generativos modernos.