Resumen Técnico: El Diablo está en la Filtración: Un Marco de Doble Purificación Desentrelazada para la Transferencia de Peinados de Alta Fidelidad

1. Planteamiento del Problema

La transferencia de peinados busca sintetizar un retrato fotorrealista trasplantando un peinado de una imagen de referencia a un sujeto de origen, preservando estrictamente la identidad del sujeto de origen. Si bien los modelos fundacionales recientes de gran escala (p. ej., modelos de difusión) poseen fuertes capacidades generativas, tienen dificultades con el desentrelazamiento zero-shot requerido para una edición local precisa. Estos modelos entrelazan inherentemente el peinado de referencia con su identidad facial, pose e iluminación originales, fallando al no proporcionar un control explícito.

Los pipelines existentes suelen intentar resolver esto mediante un diseño de dos vías: generar una imagen "calva" a partir del origen (flujo geométrico) y extraer características de peinado independientes de la identidad de la referencia (flujo de estilo), para luego fusionarlas. Sin embargo, los autores identifican que este paradigma sufre de un problema de filtración (leakage) fundamental que consiste en dos modos de fallo distintos:

1. Filtración de Identidad en el Peinado: Las características del peinado extraídas de la referencia permanecen entrelazadas con la identidad y la pose de la referencia. Al fusionarse, estas características distorsionan el rostro de la persona de origen, provocando una inconsistencia de identidad.
2. Filtración de Defectos en el Calvo: Al generar la imagen "calva" (típicamente mediante inpainting), a menudo permanecen defectos geométricos sutiles (p. ej., sombras o remanentes del límite original del cabello). El modelo generativo explota estos artefactos como "atajos", lo que genera correlaciones espurias que causan que el cabello sintetizado replique incorrectamente el peinado original del origen en lugar del de la referencia.

2. Metodología: Marco de Doble Purificación (DPF)

Los autores proponen el Marco de Doble Purificación (DPF), una arquitectura novedosa diseñada para purificar de forma explícita y conjunta tanto el flujo de información de peinado como el de información geométrica. El marco se basa en un modelo de difusión latente (LDM), integrado con ControlNet para el control espacial y un módulo inspirado en IP-Adapter para la inyección de estilo.

2.1 Arquitectura Central

El DPF opera mediante un paradigma de entrenamiento de Reconstrucción de Doble Objetivo. Dada una imagen de origen ($I_{src}$) y una máscara de cabello, se genera un retrato "calvo" ($I_{bald}$). El modelo sintetiza una reconstrucción ($\hat{I}_{src}$) a través de dos vías paralelas:

• Vía de Estilo: Un codificador de estilo congelado extrae características de parches entrelazadas del origen. Un Generador de Estilo ($G$) entrenable purifica estas en una representación de estilo desentrelazada de longitud fija ($S_{pure}$).
• Vía Geométrica: Un ControlNet ($C_{Net}$) entrenable y un codificador de identidad congelado extraen condiciones espaciales e de identidad de la imagen calva.

2.2 Purificación de Peinado Adversaria (AHP)

Para abordar la Filtración de Identidad, el módulo AHP emplea un juego adversario entre el Generador de Estilo ($G$) y un Discriminador ($D$) sensible al contenido.

• Objetivo: El generador busca minimizar la información mutua entre la representación de peinado purificada ($S_{pure}$) y la representación de identidad ($C_{bald}$).
• Mecanismo: A diferencia de las GAN estándar donde el generador intenta engañar al discriminador para que crea que los datos falsos son reales, aquí el generador es entrenado para que los pares positivos (misma identidad) sean indistinguibles de los pares negativos (identidades diferentes). El discriminador es impulsado hacia la incertidumbre máxima (probabilidad de 0.5), forzando efectivamente al generador a eliminar las pistas relacionadas con la identidad de las características del peinado.

2.3 Purificación Geométrica Contrastiva (CGP)

Para abordar la Filtración de Defectos, el módulo CGP introduce un objetivo contrastivo para penalizar la dependencia del ControlNet de los artefactos geométricos en la entrada $I_{bald}$.

• Mecanismo: Para una única condición geométrica ($I_{bald}$), el ControlNet recibe dos condiciones de estilo contrastantes: el estilo purificado objetivo ($S_{pure}$) y un estilo negativo ($S_{neg}$) de una imagen aleatoria.
• Función de Pérdida: El modelo calcula la similitud de coseno espacial entre los mapas de características resultantes del ControlNet ($C_{pos}$ y $C_{neg}$) estrictamente dentro de la región del cabello. Una pérdida contrastiva ($L_{CGP}$) penaliza la alta similitud, forzando a las características a divergir.
• Efecto: Esto evita que el ControlNet aprenda un "atajo" basado en artefactos estáticos en la imagen calva, asegurando que la geometría generada sea impulsada por el estilo objetivo en lugar de por defectos residuales.

2.4 Estrategia de Características Híbridas

Reconociendo que ningún codificador preentrenado destaca por igual en textura y estructura, los autores emplean un enfoque híbrido. Combinan características de CLIP-B/16 (un "campeón de la textura") y DINOv2 (un "campeón de la estructura") como entradas para el generador, aprovechando sus fortalezas complementarias.

2.5 Estrategia de Inferencia

Durante la inferencia, el marco utiliza una estrategia de Guía Libre de Clasificador Incremental (CFG). Al entrenar una rama incondicional ($\epsilon_{uncond}$) para reconstruir específicamente el retrato calvo, el sistema establece una base geométrica estable. El resultado final se genera extrapolando la diferencia entre las predicciones condicionales e incondicionales, asegurando una inyección de textura rica mientras se mantiene una alineación estructural precisa y sin deriva del tono de piel.

3. Contribuciones Clave

1. Formalización del Problema: El artículo identifica y formaliza sistemáticamente el "problema de la filtración" en la transferencia de peinados, definiendo sus dos componentes: Filtración de Identidad en el Peinado y Filtración de Defectos en el Calvo.
2. Marco de Doble Purificación (DPF): Una arquitectura novedosa que integra dos módulos específicos:
   • AHP: Purga explícitamente la información de identidad de las características del peinado mediante la minimización de la información mutua adversaria.
   • CGP: Suprime la dependencia de los defectos geométricos en la imagen calva mediante un objetivo contrastivo sensible al estilo.
3. Diseño de Codificador Híbrido: Una demostración de que combinar codificadores optimizados para textura (CLIP) y estructura (DINOv2) produce resultados superiores en comparación con los enfoques de un solo codificador.
4. Rendimiento de Vanguardia (SOTA): Experimentos extensos muestran que DPF supera a los métodos anteriores (incluyendo enfoques basados en GAN y difusión) tanto en fidelidad cualitativa como en métricas cuantitativas en benchmarks estándar y "in-the-wild".

4. Resultados Experimentales

El marco fue evaluado en el benchmark CelebA-HQ (retratos estándar) y el conjunto de datos Human-Matting (imágenes desafiantes de entornos reales).

• Rendimiento Cuantitativo:
  • En CelebA-HQ, DPF logró la mayor Similitud de Identidad (ID-Sim: 0.80) y una Fidelidad competitiva (FID: 16.53), superando a las líneas base basadas en GAN como HairCLIPv2 y HairFastGAN.
  • En el desafiante Human-Matting, DPF superó significativamente a los métodos existentes, reduciendo el FID de 15.81 (HairFusion) a 7.75 y logrando un ID-Sim de 0.75.
• Estudios de Ablación:
  • La línea base (IP-Adapter + ControlNet) sufrió una alta Tasa de Fallo de Filtración (LFR) de 37.86%.
  • Añadir AHP mejoró el ID-Sim pero no redujo significativamente la LFR.
  • Añadir CGP redujo drásticamente la LFR a 10.33%.
  • El DPF completo con Características Híbridas logró la LFR más baja (3.17%) y las mejores métricas generales.
• Eficiencia: DPF opera con una huella de memoria de 5.4 GB y un tiempo de síntesis de ~6 segundos por imagen, lo que lo hace más eficiente en recursos que StableHair (16 GB) y HairFusion (~10.9 GB).
• Estudio de Usuario: En un estudio ciego (N=22), DPF recibió las puntuaciones más altas en precisión de transferencia de estilo, preservación de identidad y realismo.

5. Significado y Reivindicaciones

El artículo sostiene que la limitación principal de los métodos actuales de transferencia de peinado no es la falta de potencia generativa, sino la presencia de una filtración fundamental en el proceso de fusión de características. Al abordar explícitamente estas filtraciones mediante la Purificación de Peinado Adversaria y la Purificación Geométrica Contrastiva, los autores demuestran que es posible lograr una transferencia de alta fidelidad y preservación de identidad incluso con entradas geométricas imperfectas (imágenes calvas).

Los autores posicionan al DPF como una solución robusta para aplicaciones del mundo real (p. ej., probadores virtuales en salones) donde las variaciones de pose, iluminación y fondo son comunes. Sugieren que el principio de "purificación explícita" de los flujos condicionales puede generalizarse a otros dominios de la generación condicional donde el entrelazamiento de características y el aprendizaje de atajos son prevalentes. El trabajo no pretende resolver todas las tareas de edición generativa, sino que apunta específicamente a los desafíos de desentrelazamiento inherentes a la transferencia de peinados.