High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning

1. El Problema

El intercambio de rostros (face swapping) busca transferir la identidad de una imagen fuente a una imagen objetivo, preservando al mismo tiempo los atributos del objetivo (expresión, pose, iluminación). Aunque los modelos de difusión han demostrado un potencial superior en la generación de imágenes de alta calidad, su aplicación en el intercambio de rostros enfrenta dos desafíos críticos:

• Conflicto entre Identidad y Atributos: Existe una tensión inherente entre preservar la identidad de la fuente y adherirse a los atributos del objetivo. Los métodos que inyectan ambas condiciones simultáneamente en una sola etapa de entrenamiento a menudo fallan, ya que las condiciones compiten entre sí, resultando en artefactos, pérdida de identidad o distorsión de los atributos.
• Priorización de la Identidad: En la práctica, es más importante que el resultado "parezca" la persona fuente que seguir perfectamente la pose del objetivo. Los enfoques existentes a menudo no logran equilibrar esta jerarquía, sacrificando la fidelidad de la identidad o la consistencia de los atributos.
• Limitaciones de los Métodos Anteriores: Los métodos basados en GANs sufren de colapso de modos y calidad limitada. Los métodos basados en difusión existentes (como DiffSwap o REFace) a menudo inyectan condiciones de manera conjunta, lo que lleva a un entrenamiento subóptimo y a una menor fidelidad en comparación con los modelos base preentrenados.

2. Metodología Propuesta

Los autores proponen un marco de entrenamiento en múltiples etapas que utiliza un esquema de inyección de condiciones desacopladas y condicionamiento facial restringido por identidad.

A. Inyección de Condiciones Desacopladas (Decoupled Condition Injection)

Para evitar la fuga de información entre identidad y atributos:

• Datos de Entrenamiento: En lugar de usar la misma imagen con aumentos (que mezcla identidad y atributo), utilizan pares de imágenes de la misma identidad pero con diferentes atributos. Esto desacopla explícitamente las características.
• Dos Rutas de Extracción:
  • Identidad: Se extrae de la imagen fuente utilizando ArcFace (reconocimiento facial) y DINOv2 (para detalles visuales finos como textura de piel).
  • Atributos: Se extraen de la imagen objetivo utilizando el codificador de características de SimSwap (captura expresión, pose y semántica espacial).
• Fusión: Las características se fusionan mediante una capa de atención, donde la identidad actúa como consulta (query) y los atributos como clave/valor.

B. Esquema de Entrenamiento en Tres Etapas

El proceso se divide para priorizar la identidad antes de ajustar los atributos:

1. Etapa 1: Ajuste Orientado a la Identidad:

   • Se entrena el modelo de difusión (basado en Stable Diffusion 1.5) utilizando solo condiciones de identidad (el factor de fusión de atributos se establece en 0).
   • Objetivo: Reducir el espacio de soluciones a salidas consistentes con la identidad de la fuente, asegurando que el modelo aprenda a generar la cara correcta antes de preocuparse por la pose.

2. Etapa 2: Ajuste de Atributos Restringido por Identidad:

   • Se inyectan las condiciones de atributos (expresión/pose) junto con la identidad.
   • Estrategia Clave: Se utiliza inicialización cero en las capas de atención para evitar el "olvido catastrófico" de la identidad. Además, se debilita ligeramente el control de la identidad (reduciendo el factor de mejora espacial) para permitir que el modelo se adapte a los atributos del objetivo sin perder la identidad.

3. Etapa 3: Refinamiento Post-Entrenamiento (End-to-End):

   • Se trata el proceso de muestreo DDIM (50 pasos) como un modelo generativo en cascada.
   • Se aplica una supervisión explícita utilizando pérdida de identidad (ID Loss) y pérdida adversarial (GAN Loss) sobre las imágenes generadas, sin añadir estos términos a la función de pérdida de predicción de ruido original (lo cual preservaría el límite teórico ELBO y la calidad de la muestra).
   • Se utiliza un muestreo aleatorio de pasos intermedios para calcular gradientes de manera eficiente.

3. Contribuciones Clave

1. Inyección Desacoplada: Propone una estrategia de inyección de condiciones separada para identidad y atributos, resolviendo el conflicto de entrenamiento conjunto y permitiendo un entrenamiento multi-etapa efectivo.
2. Esquema de Condicionamiento Restringido por Identidad: Introduce una metodología de entrenamiento secuencial que primero asegura la preservación de la identidad y luego ajusta los atributos, logrando un equilibrio superior.
3. Nuevo Modelo de Estado del Arte (SOTA): Presenta un modelo basado en difusión que supera a los métodos existentes (tanto GAN como difusión) en métricas cualitativas y cuantitativas, ofreciendo una fidelidad de identidad y consistencia de atributos sin precedentes.

4. Resultados

El modelo fue evaluado en el conjunto de datos FFHQ comparado con métodos basados en GAN (SimSwap, InfoSwap, E4S) y difusión (DiffFace, DiffSwap, REFace).

• Métricas Cuantitativas:
  • FID (Fréchet Inception Distance): Logró el puntaje más bajo (3.61), indicando la mayor calidad de generación y realismo, superando significativamente a otros métodos de difusión.
  • Recuperación de Identidad (ID Retrieval): Alcanzó la mayor precisión (97.9% Top-1), demostrando la eficacia del condicionamiento restringido por identidad.
  • Pose y Expresión: Mantiene un rendimiento competitivo, igualando o acercándose a los mejores resultados en consistencia de expresión.
• Evaluación Humana:
  • En una votación con 39 participantes, el modelo propuesto obtuvo la mayoría de los votos en fidelidad (57.1%) y consistencia de atributos (33.2%), y fue segundo en preservación de identidad (31.6%).
  • Los resultados visuales muestran texturas de piel y condiciones de iluminación más naturales que los métodos basados en GAN, y una mejor adherencia a la identidad que otros métodos de difusión.
• Robustez: El modelo demostró una excelente capacidad de generalización en datos fuera de distribución (estilos artísticos, pinturas), aprovechando la capacidad de generalización del modelo base preentrenado.

5. Significado e Impacto

Este trabajo representa un avance significativo en la generación condicional de rostros. Al demostrar que el entrenamiento secuencial y la desacoplación de condiciones son superiores al entrenamiento conjunto, ofrece una nueva dirección para el uso de modelos de difusión en tareas de edición de imágenes complejas.

• Calidad Superior: Establece un nuevo estándar de calidad (SOTA) en intercambio de rostros, superando las limitaciones de los GANs en términos de realismo y evitando los artefactos comunes en los métodos de difusión actuales.
• Marco Generalizable: La metodología de "inyección de condiciones desacopladas" y el condicionamiento restringido no solo sirven para el intercambio de rostros, sino que pueden aplicarse a otras tareas de generación condicional donde múltiples objetivos (identidad, estilo, contenido) entran en conflicto.
• Eficiencia y Robustez: Al utilizar modelos base preentrenados (Stable Diffusion) y enfocarse en la inyección de condiciones, el método hereda la robustez y la capacidad de generalización de los grandes modelos fundacionales, manejando casos extremos y estilos variados mejor que los modelos específicos entrenados desde cero.