💻 computer science

DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping

DiffSwap++ es un novedoso marco de difusión con control latente en 3D que mejora la preservación de la identidad y la consistencia geométrica en el intercambio de rostros al aprovechar la estructura facial 3D para desentrelazar la identidad de la pose y la expresión, superando a los métodos existentes en múltiples evaluaciones comparativas.

Autores originales: Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el ámbito de la imagen digital, la capacidad de intercambiar el rostro de una persona por el cuerpo de otra ha sido durante mucho tiempo una fascinación que combina el arte con las matemáticas complejas. Durante años, las herramientas utilizadas para crear estas imágenes dependieron de un tipo de inteligencia artificial conocida como red generativa antagónica, o GAN. Estos sistemas funcionan como dos artistas que compiten entre sí: uno intenta crear una imagen falsa, mientras que el otro intenta detectar la falsificación. Con el tiempo, esta competencia obliga al creador a volverse increíblemente hábil. Sin embargo, este proceso es notoriamente inestable, lo que a menudo resulta en imágenes que se ven ligeramente extrañas, con rasgos borrosos o distorsiones extrañas que el ojo humano puede detectar fácilmente. Más recientemente, ha surgido un enfoque diferente llamado difusión. En lugar de un juego competitivo, los modelos de difusión trabajan como un escultor que refina lentamente un bloque de piedra, eliminando gradualmente el ruido para revelar una imagen clara. Aunque estos modelos más nuevos producen imágenes más nítidas, todavía luchan con un problema específico: mantener intacta la identidad real de la persona cuando se coloca en una nueva pose o expresión. Sin una comprensión profunda de la estructura tridimensional de un rostro, la computadora a menudo confunde los rasgos únicos de la persona con el ángulo de su cabeza o la forma de su sonrisa, lo que conduce a resultados que parecen realistas pero pertenecen a la persona equivocada.

Un equipo de investigadores de la Universidad de Carolina del Norte en Charlotte ha desarrollado un nuevo método llamado DiffSwap++ para resolver este rompecabezas específico. Su trabajo se centra en enseñar a la computadora a comprender el esqueleto tridimensional invisible de un rostro, a pesar de que la imagen final que crea es plana y bidimensional. Los investigadores se dieron cuenta de que, para intercambiar un rostro perfectamente, el sistema no solo necesita saber cómo se ve el rostro de frente, sino cómo están dispuestos los rasgos en el espacio. Para lograr esto, entrenaron su modelo utilizando un tipo especial de mapa digital que captura la profundidad y el volumen de un rostro. Durante la fase de entrenamiento, la computadora aprende a proyectar una foto plana en este espacio tridimensional, analizando la estructura subyacente antes de convertirla de nuevo en una imagen estándar. Este proceso permite al modelo separar la identidad de la persona —su estructura ósea única y textura de la piel— de la pose y la expresión, que son meramente las posiciones temporales de esa estructura.

La innovación reside en cómo se utiliza este conocimiento tridimensional. Los investigadores no requieren que la computadora construya un modelo 3D completo cada vez que intercambia un rostro; en su lugar, utilizan la información 3D solo mientras el sistema está aprendiendo. Una vez entrenado, el modelo puede realizar el intercambio utilizando solo imágenes 2D estándar, lo que hace que el proceso sea rápido y práctico. El sistema toma una imagen de origen de una persona y una imagen de destino de una persona diferente en una pose distinta. Luego, utiliza las lecciones aprendidas de la formación tridimensional para reconstruir el rostro del objetivo, reemplazando los rasgos con los de la persona de origen mientras mantiene estrictamente el ángulo de la cabeza y la expresión facial del objetivo. Esto asegura que la imagen final parezca que la persona de origen está presente de forma natural en la escena, en lugar de ser simplemente una calcomanía pegada sobre otro rostro.

Para probar si su método realmente funcionaba, los investigadores realizaron extensos experimentos utilizando miles de imágenes de bases de datos públicas que contienen retratos de alta calidad de personas reales. Compararon su nuevo sistema con varias de las mejores herramientas existentes, incluyendo tanto las antiguas herramientas basadas en GAN como los modelos de difusión más nuevos. Los resultados mostraron una clara ventaja para DiffSwap++. Cuando los investigadores midieron qué tan bien los rostos intercambiados conservaban la identidad de la persona original, su método puntuó consistentemente más alto que cualquier enfoque previo. En pruebas diseñas para ver si los rostos intercambiados podían engañar a un sistema de reconocimiento biométrico, DiffSwap++ fue significamente más exitoso en la preservación de la identidad de origen que sus competidores. Al mismo tiempo, no sacrificó el aspecto natural de la pose o la expresión del objetivo. Mientras que otros métodos a menudo producían rostros que parecían ligeramente distorsionados o fallaban en transferir la identidad por completo, DiffSswap++ produjo imágenes que eran tanto altamente realistas como fieles a la persona original.

El equipo también realizó un estudio con voluntarios humanos para ver qué tan convincentes parecían las imágenes al ojo desnudo. Los participantes se les mostraron conjuntos de rostos intercambiados y se les pidió que calificaran qué tan bien se preservaban la identidad, la expresión y la pose. Los resultados confirmaron lo que las mediciones de la computadora sugerían: las personas encontraron que las imágenes creadas por DiffSwap++ eran las más realistas y convincentes. Los rostros se veían naturales, sin los extraños artefactos o la mezcla antinatural que suelen delatar la manipulación digital. En contraste, otros métodos a veces dejaban signos reveladores de falsificación, como ojos huecos o texturas irregulares alrededor de la boca. Al integrar la conciencia estructural tridimensional en el proceso de aprendizaje, los investigadores demostraron que es posible lograr un nivel de detalle y precisión que antes estaba fuera de alcance, creando intercambios de rostros que no solo son visualmente impresionantes, sino también científicamente robustos en su preservación de la identidad.

Resumen Técnico: DiffSwap++: Difusión con Control de Latente 3D para el Intercambio de Rostros con Preservación de Identidad

1. Planteamiento del Problema

El intercambio de rostros consiste en transferir la identidad de un rostro de origen a un rostro de destino, preservando al mismo tiempo la pose, la expresión y el fondo del destino. Aunque las Redes Generativas Antagónicas (GAN) se han utilizado ampliamente, sufren de inestabilidad en el entrenamiento y suelen producir resultados con artefactos notables y una pobre consistencia de identidad. Los enfoques recientes basados en difusión han mejorado la fidelidad, pero aún luchan contra artefactos de grano fino y una débil preservación de la identidad. Una limitación principal identificada en los métodos de difusión existentes es la falta de un modelado explícito de la estructura facial 3D subyacente. Sin conciencia 3D, los modelos tienen dificultades para desentrelazar eficazmente la identidad de la pose y la expresión, lo que provoca intercambios que o bien fallan en transferir la identidad de origen o distorsionan los atributos del destino. Además, los métodos de difusión con conciencia 3D existentes (por ejemplo, DiffSwap) suelen limitar las características 3D a la generación de puntos de referencia (landmarks) en el tiempo de inferencia, en lugar de utilizarlas para guiar directamente el proceso de entrenamiento.

2. Metodología: DiffSwap++

Los autores proponen DiffSwap++, un nuevo flujo de trabajo que aprovecha las representaciones latentes con conciencia 3D para guiar el proceso de generación por difusión. El método opera enteramente dentro del espacio latente semántico de un Modelo de Difusión Latente (LDM) preentrenado utilizando Modelos Implícitos de Difusión con Denoising (DDIMs) para mayor eficiencia.

Componentes Principales

Entrenamiento con Conciencia 3D, Inferencia 2D: Una innovación clave es que DiffSwap++ incorpora información facial 3D durante el entrenamiento, pero opera sin características 3D en el tiempo de inferencia. Esto asegura que el modelo aprenda un desentrelazamiento geométrico robusto sin requerir capacidades de reconstrucción 3D durante el despliegue.
Extracción de Latente 3D: El sistema utiliza un modelo de reconstrucción facial 3D preentrenado (basado en EG3D) para proyectar imágenes faciales 2D en embeddings latentes 3D. Estos embeddings se organizan jerárquicamente en tres niveles de granularidad:
- Grano grueso (Capas 1-4): Controla la geometría estructural de baja frecuencia (forma de la cabeza, pose).
- Grano medio (Capas 5-9): Gobierna características localizadas (forma de los ojos, estructura de la boca).
- Grano fino (Capas 10-14): Representa detalles de alta frecuencia (textura de la piel, iluminación).
  Estas características se agregan para formar un vector latente 3D holístico ( $f_{3D}$ ) que captura la identidad estructural.
Flujo de Acondicionamiento: El modelo de difusión está condicionado por tres conjuntos de características distintas:
1. Características de Identidad ( $f_{ID}$ ): Extraídas de la imagen de origen mediante un modelo de reconocimiento facial preentrenado (por ejemplo, ArcFace) y proyectadas mediante un MLP.
2. Características de Puntos de Referencia ( $f_{LM}$ ): Derivadas de los puntos de referencia faciales 2D de la imagen de destino para preservar la pose y la expresión.
3. Características Latentes 3D ( $f_{3D}$ ): Las representaciones 3D agregadas de ambas imágenes (origen y destino), que guían el desentrelazamiento de la identidad de la pose/expresión.
  Estas características se combinan mediante agregación ponderada y se inyectan en la UNet a través de mecanismos de atención cruzada (cross-attention).

Objetivo de Entrenamiento

El proceso de entrenamiento se formula como una tarea de inpainting condicional y se optimiza mediante una función de objetivo de dos pasos:

Pérdida de Reconstrucción ( $L_{Recon}$ ): Una pérdida de difusión de denoising estándar que asegura que el modelo pueda reconstruir el rostro de destino a partir del ruido.
Pérdida de Preservación de Identidad ( $L_{ID}$ ): Calculada mediante la similitud de coseno entre el rostro intercambiado y la identidad de origen (vía ArcFace) para asegurar que la identidad de origen se mantenga.
Pérdida de Similitud Perceptual ( $L_{PS}$ ): Utiliza LPIPS para asegurar que el rostro generado se mezcle perfectamente con el fondo de destino y mantenga la coherencia visual.

La pérdida total es una suma ponderada: $L_{Total} = L_{Recon} + w_{ID}L_{ID} + w_{PS}L_{PS}$ .

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

Primer Marco de Difusión Guiado por 3D: DiffSwap++ es el primer marco de intercambio de rostros que aprovecha las características latentes faciales 3D para guiar un flujo de generación basado en difusión. Integra pistas geométricas 3D durante el entrenamiento mientras permanece totalmente en 2D durante la inferencia.
el Desempeño Superior y Robustez: Experimentos extensos en CelebA-HQ, FFHQ y CelebV-Text demuestran que el método supera a los modelos base del estado del arte en retención de identidad y realismo perceptual. Un estudio de usuario confirma que los intercambios generados son más convincentes visualmente que los métodos anteriores.
Evaluación Biométrica Novedosa: Los autores introducen una perspectiva de evaluación rigurosa al analizar el compromiso entre la Tasa de Aceptación de Presentación de Ataque de Impostor (IAPAR) y la Tasa de Falso Rechazo (FRR). Esto proporciona una medida cuantitativa de qué tan efectivo es el método para preservar la identidad de origen frente a sistemas de reconocimiento biométrico.

4. Resultados Experimentales

El método fue evaluado en tres conjuntos de datos públicos (CelebA-HQ, FFHQ, CelebV-Text) frente a modelos base incluyendo DiffFace, DiffSwap, REFace, HiFiFace y SimSwap.

Preservación de Identidad: DiffSwap++ logró la mayor precisión de recuperación de identidad Top-1 (94.7%) y Top-5 (98.2%) en CelebA-HQ, y 95.1%/98.4% en FFHQ. Esto supera significativamente a los modelos base de difusión como DiffSwap (16.9% Top-1) y métodos basados en GAN como HiFiFace (86.4% Top-1).
Calidad Visual: El método alcanzó la menor Distancia de Información de Fréchet (FID) de 6.42 en CelebA-HQ y 6.57 en FFHQ, indicando un alto fotorrealismo.
Pose y Expresión: Mientras que algunos métodos lograron puntuaciones de pose/expresión ligeramente mejores al realizar cambios mínimos en el rostro de destino (y, por tanto, fallar en la transferencia de identidad), DiffSwap++ mantuvo un compromiso equilibrado, preservando los atributos del destino con una degradación mínima (distancia $\ell_2$ de Pose: 3.29; Expresión: 1.00).
Análisis Biométrico: En el análisis IAPAR vs. FRR, DiffSwap++ demostró intercambios de alta fidelidad que preservaron con éxito la identidad de origen, manteniendo un umbral alto para la aceptación por parte de sistemas biométricos.
Eficiencia: DiffSwap++ requiere 3.35 segundos por imagen para la inferencia, lo que lo hace aproximadamente 1.5 veces más rápido que DiffSwap y 11 veces más rápido que DiffFace, utilizando 18.69 GB de VRAM.
Estudios de Ablación: Los experimentos confirmaron que la estrategia "Avg. Pool" para la agregación de características 3D (combinando capas de grano grueso, medio y fino) produce la mejor recuperación de identidad (79.30%) en comparación con el uso de capas específicas. El estudio también verificó que tanto las características de identidad como las de puntos de referencia son esenciales para el entrenamiento, y que 4 pasos de DDIM proporcionan el equilibrio óptimo durante el entrenamiento.

5. Significado y Reivindicaciones

El artículo afirma que DiffSwap++ aborda la limitación crítica de la conciencia 3D en el intercambio de rostros basado en difusión. Al incorporar características latentes 3D durante el entrenamiento, el modelo desentrelaza eficazmente la identidad de la pose y la expresión, resultando en intercambios que son tanto fotorrealistas como altamente efectivos en la transferencia de la identidad de origen.

Los autores enfatizan que su método no requiere características 3D en la inferencia, lo que lo hace práctico para el despliegue. El significado del trabajo reside en su capacidad para producir intercambios de rostros que son difíciles de distinguir de imágenes auténticas (alto IAPAR) mientras mantiene la integridad estructural del rostro de destino. El artículo concluye que DiffSwap++ ofrece el equilibrio más efectivo de alta fidelidad media y calidad de generación consistente, validado tanto mediante métricas cuantitativas como estudios de usuarios humanos. El código se ha puesto a disposición del público para facilitar la investigación posterior en este dominio.