Durian: Dual Reference Image-Guided Portrait Animation with Attribute Transfer

1. El Problema

La edición de apariencia personalizada (como probarse gafas virtuales o cambiar el peinado) en videos de retratos es un desafío significativo. Las soluciones existentes suelen estar limitadas a:

• Plantillas fijas: Que no se adaptan bien a cambios de pose o expresión.
• Modelos 3D predefinidos: Que restringen al usuario a un catálogo limitado.
• Falta de datos de entrenamiento: El entrenamiento de modelos para transferencia de atributos entre identidades diferentes (cross-identity) requiere tradicionalmente pares de imágenes de la misma persona con diferentes atributos (ej. misma cara con y sin gafas). Estos datos son escasos, costosos de recolectar y casi inexistentes para múltiples atributos combinados.
• Limitaciones actuales: Los métodos anteriores suelen enfocarse en un solo atributo o requieren múltiples etapas de inferencia y fine-tuning.

2. Metodología Propuesta: Durian

El authors proponen Durian, un marco de trabajo basado en difusión que genera animaciones de retratos con transferencia de atributos cruzada (de una identidad a otra) sin necesidad de datos emparejados explícitos.

A. Estrategia de Entrenamiento: Reconstrucción Autónoma (Self-Reconstruction)

Para superar la falta de datos emparejados, el modelo se entrena utilizando videos de retratos "in-the-wild" (no curados) mediante una formulación de reconstrucción autónoma:

• Pseudo-pares: Se toman dos frames aleatorios del mismo video de una misma persona. Uno actúa como referencia de atributo (ej. el peinado) y el otro como referencia de identidad (el rostro).
• Enmascaramiento Complementario: Se aplican máscaras binarias a las imágenes de referencia para forzar la separación de información:
  • La imagen de atributo se mantiene solo en la región del atributo ($\tilde{I}_{attr}$).
  • La imagen de identidad se mantiene solo fuera de la región del atributo ($\tilde{I}_{port}$).
• Objetivo: El modelo debe reconstruir el video original combinando la identidad de un frame y el atributo del otro, guiado por una secuencia de keypoints faciales. Esto enseña al modelo a disociar la identidad de los atributos sin supervisión cruzada explícita.

B. Arquitectura: Dual ReferenceNet

El núcleo del modelo es una arquitectura de red de doble referencia diseñada para procesar y fusionar las dos fuentes de información por separado:

1. Dos Ramas Separadas:
   • ARNet (Attribute ReferenceNet): Codifica la imagen de atributo enmascarada.
   • PRNet (Portrait ReferenceNet): Codifica la imagen de retrato enmascarada.
   • Ambas comparten la arquitectura de un U-Net, pero sin las capas temporales iniciales.
2. Atención Espacial (Spatial Attention): En lugar de concatenar simplemente las características, el modelo utiliza un mecanismo de atención espacial dentro del U-Net de denoising (DNet). Fusiona las características de la identidad y el atributo permitiendo que el modelo "atenda" a las regiones específicas de ambas referencias en cada paso de generación.
3. Guía Semántica: Se utilizan embeddings de CLIP y ArcFace para reforzar la preservación de la identidad y la consistencia semántica del atributo.
4. Guía de Keypoints: Una secuencia de keypoints faciales (extraídos con Sapiens) guía el movimiento y la expresión del video generado.

C. Estrategias de Puenteo (Training-to-Inference Gap)

Dado que el entrenamiento ocurre dentro de un mismo video (misma identidad) pero la inferencia requiere transferencia entre identidades diferentes, se introducen técnicas para cerrar esta brecha:

• Expansión de Máscara (Mask Expansion): Se utiliza un modelo generativo (SDXL + ControlNet) para crear variaciones sintéticas del atributo (ej. cambiar "cabello corto" por "cabello largo") y se expande la máscara de entrenamiento. Esto entrena al modelo para manejar diferentes formas y tamaños de atributos.
• Aumento de Imágenes de Referencia: Se aplican transformaciones afines aleatorias y ajustes de color a las imágenes de referencia durante el entrenamiento para simular desalineaciones espaciales y variaciones fotométricas, mejorando la robustez.

D. Inferencia y Extensiones

• Alineación: En la inferencia, se utiliza un módulo de alineación facial (Face Aligner) para alinear la imagen de atributo con el retrato objetivo antes de generar la máscara final.
• Composición Multi-atributo: Gracias al mecanismo de atención espacial, el modelo puede concatenar características de múltiples imágenes de atributo (ej. gafas + sombrero + barba) en una sola pasada, sin necesidad de reentrenamiento.
• Interpolación de Atributos: Permite transiciones suaves entre dos atributos de la misma categoría (ej. entre dos peinados) interpolando linealmente sus características latentes.

3. Contribuciones Clave

1. Primera metodología unificada: Es el primer método capaz de generar animaciones de retratos con transferencia de atributos cruzada directamente desde dos imágenes de referencia, generalizando más allá del cabello (gafas, barbas, sombreros, etc.).
2. Entrenamiento sin datos emparejados: Propone un esquema de entrenamiento de reconstrucción autónoma que elimina la necesidad de triplets de datos (origen, destino, edición), utilizando videos naturales.
3. Arquitectura Dual ReferenceNet: Diseña una red con dos ramas separadas fusionadas por atención espacial, logrando una disociación efectiva entre identidad y atributo.
4. Capacidades Emergentes: El modelo soporta naturalmente la composición de múltiples atributos y la interpolación suave en una sola generación, sin fine-tuning adicional.
5. Robustez: Las estrategias de expansión de máscara y aumento de datos permiten una transferencia robusta ante variaciones espaciales y de alineación.

4. Resultados

El modelo fue evaluado en dos escenarios: transferencia de auto-atributo (reconstrucción) y transferencia cruzada de atributos.

• Métricas Cuantitativas: Durian superó consistentemente a las líneas base (combinaciones de métodos de transferencia de atributos + animación como LivePortrait, X-Portrait, MegActor-P) en métricas de fidelidad (L1, PSNR, SSIM) y calidad perceptual (FID, LPIPS).
• Preservación de Identidad: Logró una mayor similitud de identidad (ID-Sim) y consistencia temporal (VFID) en comparación con los métodos existentes.
• Calidad Visual: En evaluaciones cualitativas, generó animaciones realistas donde los atributos transferidos se adaptan correctamente a la pose y expresión, manteniendo la coherencia espacial y de detalles finos.
• Versatilidad: Demostró éxito en la combinación simultánea de múltiples atributos y en la creación de transiciones suaves (interpolación) entre estilos.

5. Significado e Impacto

El trabajo Durian representa un avance significativo en la edición de video de retratos al resolver el problema fundamental de la escasez de datos de entrenamiento para transferencia de atributos cruzada.

• Cambio de Paradigma: Demuestra que es posible aprender a transferir atributos complejos entre identidades diferentes utilizando únicamente videos no curados, eliminando la dependencia de costosas recolecciones de datos o modelos 3D pre-escaneados.
• Aplicabilidad Práctica: Su capacidad para manejar múltiples atributos y realizar interpolaciones en tiempo real lo hace ideal para aplicaciones de estilo virtual, realidad aumentada y creación de contenido, ofreciendo una experiencia de usuario flexible y controlable.
• Generalización: Al no depender de etiquetas de categorías específicas o máscaras predefinidas por frame, el sistema es más adaptable a nuevos atributos y escenarios del mundo real.

En resumen, Durian establece un nuevo estado del arte (SOTA) en la animación de retratos con transferencia de atributos, ofreciendo un marco robusto, eficiente y altamente flexible para la síntesis de video personalizada.