PortraitDirector: A Hierarchical Disentanglement Framework for Controllable and Real-time Facial Reenactment

1. El Problema

Las técnicas existentes de reenactment facial (animación de rostros basada en videos de referencia) enfrentan una disyuntiva fundamental entre expresividad y control granular:

• Modelos holísticos: Generan resultados fotorrealistas y muy expresivos, pero tratan el movimiento facial como una señal monolítica entrelazada, lo que impide el control independiente de componentes específicos (como mover solo la boca o cambiar la mirada sin afectar la pose).
• Métodos basados en control: Intentan separar los componentes (pose, expresión, emoción), pero a menudo sufren de baja fidelidad, falta de robustez en la descomposición o dependen de suposiciones geométricas rígidas que limitan la calidad visual.
• Sesgo emocional: Un problema crítico es que la emoción inherente del video de conducción ("driving video") suele dominar la síntesis, haciendo difícil aplicar una emoción objetivo diferente o controlar movimientos físicos sin que se vean contaminados por la emoción original.

2. Metodología: PortraitDirector

El artículo propone PortraitDirector, un marco de trabajo jerárquico que reformula el reenactment facial no como una tarea de mapeo directo, sino como una tarea de composición jerárquica. La arquitectura se basa en Wan-I2V y se divide en tres capas principales:

A. Descomposición Jerárquica del Movimiento

En lugar de procesar el movimiento como un todo, el modelo lo deconstruye en dos capas principales antes de recomponerlo:

1. Capa Espacial (Spatial Layer): Se encarga de los movimientos físicos y la geometría.

   • Pose Global: Se extraen parámetros explícitos de pose (rotación, traslación, escala) y se codifican en un espacio latente dedicado (l_pose). Se utiliza un PoseAdapter separado para inyectar esta información, garantizando que la pose no se entrelace con las expresiones faciales.
   • Expresiones Locales: Se detectan y recortan regiones de interés (ROI) específicas (ojos, boca) antes de la codificación. Cada región tiene su propio codificador de movimiento (MotionEncoder), asegurando que los latentes de ojos y boca estén desacoplados desde el inicio.

2. Capa Semántica (Semantic Layer): Se encarga del contenido emocional.

   • La emoción se trata como un atributo global y suave en el tiempo. Se extrae mediante un pooling temporal de los latentes de movimiento de una ventana de video, generando un latente de emoción global (l_emo) que representa el estado emocional persistente, separado de los movimientos transitorios de alta frecuencia.

B. Módulo de Filtrado de Emociones (Emotion-Filtering Module - EFM)

Este es un componente clave para resolver el sesgo emocional.

• Principio: Utiliza un cuello de botella de información (Information Bottleneck) basado en un autoencoder.
• Funcionamiento: Toma los latentes de movimiento local (ej. boca) y los fuerza a pasar por un canal de baja capacidad. Esto obliga al modelo a eliminar la información emocional residual ("ruido") y retener solo el movimiento físico básico (ej. abrir la boca).
• Resultado: Se obtienen latentes de movimiento "independientes de la emoción" (l_basic). Posteriormente, el módulo de composición reintroduce la emoción objetivo deseada mediante mecanismos de atención cruzada.

C. Capa de Composición (Composite Layer)

Reensambla los componentes desentrelazados en un latente de movimiento unificado y expresivo:

1. Inyecta la emoción global en los latentes de ojos y boca mediante Cross-Attention.
2. Fusiona estos latentes mejorados mediante Self-Attention.
3. Aplica una segunda capa de Cross-Attention para modular el resultado final con la emoción global, permitiendo un control preciso y regional.

D. Optimización para Tiempo Real

Para lograr rendimiento en tiempo real, el marco implementa varias optimizaciones:

• Distillation (DMD): Reduce los pasos de muestreo del modelo de difusión de 20 a 4.
• Atención Causal: Adapta la atención bidireccional a un mecanismo causal para permitir la generación en streaming.
• Aceleración de VAE: Se diseña un decodificador VAE ligero (reduciendo el ancho de capa a 1/4 del original) que acelera la síntesis en un 4x sin perder calidad visual.

3. Contribuciones Clave

1. Marco de Desentrelazamiento y Composición Jerárquica: Una arquitectura que separa explícitamente la pose, las expresiones locales y la emoción global, permitiendo la manipulación estratégica de cada componente.
2. Módulo de Filtrado de Emociones (EFM): Una innovación que utiliza el principio de cuello de botella para desacoplar el movimiento facial de la expresión emocional, resolviendo el problema del sesgo de la fuente.
3. Rendimiento en Tiempo Real: Logra una generación de streaming de alta fidelidad (512x512) a 20 FPS con una latencia de extremo a extremo de 800 ms en una sola GPU NVIDIA 5090.

4. Resultados

• Cualitativos: El modelo supera a métodos de vanguardia (como EDTalk, PDFGC, AniPortrait, XPortrait2) en la capacidad de controlar componentes individuales (boca, ojos, pose) de forma independiente. Muestra una mayor robustez ante variaciones de escala y evita artefactos visuales comunes.
• Cuantitativos:
  • En tareas de reenactment (auto y cruzado), logra los mejores resultados en métricas de similitud de identidad (ID-SIM) y menor pérdida de reconstrucción (MSE, LPIPS).
  • En control de componentes, demuestra una precisión superior en la manipulación de ojos y boca, con menores distancias de parámetros de pose y expresión en comparación con los baselines.
  • La ablación confirma que sin la separación estructural de pose-expresión o sin el EFM, el modelo sufre de entrelazamiento de escala y pérdida de control sobre la emoción objetivo.

5. Significado e Impacto

PortraitDirector representa un avance significativo en la animación facial generativa al resolver el compromiso histórico entre la calidad visual y el control preciso.

• Aplicabilidad: Su capacidad de funcionar en tiempo real con alta fidelidad lo hace viable para aplicaciones prácticas como avatares virtuales, efectos visuales en cine, entretenimiento interactivo y videojuegos.
• Paradigma Nuevo: Cambia el enfoque de "aprender una representación entrelazada" a "descomponer y recomponer", ofreciendo una vía más robusta para el control granular en modelos de difusión.
• Eficiencia: Demuestra que es posible ejecutar modelos de difusión complejos en hardware de consumidor (una sola GPU) con latencia mínima, democratizando el acceso a herramientas de reenactment de alta gama.