FG-Portrait: 3D Flow Guided Editable Portrait Animation

1. Problema Definido

La animación de retratos tiene como objetivo reenactar a una persona en una imagen de origen (source) utilizando la expresión y la pose de la cabeza de una imagen de conducción (driving). A pesar de los avances recientes en modelos de difusión, existen dos desafíos principales:

• Transferencia de movimiento subóptima: Los enfoques actuales basados en difusión suelen condicionar el modelo únicamente en el movimiento de la imagen de conducción (usando puntos de referencia o la imagen misma), lo que falla al capturar las correspondencias específicas entre la identidad de origen y el movimiento de conducción. Esto resulta en una transferencia de movimiento imprecisa, especialmente bajo grandes variaciones de pose o apariencia.
• Ambigüedad en la estimación de flujo: Los métodos que intentan establecer correspondencias mediante la estimación de campos de flujo 2D a partir de imágenes planas son problemas mal planteados (ill-posed) y propensos a errores, requiriendo grandes cantidades de datos de entrenamiento y fallando en generalizar ante cambios drásticos.

2. Metodología Propuesta

Los autores proponen FG-Portrait, un marco que introduce Flujos 3D (3D Flows) como una correspondencia de movimiento libre de aprendizaje (learning-free) y guiada por la geometría.

A. Flujos 3D (3D Flows)

En lugar de predecir el movimiento mediante redes neuronales, el método calcula directamente el desplazamiento 3D entre la imagen de origen y la de conducción utilizando el modelo paramétrico de cabeza FLAME.

• Se estiman los modelos FLAME para la imagen de origen ($M_{src}$) y la de conducción ($M_{dri}$).
• Se construye una imagen objetivo ($M_{tgt}$) combinando la forma de la imagen de origen con la pose y expresión de la conducción.
• Se establece una correspondencia punto a punto semántica entre $M_{tgt}$ y $M_{src}$ utilizando un campo de superficie (Surface Field).
• El flujo 3D ($f_{src \leftarrow tgt}$) se define como el vector de desplazamiento desde un punto en el espacio objetivo hasta su correspondiente en el espacio de origen. Esto captura matemáticamente el movimiento real en 3D sin ambigüedad.

B. Codificación de Flujo 3D y Muestreo Guiado por Profundidad

Para integrar este prior 3D en un modelo de difusión 2D, se introduce una nueva condición de entrada para el ControlNet:

• Codificación de Flujo 3D: Para cada píxel de la imagen objetivo, se proyecta hacia atrás al espacio 3D. En lugar de muestrear uniformemente, se utiliza una estrategia de Muestreo Guiado por Profundidad.
• Muestreo Guiado por Profundidad: Se estima un mapa de profundidad renderizado del modelo de cabeza objetivo. Los puntos 3D se muestrean en un rango estrecho alrededor de la profundidad estimada del píxel. Esto asegura que los flujos 3D seleccionados correspondan realmente al movimiento 2D visible en la imagen, mejorando la alineación entre el prior 3D y la tarea 2D.
• Estos flujos se apilan y se alimentan al ControlNet como una nueva condición de movimiento.

C. Edición de Expresión y Pose

El modelo soporta edición en modo feed-forward durante la inferencia. Los usuarios pueden modificar los parámetros de expresión ($\Delta \psi$) y pose ($\Delta \theta$) del modelo FLAME de conducción. El sistema recalcula los flujos 3D basándose en estos nuevos parámetros y genera la imagen editada manteniendo la identidad del origen.

3. Contribuciones Clave

1. Correspondencia de Movimiento 3D Libre de Aprendizaje: Introducción de flujos 3D calculados geométricamente a partir de modelos paramétricos, eliminando la necesidad de aprender campos de flujo complejos y mejorando la precisión en variaciones grandes de pose.
2. Codificación de Flujo 3D con Muestreo Guiado por Profundidad: Una nueva condición para modelos de difusión que alinea eficazmente el movimiento 3D con la imagen 2D, resolviendo el problema de la ambigüedad de profundidad.
3. Edición Interactiva: Capacidad de editar la expresión y la pose de la cabeza de manera específica para el usuario durante la inferencia, sin necesidad de reentrenar el modelo.
4. Rendimiento Superior: Validación exhaustiva que demuestra una transferencia de movimiento más fiel y una preservación de la identidad superior a los métodos basados en difusión actuales.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos VFHQ y FFHQ, comparando con métodos SOTA como X-Portrait, Face-Adapter, Follow-Your-Emoji y HunyuanPortrait.

• Precisión de Movimiento: El método propuesto logra los errores más bajos en Distancia Promedio de Pose (APD) y Distancia Promedio de Expresión (AED). Por ejemplo, en la tarea de reenactamiento cruzado en VFHQ, el APD fue de 7.764 (vs. 11.220 de X-Portrait) y el AED de 0.652 (vs. 0.766 de X-Portrait).
• Preservación de Identidad: Mantiene una alta similitud de identidad (CSIM) sin sacrificar la precisión del movimiento, logrando un equilibrio mejor que los métodos que tienden a copiar la imagen de conducción o la de origen.
• Calidad Visual: Las comparaciones cualitativas muestran que FG-Portrait evita los resultados suavizados en exceso o las inconsistencias de fondo que sufren otros modelos, logrando una fusión coherente entre el sujeto y el fondo bajo grandes movimientos.
• Consistencia Temporal: En la generación de video, el modelo demuestra una buena consistencia temporal (FVD competitivo), superando a varios métodos basados en difusión estándar.

5. Significado e Impacto

Este trabajo representa un avance significativo en la animación de retratos al cerrar la brecha entre la geometría 3D y la generación 2D.

• Rigor Geométrico: Al utilizar modelos 3D paramétricos para definir el movimiento, se elimina la ambigüedad inherente a la estimación de flujo 2D, proporcionando una guía de movimiento matemáticamente precisa.
• Flexibilidad: La capacidad de editar pose y expresión de forma interactiva abre nuevas posibilidades para aplicaciones en edición de retratos, producción cinematográfica y creación de humanos digitales.
• Eficiencia: Al ser "libre de aprendizaje" en la etapa de cálculo de correspondencias (solo requiere ajuste de FLAME), el método es robusto y generaliza bien a nuevas identidades y poses sin necesidad de datos masivos específicos para cada caso.

En resumen, FG-Portrait establece un nuevo estándar para la animación de retratos al combinar la precisión geométrica de los modelos 3D con la potencia generativa de los modelos de difusión, logrando resultados más realistas, precisos y editables.