Resumen Técnico: FaithfulFaces

Enunciado del Problema

La generación de video a partir de texto con preservación de identidad (IPT2V) tiene como objetivo crear videos diversos a partir de una imagen de referencia facial y prompts de texto, manteniendo una identidad facial humana consistente a través de los fotogramas. A pesar de los avances recientes en modelos fundamentales de video a gran escala (por ejemplo, HunyuanVideo, CogVideoX, Wan), los métodos existentes luchan en escenas dinámicas complejas. Específicamente, cuando los sujetos experimentan variaciones significativas en la pose facial (por ejemplo, girar de frontal a perfil) o sufren oclusiones faciales, los enfoques actuales a menudo producen distorsión severa de la identidad, colapso estructural o pérdida de detalles faciales. La limitación central identificada es que los codificadores existentes típicamente capturan solo una pose de una sola vista a partir de la imagen de referencia de entrada, fallando en representar la información de la pose facial global necesaria para una generación robusta bajo condiciones dinámicas.

Metodología

Los autores proponen FaithfulFaces, un marco de aprendizaje para la preservación de identidad facial fiel a la pose, diseñado para abordar estas limitaciones. La metodología consta de tres componentes principales:

1. Alineador de Identidad Compartido por Pose

La innovación central es un codificador especializado, $\phi_{gfp}$, diseñado para extraer representaciones de la pose facial global a partir de una imagen de entrada de una sola vista.

• Arquitectura: El alineador tokeniza las imágenes de rostro de entrada en incrustaciones secuenciales. Para proporcionar pistas de pose explícitas, integra incrustaciones de ángulos de Euler (pitch, yaw, roll) regresadas por un estimador de pose preentrenado (6DRepNet) directamente en las incrustaciones faciales.
• Diccionario Compartido por Pose: El sistema emplea una matriz de diccionario aprendible y compartida por pose $D$. Las incrustaciones combinadas se proyectan en este espacio de diccionario mediante cálculos de correlación y max-pooling para generar pesos de diccionario. Estos pesos se utilizan luego para reconstruir representaciones refinadas de la pose facial global ($S_{p1}, S_{p2}$).
• Objetivo de Entrenamiento: El alineador se entrena utilizando una Restricción de Variación de Pose–Invarianza de Identidad. Esto utiliza un paradigma de aprendizaje contrastivo (pérdida InfoNCE) donde las imágenes faciales de la misma identidad pero con diferentes poses se tratan como pares positivos, mientras que las diferentes identidades sirven como pares negativos. Esto fuerza al modelo a alinear diversas poses en un espacio de identidad unificado mientras maximiza la información de identidad compartida a través de las variaciones de pose.

2. Pipeline de Construcción de Dataset

Reconociendo la falta de datos de entrenamiento adecuados, los autores desarrollaron un pipeline especializado para curar un dataset de video de alta calidad que presenta una diversidad sustancial de poses faciales:

• Filtrado: Los videos se filtran para asegurar la presencia de un solo sujeto y excluir aquellos sin rostros.
• Selección de Pose: Un paso de estimación de pose calcula la variación de los ángulos de Euler a lo largo de un video. Solo se retienen los videos con una variación total de pose ($Var$) que supera un umbral de 120 (indicando transiciones significativas como de frontal a perfil).
• Generación de Prompts: Los prompts de texto se generan utilizando un Modelo de Lenguaje Grande Multimodal (MLLM) y se refinan manualmente para describir la apariencia, las acciones y los fondos.
• Resultado: Un dataset de 51,624 muestras que contiene video, prompts de texto, rostros recortados y ángulos de Euler.

3. Integración con Modelos Generativos

El marco opera sobre un modelo fundamental de texto a video (específicamente VACE-14B en sus experimentos). Las representaciones refinadas de la pose facial global se inyectan en el proceso de generación de video ruidoso junto con el prompt de texto y la imagen de referencia original. El sistema utiliza LoRA (Adaptación de Bajo Rango) para ajustar finamente el modelo fundamental, permitiéndole aprovechar los nuevos priores fieles a la pose sin alterar el conocimiento preentrenado central.

Contribuciones Clave

1. Paradigma de Aprendizaje Fiel a la Pose: El artículo introduce FaithfulFaces, un marco que aborda sistemáticamente las limitaciones de los métodos IPT2V existentes al manejar dinámicas faciales complejas mediante la modelización explícita de la pose facial global.
2. Alineador de Identidad Compartido por Pose: Un módulo novedoso que codifica representaciones de la pose facial global a partir de imágenes de una sola vista utilizando un diccionario compartido por pose y una restricción de variación de pose–invarianza de identidad, potenciado por incrustaciones explícitas de ángulos de Euler.
3. Pipeline de Dataset Especializado: El desarrollo de un pipeline riguroso de recolección y procesamiento de datos que construye un dataset de video orientado a la tarea con diversidad significativa de poses faciales, asegurando un entrenamiento robusto del modelo.

Resultados Experimentales

Los autores realizaron evaluaciones cuantitativas y cualitativas extensas contra métodos de código abierto y comerciales de última generación (incluyendo ConsisID, VACE, Kling, Vidu y HunyuanCustom).

• Rendimiento Cuantitativo: FaithfulFaces logró un rendimiento de última generación en cuatro métricas:
  • Preservación de Identidad: Superó significativamente a las líneas base en FaceSim-Cur (0.568 frente a 0.484 para la siguiente mejor) y FaceSim-Arc (0.542 frente a 0.456).
  • Calidad Visual: Logró la puntuación FID más baja (164.24), indicando una mayor fidelidad a las distribuciones de rostros reales.
  • Alineación con Texto: Alcanzó el CLIPScore más alto (33.93).
• Rendimiento Cualitativo: Las comparaciones visuales demostraron que FaithfulFaces mantiene estructuras faciales claras y detalles de identidad consistentes incluso durante movimientos intensos (por ejemplo, rutinas de boxeo) y oclusiones, mientras que los métodos de línea base exhibieron distorsión severa o colapso de identidad.
• Estudios de Ablación: Los experimentos confirmaron que tanto el Alineador de Identidad como la Incrustación de Ángulo de Euler son críticos. La eliminación del alineador causó un colapso de identidad, mientras que la eliminación de las incrustaciones de Euler redujo la discriminabilidad. El estudio también mostró la robustez del método ante vistas de entrada no frontales y perturbaciones menores en los ángulos de Euler.

Significado y Afirmaciones

El artículo afirma que FaithfulFaces representa un paso significativo adelante en IPT2V al resolver el desafío específico de la distorsión de identidad bajo grandes variaciones de pose. Al cambiar de la codificación de identidad de una sola vista a un enfoque fiel a la pose que aprovecha los priores de pose global, el método permite que los modelos generativos fundamentales produzcan videos con una consistencia de identidad superior y claridad estructural. Los autores enfatizan que su enfoque proporciona una garantía teórica (mediante límites de información mutua) de que la representación global aprendida preserva la información de identidad a través de las poses, previniendo el "colapso" observado en trabajos anteriores. El trabajo se presenta como una solución a un cuello de botella crítico en la generación de videos humanos realistas y dinámicos para aplicaciones en cine, publicidad y avatares personalizados, al tiempo que reconoce las implicaciones éticas relacionadas con los deepfakes y la desinformación.