CogPortrait: Fine-Grained Eye-Region Control in Portrait Animation via Hierarchical Agent Planning

Resumen Técnico: CogPortrait

Enunciado del Problema
Los métodos existentes de animación de retratos enfrentan una compensación significativa entre la granularidad de la entrada y la precisión del movimiento, particularmente en lo que respecta a la manipulación de alta precisión de la región ocular. Los enfoques actuales generalmente caen en dos categorías:

1. Métodos impulsados por etiquetas de alto nivel: Estos aceptan entradas simples como etiquetas de emoción o prompts de texto gruesos. Aunque son fáciles de usar, operan a un nivel semántico macro (por ejemplo, "ira") y no logran capturar dinámicas oculares sutiles e irregulares, como parpadeos asimétricos, desviación de la mirada o estados cognitivos como el sueño y el pensamiento.
2. Métodos impulsados por movimiento: Estos utilizan señales precisas como puntos clave faciales, Unidades de Acción (AU) o videos de conducción. Aunque ofrecen mayor fidelidad, imponen una gran carga de entrada al usuario, requiriendo la construcción manual de señales de movimiento. Además, a menudo tienen dificultades con patrones irregulares (por ejemplo, movimientos de cabeza de gran ángulo) debido a la escasez de datos y la subrepresentación en los conjuntos de entrenamiento.

El desafío central abordado por este trabajo es lograr un control directo y de alta precisión sobre las dinámicas de la región ocular (mirada, párpados, parpadeos, cejas) y la pose de la cabeza a partir de etiquetas semánticas de alto nivel, sin requerir entradas manuales a nivel de movimiento.

Metodología
Los autores proponen CogPortrait, un marco de dos etapas diseñado para compilar etiquetas de alto nivel en puntos clave faciales ejecutables y, posteriormente, generar animaciones de retratos de alta calidad.

• Etapa 1: Planificación Jerárquica de Agentes (Etiqueta a Puntos Clave)
  En lugar de regredir directamente señales de movimiento a partir de texto (lo que a menudo resulta en trayectorias sobre-suavizadas), los autores emplean un sistema estructurado de agentes de Modelo de Lenguaje Grande Multimodal (MLLM) con cadena de pensamiento (CoT) para descomponer etiquetas de alto nivel en eventos temporales y recuperar prototipos de comportamiento.

  • Agente de Planificación: Descompone la etiqueta objetivo (por ejemplo, "esfuerzo cognitivo") y las instrucciones opcionales de alta precisión en una secuencia de eventos estructurados temporalmente, especificando marcas de tiempo, intervalos de fotogramas y restricciones locales.
  • Agente de Composición: Recupera y ensambla prototipos de comportamiento de una Biblioteca de Prototipos curada. Esta biblioteca contiene datos de comportamiento facial del mundo real (intensidades de AU, mirada, pose de la cabeza) para garantizar dinámicas temporales genuinas. El agente coincide los eventos escalonados con estos prototipos, recortándolos y reescalándolos para ajustar la duración objetivo.
  • Agente Crítico: Hace cumplir la consistencia semántica y la plausibilidad fisiológica. Valida la secuencia contra reglas sobre la duración del parpadeo, los intervalos entre parpadeos, la co-activación de AU y la coordinación mirada-cabeza. Puede enviar señales de revisión de vuelta a los agentes de composición o planificación para corregir inconsistencias.
  • Capa de Mapeo: Proyecta las secuencias de control refinadas (AU, mirada, pose de la cabeza) en 62 puntos clave faciales específicos (párpados, cejas, pupilas, iris) utilizando deformación de malla FLAME y rotación rígida.

• Etapa 2: Generación de Video Basada en DiT
  Un backbone de transformador de difusión (DiT), basado en Wan2.2, sintetiza el video final condicionado al retrato de referencia, el audio de conducción, los prompts de texto y los puntos clave faciales generados.

  • Guía Libre de Clasificadores Dinámica (CFG): Para abordar los cambios globales de color (comunes con fondos uniformes) y los movimientos oculares de alta frecuencia débiles, los autores introducen una estrategia CFG dinámica. Esto implica reponderación temporal (guía más fuerte al inicio del desruido para fijar la apariencia global, más débil después) y reponderación espacial (un mapa gaussiano que concentra la guía en la región ocular mientras mantiene la guía base para el fondo).
  • Refinamiento Basado en KTO: Para manejar "casos límite" (por ejemplo, control asimétrico de las cejas, degradación de la identidad durante giros de cabeza de gran ángulo) que están subrepresentados en los datos de entrenamiento, el modelo se refina utilizando Optimización Kahneman-Tversky (KTO). Esto utiliza muestras curadas deseables (reales) e indeseables (fallos generados por el modelo) para alinear el modelo con las preferencias humanas de precisión de control y consistencia de identidad sin requerir datos de preferencia emparejados.

Contribuciones Clave

1. Marco CogPortrait: Una nueva tubería de dos etapas que traduce etiquetas semánticas de alto nivel en puntos clave faciales de alta precisión en la región ocular mediante planificación jerárquica de agentes, recuperación de prototipos y aplicación de restricciones.
2. Estrategias de Generación Mejoradas: La introducción de una CFG dinámica con reponderación consciente de la región ocular para equilibrar la controlabilidad local y la calidad visual global, y un refinamiento basado en KTO para mejorar el rendimiento en patrones de movimiento de cola larga e irregulares.
3. Benchamrk EMH: Un nuevo benchmark de evaluación que cubre seis emociones centrales y seis estados "más allá de la emoción" (por ejemplo, esfuerzo cognitivo, sueño, compromiso social). Introduce dos métricas a nivel de AU: AU-F1 (correctitud de activación) y AU-Temp (fidelidad de la trayectoria temporal) para evaluar específicamente el control de alta precisión de la región ocular y el movimiento de la cabeza.

Resultados
Se realizaron experimentos extensos en el conjunto de datos HDTF y el nuevo benchmark EMH:

• Rendimiento en HDTF: CogPortrait logró un rendimiento de vanguardia en calidad visual (FID: 16.68, FVD: 32.90), consistencia de identidad (ID-Sim: 0.9214) y sincronización labial. Notablemente, logró el Eye-LMD más bajo (0.0107), representando una mejora relativa del 38% sobre el segundo mejor método, confirmando un control superior de la región ocular.
• Rendimiento en el Benchmark EMH: En el benchmark EMH, la tubería completa (Ours Full) logró un AU-F1 de 0.9017 y un AU-Temp de 0.7397. Esto superó significativamente a las líneas base impulsadas por audio y etiquetas (por ejemplo, Sonic, FLOAT, EDTalk) y fue competitivo con métodos impulsados por movimiento (HunyuanPortrait), a pesar de no utilizar entradas de movimiento de verdad fundamental.
• Estudios de Ablación:
  • Eliminar la planificación basada en agentes y depender del mapeo directo de etiqueta a punto clave resultó en dinámicas temporales pobres (AU-Temp bajó a 0.5676).
  • Eliminar la CFG dinámica provocó cambios globales de color y redujo la consistencia de la identidad.
  • Eliminar el refinamiento KTO resultó en tasas de error más altas (Eye-LMD 0.0377 vs. 0.0311) y menor consistencia de identidad (ID-Sim 0.9089 vs. 0.9394) en casos límite como movimientos asimétricos de las cejas y giros de cabeza de gran ángulo.

Significado
El artículo afirma que CogPortrait cierra exitosamente la brecha entre la intención semántica de alto nivel y la ejecución de movimiento de bajo nivel en la animación de retratos. Al aprovechar la planificación jerárquica de agentes y una biblioteca de prototipos, permite la generación de estados complejos más allá de la emoción (como el pensamiento y el sueño) que anteriormente eran difíciles de controlar sin señales de conducción manuales. El trabajo demuestra que el control de alta precisión de la región ocular puede lograrse directamente a partir de etiquetas de alto nivel mientras se mantiene una calidad visual superior y consistencia de identidad, expandiendo el rango expresivo de la animación de retratos para aplicaciones en realidad virtual, interacción humano-computadora y producción cinematográfica.