Resumen Técnico: Loki – Representación sobre Arquitectura para la Animación de Retratos Basada en Difusión

Enunciado del Problema

La animación de retratos tiene como objetivo transferir las expresiones faciales y la pose de la cabeza de un clip de video de referencia a una única imagen de referencia, preservando la identidad de esta última. El desafío práctico reside en la reencarnación entre identidades, donde el conductor y la referencia son individuos diferentes.

Los sistemas actuales más avanzados basados en difusión abordan esto apilando módulos separados y entrenados para identidad, expresión y pose. Estos sistemas suelen condicionarse sobre señales RGB (o audio). El artículo argumenta que el RGB entrelaza fundamentalmente la identidad, la pose y la expresión en cada píxel. En consecuencia, la separación realizada por estos módulos apilados es estadística y no estructural, lo que genera problemas como la filtración de la identidad del conductor en la salida y la atenuación de detalles de expresión de alta frecuencia hacia un prior genérico. Además, estas arquitecturas complejas requieren conjuntos de datos de entrenamiento masivos y un número significativo de parámetros.

Metodología: Loki

Loki propone un cambio de paradigma desde la complejidad arquitectónica hacia la elección representacional. En lugar de aprender a separar características del RGB, Loki condiciona la columna vertebral de difusión sobre un modelo facial paramétrico (FLAME), cuyos ejes para identidad, expresión y pose son independientes por construcción.

1. La Ruta del Conductor (Expresión y Pose)

Loki rasteriza los parámetros de FLAME en un mapa de conductor espacial que sirve como señal de condicionamiento para la expresión y la pose de la cabeza. Este mapa consta de dos grupos de canales distintos:

• Codificación Posicional (42 canales): Codifica las coordenadas canónicas del espacio de plantilla de los vértices de la malla FLAME utilizando codificación posicional sinusoidal. Esto identifica qué punto de la cara es visible en cada píxel. Crucialmente, dado que estos valores se derivan del espacio de plantilla, son invariantes a la identidad; el mismo punto anatómico (por ejemplo, la punta de la nariz) siempre produce la misma codificación independientemente de la identidad de la persona.
• Deformación de Expresión (3 canales): Codifica los vectores de desplazamiento 3D ($\Delta x, \Delta y, \Delta z$) de los vértices de la malla con respecto a una expresión neutra. Esto captura cómo se ha movido la cara (por ejemplo, estiramiento de las comisuras de los labios, caída de la mandíbula). Dado que la base de expresión de FLAME es ortogonal a su base de identidad, estas deformaciones dependen exclusivamente de los coeficientes de expresión, no de la identidad ni de la pose.

Este mapa de conductor se submuestrea mediante un codificador ligero e inyecta en la red UNet de generación. Debido a que el mapa no contiene información de identidad por construcción, el modelo no necesita aprender a separar la identidad de la expresión.

2. La Ruta de Identidad

La identidad se enruta por separado a través de las características preentrenadas propias de la columna vertebral de difusión. Una copia congelada de la red UNet de Stable Diffusion 2.1 procesa la imagen de referencia, y sus características de autoatención se inyectan en la red UNet de generación mediante inyección de clave-valor. Esto aprovecha el prior generativo existente de la columna vertebral para mantener la identidad sin requerir un adaptador de identidad dedicado y entrenado ni una función de pérdida específica.

3. Inferencia entre Identidades mediante Sustitución Paramétrica

El mecanismo central que permite la reencarnación entre identidades sin datos de entrenamiento específicos es la sustitución paramétrica. Durante la inferencia, el sistema construye un mapa de conductor utilizando:

• La forma de identidad ($\vec{\beta}_{ref}$) y la cámara de la referencia.
• La expresión ($\vec{\psi}_{drv}$) y la pose ($\vec{\theta}_{drv}$) del conductor.

Dado que los canales de codificación posicional son invariantes a la identidad y los canales de deformación dependen únicamente de la expresión, el mapa de conductor resultante es estructuralmente idéntico a lo que el modelo vio durante el entrenamiento con la misma identidad, simplemente dispuesto sobre una geometría facial diferente. La red UNet de generación realiza el mismo paso hacia adelante en el que fue entrenada, transfiriendo efectivamente el movimiento del conductor a la forma de la referencia.

Contribuciones Clave

1. Condicionamiento Paramétrico Desentrelazado: Un marco que elimina la necesidad de módulos separados entrenados para expresión, pose e identidad. Al utilizar una representación rasterizada de FLAME, la expresión y la pose se entregan mediante una única señal espacial, mientras que la identidad se maneja mediante el prior de la columna vertebral. Esto reduce los parámetros de inferencia en un ~43% en comparación con las líneas base de difusión líderes.
2. Eficiencia en el Entrenamiento: El modelo se entrena con 1.496 veces menos datos de video (aproximadamente 1,7 horas frente a miles de horas para las líneas base) y logra capacidades entre identidades puramente mediante sustitución paramétrica, sin requerir pares de entrenamiento entre identidades.
3. Nuevas Métricas de Evaluación: El artículo introduce dos métricas fundamentadas en el modelo facial paramétrico para medir directamente la fidelidad al conductor, abordando la brecha en las métricas existentes que no logran medir el seguimiento del movimiento:
   • Seguimiento de Pose de Cabeza (HPF): Mide la distancia angular geodésica entre las trayectorias de rotación de la cabeza del conductor y la generada.
   • Seguimiento de Expresión (HEF): Mide la diferencia píxel a píxel en los mapas de deformación de expresión cuando la expresión del conductor se sustituye en la pose y la forma del objetivo.

Resultados

Evaluado en el conjunto de datos HDTF para reencarnación entre identidades:

• Fidelidad del Movimiento: Loki lidera o comparte el liderazgo en las métricas HPF y HEF propuestas. Logra un HEF de 0,0828 (menor es mejor), superando a las líneas base impulsadas visualmente como HunyuanPortrait (0,0850) y superando significativamente a los métodos impulsados por audio (0,11–0,12).
• Rendimiento Cualitativo: Loki reproduce grandes rotaciones de cabeza, aberturas amplias de la boca y expresiones asimétricas con mayor fidelidad que las líneas base, que tienden a subrotar las cabezas o atenuar la amplitud de la expresión hacia un prior moderado.
• Eficiencia de Recursos: Loki se entrena con 10.649 clips (aproximadamente 1,7 horas) con 1.770 millones de parámetros, mientras que las líneas base líderes se entrenan con más de 166.000 clips (hasta 2.543 horas) con 2.180–3.110 millones de parámetros.
• Estudios de Ablación: Eliminar la rasterización (usando vectores crudos) o los canales de codificación posicional degrada significativamente el rendimiento entre identidades, confirmando que el sesgo inductivo espacial y el sistema de coordenadas invariante a la identidad son críticos.

Significado y Limitaciones

El artículo afirma que la complejidad arquitectónica de los sistemas recientes de animación de retratos puede ser reemplazada por una elección representacional: condicionarse sobre un modelo paramétrico con ejes independientes. Este enfoque permite que la reencarnación entre identidades surja naturalmente como una sustitución de coeficientes en lugar de una capacidad aprendida.

Sin embargo, los autores son modestos respecto a los límites del sistema:

• Dependencia de FLAME: El condicionamiento está limitado por la fidelidad de los ajustes subyacentes de FLAME. Las expresiones fuera de la base del modelo, las caras ocluidas o los fallos de ajuste se propagan directamente al mapa de conductor.
• Métricas de Píxel: El sistema ocupa un lugar más bajo en las métricas tradicionales alineadas con píxeles (PSNR, SSIM, LPIPS) en comparación con las líneas base condicionadas por RGB. Los autores atribuyen esto al hecho de que las métricas de píxel recompensan a los sistemas que preservan el encuadre de la verdad fundamental, mientras que el fiel seguimiento del conductor de Loki introduce variaciones de pose y expresión que las métricas de píxel penalizan.
• Trabajo Futuro: Cerrar la brecha en las métricas de píxel sin reintroducir el entrelazamiento de identidad se identifica como una dirección para la investigación futura.