Instant Expressive Gaussian Head Avatars at Over 100 FPS

Resumen Técnico: Avatares de Cabeza de Gaussianos Instantáneos y Expresivos a más de 100 FPS

Planteamiento del Problema
El artículo aborda el "trilema de la animación de retratos", un desafío donde los métodos existentes no logran alcanzar simultáneamente una alta velocidad, consistencia 3D y detalle expresivo en la animación facial.

• Métodos 2D: Los enfoques basados en modelos de difusión de video o GAN ofrecen una alta expresividad pero sufren de inconsistencia 3D (por ejemplo, deriva de identidad, rasgos alucinados) y velocidades de inferencia lentas debido a procesos de eliminación de ruido costosos, lo que los hace inadecuados para aplicaciones en tiempo real como la telepresencia o los gemelos digitales.
• Métodos 3D: Los métodos que utilizan representaciones 3D (NeRFs, 3D Gaussians) garantizan la consistencia 3D y velocidades más rápidas, pero a menudo dependen de modelos paramétricos (3DMMs) que limitan la expresividad, o utilizan mecanismos de fusión global computacionalmente costosos (por ejemplo, capas de atención densa) para combinar estructura y movimiento, lo que resulta en detalles de expresión inferiores y tasas de fotogramas más bajas.

Metodología
Los autores proponen un pipeline de alimentación directa (feed-forward) que convierte instantáneamente una única imagen "en el mundo real" (in-the-wild) en un avatar animable y con consistencia 3D utilizando 3D Gaussian Splatting. Los componentes principales son:

1. Representación de Gaussianos 3D y Codificador:

   • El sistema adapta un codificador de elevación de 2D a 3D de última generación (diseñado originalmente para triplanos neuronales) para codificar una única imagen de entrada en un conjunto de Gaussianos 3D.
   • En lugar de campos volumétricos, el método muestrea Gaussianos 3D a partir de triplanos codificados. Un decodificador MLP ligero mapea los vectores de características a atributos de los Gaussianos (posición, escala, rotación, opacidad, color).
   • El muestreo se realiza mediante una estrategia de muestreo de importancia de dos pasadas sobre los rayos, generando aproximadamente 200K Gaussianos suficientes para el renderizado de 512×512 de resolución.

2. Deformación en el Espacio de Características para la Animación:

   • A diferencia de trabajos previos que deforman los Gaussianos directamente en el espacio espacial 3D (actualizando vectores de posición/escala), este método deforma los Gaussianos en un espacio de características de alta dimensión.
   • Vectores de Base de Movimiento: Cada ubicación de los Gaussianos muestreados está asociada con un "vector de base de movimiento" aprendido ($m_i$) que codifica capacidades de deformación espacialmente variables (análogo a blendshapes personalizados).
   • Fusión Local: Un codificador de movimiento extrae coeficientes de movimiento 1D tanto de las imágenes de origen como de las de conducción (driving). Un decodificador de movimiento ligero (usando AdaLN) predice un vector de característica residual ($\delta f_i$) para cada Gaussiano basado en los coeficientes de movimiento y el vector de base de movimiento específico.
   • Los atributos finales de los Gaussianos se decodifican a partir de la suma del vector de característica original y el residual predicho ($f_i + \delta f_i$). Esta estrategia de fusión local evita los costosos mecanismos de atención global, permitiendo una inferencia de alta velocidad.

3. Estrategia de Entrenamiento con Guía de Difusión:

   • Para superar la falta de datos de expresión 3D consistentes en el mundo real, los autores construyen un conjunto de datos sintético utilizando un modelo de difusión 2D de última generación (X-NeMo).
   • Frontalización: Para prevenir alucinaciones e inconsistencias de perspectiva comunes en los modelos de difusión, las imágenes de origen y de conducción se frontalizan primero. Las expresiones se sintetizan únicamente en estas vistas frontales.
   • Supervisión Multivista: Una red preentrenada de 2D a 3D genera imágenes multivista a partir de los retratos sintéticos frontalizados durante el entrenamiento, imponiendo consistencia geométrica entre vistas.
   • El modelo se entrena mediante un objetivo de autorreenactment (self-reenactment), minimizando la pérdida de reconstrucción, la pérdida perceptual, la pérdida de identidad y la pérdida adversarial entre la salida renderizada y las imágenes objetivo.

Contribuciones Clave

• Representación de Animación Eficiente: Una representación novedosa que desacopla la estructura 3D de la representación de la animación. Al deformar las características en un espacio de alta dimensión utilizando vectores de base de movimiento aprendidos, el método captura de manera más efectiva las expresiones asimétricas, las arrugas y los cambios de sombra que los métodos de deformación espacial.
• Fusión Local Ligera: El diseño reemplaza los pesados mecanismos de fusión global con una estrategia de fusión local eficiente, logrando una alta expresividad sin el costo computacional de las capas de atención repetidas.
• Pipeline de Entrenamiento Sintético: Una estrategia práctica para aprovechar los modelos de difusión 2D para el entrenamiento de animación 3D mientras se mitigan sus inconsistencias 3D inherentes mediante la frontalización y la supervisión multivista.
• Rendimiento: El método es el primero en lograr simultáneamente una consistencia 3D de primer nivel, transferencia de expresión detallada y velocidades de inferencia en tiempo real.

Resultados

• Velocidad: El método funciona a 107.31 FPS para la animación y el control de pose en una GPU NVIDIA 6000 Ada. Esto representa una aceleración de 3 a 4 órdenes de magnitud en comparación con los métodos basados en difusión y supera significativamente a los métodos con conciencia 3D existentes (por ejemplo, Portrait4D-v2 a ~14.5 FPS).
• Calidad: En evaluaciones cuantitativas (conjunto de pruebas VOODOO-XP), el método logra la mejor consistencia 3D (MEt3R) y precisión de forma 3D (IoU) entre todos los modelos de referencia (baselines). También alcanza una precisión de transferencia de expresión (AED) y similitud de emoción (EMO) de vanguardia, superando incluso al modelo profesor basado en difusión (X-NeMo) en tareas de autorreenactment.
• Fidelidad Visual: Los resultados cualitativos muestran una transferencia fiel de expresiones extremas, incluyendo arrugas nasales y movimientos oculares, sin la distorsión de identidad o los rasgos alucinados (por ejemplo, bigotes falsos) observados en otros métodos.

Significado
El artículo afirma resolver el trilema de la animación de retratos, permitiendo la creación de gemelos digitales 4D a partir de una sola imagen con rendimiento en tiempo real. Al lograr una alta expresividad sin sacrificar la consistencia 3D o la velocidad, el método facilita aplicaciones del mundo real como la realidad aumentada/virtual (AR/VR), las videoconferencias y la IA agéntica, donde la capacidad de control y la capacidad de respuesta en tiempo real son críticas. Los autores señalan que, aunque el método es actualmente impulsado por imágenes, la arquitectura soporta la codificación de otras condiciones (audio, texto) en coeficientes de movimiento para futuras expansiones.