FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision

1. El Problema

La creación de avatares 3D de alta calidad y completos a partir de una sola imagen (o pocas observaciones) es un desafío fundamental en visión por computadora debido a dos limitaciones principales:

• Regiones no observadas: Una sola imagen no proporciona información sobre la parte trasera de la cabeza o los lados, lo que dificulta la reconstrucción 3D completa.
• Entrelazamiento de señales en datos monoculares: La mayoría de los conjuntos de datos disponibles son videos monoculares (una sola cámara). En estos datos, la señal de conducción (expresión facial) y el punto de vista objetivo están intrínsecamente entrelazados. El modelo aprende a "adivinar" el punto de vista basándose en la expresión, lo que resulta en reconstrucciones 3D incompletas que solo funcionan bien desde el ángulo frontal (donde se entrenaron).
• Limitaciones de los datos multivista: Aunque los datos multivista (cámaras múltiples) resuelven el problema de la completitud 3D, son escasos, difíciles de obtener para muchas personas y no generalizan bien a nuevas identidades.

2. Metodología: FlexAvatar

FlexAvatar propone un pipeline de encoder-decoder basado en transformadores que combina lo mejor de los datos monoculares (generalización) y multivista (completitud 3D) mediante una arquitectura innovadora.

Arquitectura Principal

1. Encoder (E):
   • Utiliza un modelo preentrenado (DINOv2) y un ViT ligero para extraer características de la imagen de entrada.
   • Emplea un mecanismo de atención cruzada donde las consultas (queries) están ancladas al espacio UV de una malla de plantilla de cabeza (canónica).
   • El resultado es un código de avatar latente (A) comprimido y bidimensional que contiene la información de identidad, pero es agnóstico al punto de vista y a la expresión.
2. Decoder (D):
   • Toma el código de avatar (A) y un código de expresión ($z_{exp}$, típicamente basado en FLAME).
   • Utiliza atención cruzada para integrar la expresión en la representación del avatar.
   • Upsampler: Emplea una arquitectura híbrida basada en PixelShuffle y bloques inspirados en StyleGAN2 para aumentar la resolución del mapa de características y decodificar los atributos de los Gaussianos 3D (posición, rotación, escala, color, opacidad).
   • Finalmente, un rasterizador diferenciable renderiza los Gaussianos 3D desde cualquier punto de vista deseado.

La Innovación Clave: "Bias Sinks" (Sumideros de Sesgo)

El núcleo de la solución al problema de entrelazamiento es el uso de tokens de sesgo aprendibles (bias sinks):

• Se introducen dos tokens aprendibles en la secuencia de entrada del decoder: $z_{2D}$ (para datos monoculares) y $z_{3D}$ (para datos multivista).
• Durante el entrenamiento:
  • Si la muestra proviene de un dataset monocular, se inyecta $z_{2D}$. El modelo aprende a predecir cabezas parciales (completas solo desde el frente) para satisfacer la pérdida de esa vista específica.
  • Si la muestra proviene de un dataset multivista, se inyecta $z_{3D}$. El modelo aprende a generar una cabeza 3D completa.
• Durante la inferencia:
  • Se utiliza exclusivamente el token $z_{3D}$, independientemente de si la imagen de entrada es monocular o no.
  • Esto "desentrelaza" la señal de conducción del punto de vista, forzando al modelo a generar una cabeza 3D completa y generalizable, aprovechando al mismo tiempo la capacidad de generalización aprendida de los vastos datos monoculares.

Ajuste (Fitting)

El espacio latente suave generado por el entrenamiento permite un ajuste flexible. Si se tienen múltiples imágenes de una persona, se puede optimizar el código de avatar inicial ($A_{init}$) para ajustarse a todas las observaciones, mejorando la fidelidad de la identidad y la nitidez sin reentrenar la red completa.

3. Contribuciones Clave

1. Pipeline Eficiente y de Alta Calidad: Un método capaz de crear avatares 3D animables y completos desde una sola imagen en minutos.
2. Bias Sinks: Una técnica novedosa que permite entrenar modelos mixtos (monocular + multivista) y controlar el comportamiento de salida (completitud 3D vs. generalización) mediante tokens aprendibles, resolviendo el problema de entrelazamiento señal-vista.
3. Arquitectura de Upsampling: Una combinación eficiente de PixelShuffle y bloques StyleGAN para decodificar Gaussianos 3D de alta resolución con detalles finos.
4. Espacio Latente Suave: Facilita la interpolación entre identidades y el ajuste flexible a cualquier número de observaciones (few-shot o video monocular).

4. Resultados Experimentales

El modelo se evaluó en cuatro tareas principales, superando a los métodos más avanzados (SOTA) como LAM, GAGAvatar, Portrait4D, CAP4D y RGBAvatar:

• Animación de Retrato 3D: En el conjunto de datos VFHQ, FlexAvatar superó a todos los competidores en métricas de calidad de imagen (PSNR, SSIM, LPIPS) y consistencia temporal, logrando animaciones realistas tanto en reenactment propio como cruzado.
• Creación de Avatar con Imagen Única: En el dataset Ava256 (donde se requiere renderizar desde ángulos no vistos), FlexAvatar generó cabezas 3D completas y realistas, mientras que otros métodos producían artefactos o cabezas parciales.
• Creación Few-Shot (4 imágenes): Superó a Avat3r en preservación de identidad (CSIM) y nitidez (LPIPS), logrando avatares de alta fidelidad en ~7 minutos.
• Creación con Video Monocular (Benchmark NeRSemble): En un desafío de 5 sujetos con videos monoculares, FlexAvatar superó a todos los baselines, incluyendo métodos que dependen de priores 3D fuertes. Destacó por su velocidad de ajuste (10 minutos vs. 4 horas de otros métodos) y calidad de renderizado.

5. Significado e Impacto

FlexAvatar representa un avance significativo en la síntesis de avatares 3D al demostrar que es posible lograr completitud 3D sin depender exclusivamente de costosos escaneos multivista.

• Generalización: Al aprender de datos monoculares masivos pero controlar la completitud mediante los bias sinks, el modelo generaliza mejor a nuevas identidades y dominios "in-the-wild".
• Versatilidad: El pipeline es agnóstico al control de animación (puede usar códigos FLAME, encoders de voz o modelos implícitos) y funciona con una sola imagen, pocos ejemplos o videos.
• Aplicabilidad: Hace viable la creación de avatares de alta calidad para teleconferencias inmersivas, videojuegos y realidad virtual utilizando solo una cámara de teléfono o una foto, democratizando el acceso a la tecnología de avatares 3D.

En resumen, FlexAvatar resuelve el dilema entre la generalización (datos monoculares) y la completitud geométrica (datos multivista) mediante un diseño arquitectónico inteligente que separa explícitamente los sesgos de los conjuntos de datos durante el entrenamiento.