OMG-Avatar: One-shot Multi-LOD Gaussian Head Avatar

Resumen Técnico: OMG-Avatar

1. El Problema

La reconstrucción de avatares 3D animables a partir de una única imagen (one-shot) es un desafío crucial para aplicaciones en el Metaverso, videojuegos y reuniones virtuales. Aunque existen métodos basados en 2D (GANs, Difusión) y 3D (NeRF, Gaussian Splatting), enfrentan limitaciones significativas:

• Ineficiencia Computacional: Los métodos basados en GANs o Difusión requieren recursos masivos y no son aptos para tiempo real. Los métodos NeRF sufren de velocidades de renderizado lentas.
• Falta de Consistencia 3D: Los enfoques 2D a menudo fallan en mantener la consistencia multi-vista ante grandes cambios de pose.
• Complejidad y Redundancia: Los métodos recientes de Gaussian Splatting (como GAGAvatar o LAM) a menudo generan redundancia en los puntos gaussianos, requieren optimización por individuo o tienen una complejidad computacional que crece exponencialmente con el nivel de detalle (LOD), impidiendo su adaptación a hardware diverso.
• Representación Incompleta: Muchos modelos se centran solo en la cabeza, ignorando regiones como los hombros, lo que resulta en avatares visualmente incompletos.

2. Metodología

OMG-Avatar propone un marco unificado de una sola pasada (one-shot) que genera avatares gaussianos animables en 0.2 segundos, utilizando una representación de Niveles de Detalle (Multi-LOD).

Arquitectura y Componentes Clave:

• Extracción de Características Jerárquica (Global-Local):

  • Global: Utiliza un modelo Transformer con mecanismos de cross-attention. Las embeddings posicionales del modelo FLAME (5,023 vértices iniciales) actúan como consultas (queries) para extraer características globales de identidad de la imagen de origen (usando DINOv2).
  • Local: Emplea un módulo de Muestreo de Características por Proyección Jerárquica (HPFS). Proyecta la malla de la cabeza sobre el plano de la imagen para muestrear características locales de alta frecuencia directamente de la imagen.
  • Estrategia de Lo Fino a Lo Grueso (Coarse-to-Fine): En lugar de mapear características directamente a una malla de alta resolución (costoso), el modelo entrena subdividiendo progresivamente la malla y sus características asociadas. Esto permite inferencia dinámica de LOD en tiempo de ejecución.

• Fusión de Características Consciente de la Oclusión (OAFF):

  • Para resolver el problema de las regiones ocluidas (donde no hay información 2D local), el método utiliza un buffer de profundidad.
  • Genera una máscara de visibilidad binaria: si un vértice es visible, se fusiona su característica local; si está ocluido, se confía en la característica global semántica. Esto asegura coherencia espacial y plausibilidad de oclusión.

• Modelado Multi-Región (Cabeza + Hombros):

  • Dado que FLAME no cubre bien los hombros, el método segmenta la imagen para obtener una máscara de hombros.
  • Predice parámetros gaussianos para la cabeza y los hombros por separado utilizando características compartidas, y luego los integra mediante una combinación cruzada. Esto mejora la completitud del avatar.

• Renderizado y Reencuadre (Reenactment):

  • Reconstrucción: Se generan atributos gaussianos (color, opacidad, escala, rotación) para cada vértice de la malla subdividida.
  • Animación: Para el reencuadre, solo se actualizan las posiciones de los vértices (basadas en los parámetros de pose/expresión de una imagen de conducción) sin necesidad de volver a calcular los atributos gaussianos, permitiendo renderizado en tiempo real.
  • Refinamiento Neuronal: Un refinador neuronal (basado en UNet) mejora el mapa de características crudas para producir una imagen final de alta calidad, capturando detalles como arrugas y dientes.

3. Contribuciones Clave

1. OMG-Avatar: Un nuevo marco que reconstruye avatares gaussianos animables en 0.2 segundos desde una sola imagen, logrando inferencia en tiempo real (85 FPS en GPU A100, 126 FPS en RTX 4090).
2. Renderizado Multi-LOD Dinámico: Permite ajustar la complejidad geométrica (número de puntos gaussianos) en tiempo de ejecución para adaptarse a diferentes capacidades de hardware, manteniendo la calidad visual.
3. Estrategia de Aprendizaje y Fusión:
   • Uso de una estrategia coarse-to-fine con subdivisiones de malla para capturar detalles jerárquicos.
   • Mecanismo de fusión consciente de la oclusión que combina características globales y locales de manera robusta.
   • Esquema de modelado multi-región que integra hombros de alta fidelidad, superando la limitación de los modelos basados solo en FLAME.
4. Eficiencia Computacional: Reduce drásticamente el costo de entrenamiento y la cantidad de puntos gaussianos necesarios en comparación con el estado del arte (SOTA).

4. Resultados

Los experimentos se realizaron en los conjuntos de datos VFHQ y HDTF.

• Calidad de Reconstrucción: OMG-Avatar supera a los métodos SOTA (como LAM, GAGAvatar, Portrait4D-v2) en métricas objetivas: PSNR, SSIM y LPIPS.
  • En VFHQ, la versión de mayor detalle (Sub #2) alcanza un PSNR de 22.72 y un LPIPS de 0.091.
  • Incluso la versión de baja resolución (Sub #1, ~29k puntos) supera a LAM (80k puntos) y GAGAvatar (180k puntos) en calidad y eficiencia.
• Consistencia de Identidad y Movimiento: Logra una mejor preservación de la identidad (CSIM) y una transferencia más precisa de expresiones y poses (AED, APD, AKD).
• Eficiencia:
  • Velocidad: 85 FPS (A100) y 126 FPS (RTX 4090), superando a métodos basados en renderizado neuronal.
  • Entrenamiento: Requiere solo ~200 horas de GPU (1 A100), comparado con ~2600 horas de LAM.
  • Costo: La complejidad computacional de la atención cruzada se reduce significativamente al calcularla solo en el nivel inicial de la malla, en lugar de en la malla subdividida final.

5. Significado e Impacto

OMG-Avatar representa un avance significativo hacia la democratización de los avatares 3D de alta fidelidad.

• Viabilidad en Tiempo Real: Al reducir el tiempo de reconstrucción a 0.2s y permitir inferencia a >80 FPS, hace posible su uso en videoconferencias en vivo, chatbots interactivos y aplicaciones de realidad virtual/aumentada.
• Adaptabilidad: La capacidad de ajustar el Nivel de Detalle (LOD) dinámicamente permite desplegar el mismo modelo en dispositivos de gama alta y baja, solucionando un problema de compatibilidad crítica.
• Calidad vs. Eficiencia: Demuestra que es posible lograr una fidelidad visual superior con menos recursos computacionales y menos puntos gaussianos, estableciendo un nuevo estándar de eficiencia en la generación de avatares.
• Consideraciones Éticas: Los autores abordan el riesgo de deepfakes proponiendo marcas de agua visibles e invisibles y licencias restrictivas para el uso no consentido.

En conclusión, OMG-Avatar cierra la brecha entre la alta calidad visual y la eficiencia computacional, ofreciendo una solución robusta, rápida y adaptable para la creación de avatares humanos animables a partir de una sola imagen.