GTAvatar: Bridging Gaussian Splatting and Texture Mapping for Relightable and Editable Gaussian Avatars

Resumen Técnico: GTAvatar

1. El Problema

Los avances recientes en Gaussian Splatting (GS) han permitido la reconstrucción de avatares de cabeza fotorrealistas con capacidades de renderizado en tiempo real, superando a métodos basados en mallas tradicionales en términos de fidelidad geométrica y manejo de detalles de alta frecuencia. Sin embargo, estos avatares basados en Gaussiana sufren de una falta de editabilidad intuitiva.

• Limitación actual: Cada primitiva Gaussiana posee sus propios atributos de color o material de forma aislada, careciendo de la estructura compartida que ofrecen los mapas de textura UV. Esto impide realizar ediciones coherentes (como cambiar el color de los ojos, añadir tatuajes o suavizar la piel) de la misma manera que se hace en los flujos de trabajo tradicionales de gráficos por computadora.
• El dilema: Los métodos basados en mallas permiten edición fácil pero tienen dificultades con geometrías complejas o translúcidas y requieren optimizaciones costosas. Los métodos de Gaussiana son rápidos y precisos, pero "rígidos" para la edición artística. Además, métodos anteriores que intentaron mapear Gaussianas a UVs directamente resultaron en mapas de textura discontinuos y difíciles de editar.

2. Metodología

GTAvatar propone un marco híbrido que combina la precisión del Gaussian Splatting 2D (2DGS) con la intuitividad del mapeo de texturas UV en un dominio canónico. El sistema reconstruye un avatar de cabeza a partir de un único video monoculares RGB.

Componentes Clave del Pipeline:

• Anclaje a FLAME: Se utiliza el modelo morphable 3D FLAME como base geométrica. Las primitivas Gaussianas 2D se atan a los triángulos de la malla FLAME.
• Mapeo UV Eficiente (Contribución Central):
  • A diferencia de la 3DGS estándar (que opera en espacio de pantalla), la 2DGS define un sistema de coordenadas local para cada splat.
  • El método proyecta ortogonalmente la intersección del rayo con el splat hacia el plano del triángulo de la malla de referencia.
  • Mediante una multiplicación de matriz única por intersección, se calculan las coordenadas UV continuas correspondientes en el mapa de textura canónico. Esto evita la necesidad de redes neuronales complejas para "hornear" (baking) texturas.
• Modelado de Apariencia PBR (Physically Based Rendering):
  • En lugar de colores predefinidos, cada splat muestrea atributos de materiales de un mapa de textura aprendible: Albedo, Rugosidad, Reflexión Especular y Mapas de Normales.
  • Se utiliza un modelo de reflectancia Cook-Torrance con la aproximación split-sum para permitir el reiluminación bajo mapas de entorno arbitrarios.
  • Se introduce un mapa de normales residual en el espacio tangente para capturar detalles geométricos de alta frecuencia sin aumentar excesivamente el número de primitivas.
• Regularización UV: Se propone una nueva pérdida de regularización (UV Distortion Loss) que fuerza a que todas las intersecciones de rayos que contribuyen a un mismo píxel mapeen a coordenadas UV consistentes. Esto elimina artefactos de "fantasmas" y garantiza mapas de textura continuos y editables.

3. Contribuciones Clave

1. Representación Híbrida Eficiente: Es el primer avatar de cabeza Gaussiana que permite simultáneamente reiluminación física y edición de texturas UV semánticas sin necesidad de un segundo paso de optimización o redes neuronales adicionales.
2. Mapeo UV Diferenciable y Rápido: Desarrollan una técnica de proyección ortogonal eficiente que mapea las primitivas 2D a un dominio UV continuo con un costo computacional mínimo (una multiplicación de matriz), manteniendo la velocidad de renderizado en tiempo real.
3. Control Semántico y Compresión: Al definir los atributos en un mapa de textura global, se permite:
   • Edición intuitiva de materiales y normales directamente en el espacio UV.
   • Compresión del modelo en tiempo de prueba mediante el downsampling de las texturas sin reentrenar.
   • Supervisión intrínseca de materiales (ej. regularización de albedo basada en modelos estadísticos de FLAME).
4. Calidad de Reconstrucción: Logran una calidad de reconstrucción que iguala o supera a los métodos más avanzados (como HRAvatar), pero con un tamaño de modelo significativamente menor gracias a la eficiencia de las texturas para representar detalles.

4. Resultados

El método fue evaluado en los conjuntos de datos INSTA y HDTF para tareas de reenactment (reanimación) y reiluminación.

• Métricas Cuantitativas: GTAvatar supera a los métodos state-of-the-art (incluyendo HRAvatar, FLARE y Splatting-avatar) en métricas de fidelidad como PSNR, SSIM y LPIPS.
  • Ejemplo: En INSTA, obtuvo un PSNR de 30.52 y un LPIPS de 0.0552, superando a HRAvatar (30.36 / 0.0569).
• Eficiencia: Aunque el muestreo de texturas añade un costo, el método requiere menos primitivas Gaussianas para lograr la misma calidad que los métodos basados solo en Gaussiana. Esto resulta en tiempos de renderizado comparables (ej. >170 FPS en geometría estática en una GPU RTX A5000).
• Calidad Visual:
  • Edición: Permite añadir tatuajes, cambiar colores de ojos/cabello, suavizar piel o añadir maquillaje con consistencia en diferentes poses y expresiones.
  • Reiluminación: Muestra una descomposición física correcta de la luz, permitiendo cambiar el entorno de iluminación manteniendo la coherencia de sombras y reflejos.
  • Comparativa: Supera a métodos como FATE en la nitidez de los detalles de alta frecuencia y evita la discontinuidad de las texturas.

5. Significado e Impacto

GTAvatar cierra la brecha crítica entre la alta fidelidad de reconstrucción de los métodos basados en Gaussiana y la flexibilidad de edición de los métodos basados en mallas tradicionales.

• Aplicaciones: Abre nuevas posibilidades en efectos visuales (VFX), videoconferencias inmersivas y realidad virtual, donde los artistas necesitan controlar no solo la geometría, sino también los materiales intrínsecos (piel, maquillaje, accesorios) de manera intuitiva.
• Innovación: Demuestra que es posible mantener la eficiencia del rasterizado de Gaussiana mientras se adoptan los beneficios del mapeo de texturas UV, eliminando la necesidad de modelos de dos etapas o "baking" neuronal costoso.
• Ética: Los autores enfatizan el uso responsable de la tecnología para aplicaciones legítimas, advirtiendo contra el uso para deepfakes no consentidos.

En resumen, GTAvatar representa un paso significativo hacia avatares digitales que no solo son visualmente perfectos, sino también editables, controlables y físicamente plausibles para la industria creativa.