SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

Imagina que estás intentando construir un mundo virtual para un videojuego o una experiencia de realidad virtual. Quieres mostrar a un personaje u objeto desde cualquier ángulo, no solo desde el frente. Durante mucho tiempo, las computadoras fueron como pintores planos; podían tomar una foto de un rostro y convertirla en un dibujo animado, pero realmente no entendían que el rostro tiene profundidad, una nariz que sobresale o orejas a los lados. Si intentabas girar la imagen hacia un lado, la computadora simplemente estiraba la imagen, haciendo que el rostro pareciera un panqueque derretido. Para solucionar esto, los científicos están trabajando en la generación "consciente del 3D". Este es el arte de enseñar a las computadoras que los objetos existen en un espacio tridimensional, con volumen y estructura, para que puedan crear nuevas vistas que se vean reales y se mantengan consistentes. Las herramientas que utilizan son como arcilla digital (NeRFs, que construyen formas 3D a partir de luz y sombras) y artistas digitales (GANs, que pintan texturas realistas sobre esas formas). La gran pregunta es: ¿cómo hacemos que este proceso sea más rápido, más preciso y capaz de manejar diferentes tipos de objetos sin necesidad de una biblioteca masiva de fotos para cada cosa que queramos crear?

Aquí es donde entra un nuevo estudio llamado "SemPix3D". Los investigadores, Souvik Bandyopadhyay y Tamal Pal, proponen un enfoque "híbrido" ingenioso que combina dos tecnologías diferentes para resolver el problema de generar imágenes 3D a partir de solo unas pocas pistas. Piensa en su método como una línea de ensamblaje de dos pasos. Primero, utilizan un sistema llamado Campo de Radiancia Neuronal (NeRF) para actuar como un "constructor de esqueletos". Esta parte del sistema no se preocupa por los colores o los tonos de piel; en su lugar, aprende la forma y la estructura puras de un objeto, como un maniquí. Toma algunas fotos y determina dónde están los bordes, dónde está la nariz y qué tan profundos están los ojos, creando un mapa de la forma 3D del objeto.

Una vez que se construye este "esqueleto", entra en acción la segunda parte de la máquina: una Red Generativa Antagónica (GAN). Si el NeRF es el esqueleto, la GAN es el maquillador y el diseñador de vestuario. Toma el mapa de forma creado por el primer paso y pinta una imagen de color realista y de alta calidad sobre él. La magia aquí es que la GAN es "condicional", lo que significa que solo pinta lo que encaja con la forma que se le da. Esto permite al sistema generar una imagen fotorrealista de un rostro o una silla desde un nuevo ángulo, incluso si nunca ha visto ese ángulo específico antes. Los investigadores probaron esto en dos cosas muy diferentes: formas 3D sintéticas (como sillas y autos generados por computadora) y rostros humanos de un gran conjunto de datos llamado CelebMaskHQ.

Los resultados sugieren que este equipo de dos pasos funciona mejor que los métodos anteriores que intentaban hacerlo todo a la vez. En sus simulaciones, el modelo SemPix3D mostró mejoras en qué tan diversas eran las imágenes generadas y qué tan cerca se veían de fotos reales. Específicamente, en el conjunto de datos de formas sintéticas, observaron una mejora del 15% en una puntuación de calidad llamada FID y una mejora del 5% en otra puntuación llamada KID en comparación con un método llamado Pix2Pix3D. Cuando probaron con rostros humanos, el modelo funcionó un 10% mejor en términos de diversidad y mostró una mejora del 2% en KID en comparación con modelos existentes. Los autores encontraron que, al separar el trabajo de "entender la forma" del trabajo de "pintar el color", podían crear vistas 3D más consistentes y precisas con menos ciclos de entrenamiento. También señalaron que este enfoque reduce la necesidad de cantidades masivas de datos para cada objeto individual, ya que la parte del "esqueleto" aprende la forma general de una categoría (como "todos los rostros humanos") y el "pintor" solo añade los detalles específicos. Aunque el artículo no afirma que este sea un problema resuelto para toda la ciencia, las simulaciones indican que esta estrategia híbrida es un paso prometedor hacia lograr que las experiencias de realidad virtual y realidad aumentada se vean mucho más reales e inmersivas.