SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

Imagine que você esteja tentando construir um mundo virtual para um videogame ou uma experiência de realidade virtual. Você quer mostrar um personagem ou um objeto de qualquer ângulo, não apenas de frente. Por muito tempo, os computadores foram como pintores planos; eles podiam pegar a foto de um rosto e transformá-la em um desenho animado, mas não entendiam realmente que o rosto tem profundidade, um nariz que se projeta ou orelhas na lateral. Se você tentasse virar a imagem de lado, o computador apenas esticaria a imagem, fazendo o rosto parecer uma panqueca derretida. Para corrigir isso, cientistas estão trabalhando na geração "consciente de 3D". Esta é a arte de ensinar computadores a entender que os objetos existem no espaço tridimensional, com volume e estrutura, para que possam criar novas visualizações que pareçam reais e mantenham a consistência. As ferramentas que eles usam são como argila digital (NeRFs, que constroem formas 3D a partir de luz e sombras) e artistas digitais (GANs, que pintam texturas realistas sobre essas formas). A grande questão é: como tornamos esse processo mais rápido, mais preciso e capaz de lidar com diferentes tipos de objetos sem precisar de uma biblioteca massiva de fotos para cada coisa que queremos criar?

É aqui que entra um novo estudo chamado "SemPix3D". Os pesquisadores, Souvik Bandyopadhyay e Tamal Pal, propõem uma abordagem "híbrida" inteligente que combina duas tecnologias diferentes para resolver o problema de gerar imagens 3D a partir de apenas algumas pistas. Pense no método deles como uma linha de montagem de duas etapas. Primeiro, eles usam um sistema chamado Campo de Radiância Neural (NeRF) para atuar como um "construtor de esqueleto". Esta parte do sistema não se importa com cores ou tons de pele; em vez disso, ela aprende a forma pura e a estrutura de um objeto, como um manequim. Ela pega algumas fotos e descobre onde estão as bordas, onde está o nariz e quão profundos são os olhos, criando um mapa da forma 3D do objeto.

Uma vez que este "esqueleto" é construído, a segunda parte da máquina entra em ação: uma Rede Adversária Generativa (GAN). Se o NeRF é o esqueleto, a GAN é a maquiadora e a figurinista. Ela pega o mapa de forma criado pela primeira etapa e pinta uma imagem colorida realista e de alta qualidade sobre ele. A magia aqui é que a GAN é "condicional", o que significa que ela só pinta o que se ajusta à forma que lhe é dada. Isso permite que o sistema gere uma imagem fotorrealista de um rosto ou de uma cadeira de um novo ângulo, mesmo que nunca tenha visto esse ângulo específico antes. Os pesquisadores testaram isso em duas coisas muito diferentes: formas 3D sintéticas (como cadeiras e carros gerados por computador) e rostos humanos de um grande conjunto de dados chamado CelebMaskHQ.

Os resultados sugerem que essa equipe de duas etapas funciona melhor do que métodos anteriores que tentavam fazer tudo de uma vez. Em suas simulações, o modelo SemPix3D mostrou melhorias em quão diversas eram as imagens geradas e o quão próximas pareciam de fotos reais. Especificamente, no conjunto de dados de formas sintéticas, eles observaram uma melhoria de 15% em uma pontuação de qualidade chamada FID e uma melhoria de 5% em outra pontuação chamada KID em comparação com um método chamado Pix2Pix3D. Quando testaram o modelo em rostos humanos, o modelo teve um desempenho cerca de 10% melhor em termos de diversidade e mostrou uma melhoria de 2% em KID em comparação com modelos existentes. Os autores descobriram que, ao separar o trabalho de "entender a forma" do trabalho de "pintar a cor", eles puderam criar visualizações 3D mais consistentes e precisas com menos ciclos de treinamento. Eles também observaram que essa abordagem reduz a necessidade de grandes quantidades de dados para cada objeto, pois a parte do "esqueleto" aprende a forma geral de uma categoria (como "todos os rostos humanos") e o "pintor" apenas adiciona os detalhes específicos. Embora o artigo não afirme que este é um problema resolvido para toda a ciência, as simulações indicam que esta estratégia híbrida é um passo promissor para tornar as experiências de realidade virtual e realidade aumentada muito mais reais e imersivas.