SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

비디오 게임이나 가상 현실 경험을 위한 가상 세계를 구축한다고 상상해 보십시오. 당신은 캐릭터나 물체를 정면뿐만 아니라 어떤 각도에서도 보여주고 싶습니다. 오랫동안 컴퓨터는 평면적인 화가와 같았습니다. 얼굴 사진을 찍어 만화처럼 만들 수는 있었지만, 얼굴에 깊이감이 있고 코가 튀어나와 있으며 귀가 옆에 붙어 있다는 사실은 제대로 이해하지 못했습니다. 만약 사진을 옆으로 돌리려고 하면, 컴퓨터는 이미지를 늘려버려 얼굴이 녹아내린 팬케이크처럼 보이게 만들었습니다. 이를 해결하기 위해 과학자들은 "3D 인식형(3D-aware)" 생성 기술을 연구하고 있습니다. 이것은 컴퓨터에게 물체가 3차원 공간에 존재하며 부피와 구조를 가지고 있다는 점을 가르쳐, 실제처럼 보이고 일관성을 유지하는 새로운 뷰(view)를 만들어내는 기술입니다. 그들이 사용하는 도구는 디지털 점토(빛과 그림자를 통해 3D 형상을 만드는 NeRF)와 디지털 화가(형상 위에 사실적인 질감을 입히는 GAN)와 같습니다. 여기서 큰 질문은, 어떻게 하면 이 과정을 더 빠르고 정확하게 만들 수 있을지, 그리고 우리가 만들고자 하는 모든 사물마다 방대한 사진 라이브러리를 필요로 하지 않고도 다양한 유형의 물체를 처리할 수 있게 할 것인가 하는 점입니다.

여기에서 "SemPix3D"라는 새로운 연구가 등장합니다. 연구자들인 수빅 반디요파디야이(Souvik Bandyopadhyay)와 타말 팔(Tamal Pal)은 단 몇 가지의 단서만으로 3D 이미지를 생성하는 문제를 해결하기 위해 두 가지 서로 다른 기술을 결합한 영리한 "하이브리드" 접근 방식을 제안합니다. 그들의 방식은 두 단계의 조립 라인과 같습니다. 먼저, 그들은 Neural Radiance Field(NeRF)라고 불리는 시스템을 사용하여 "골격 구축기" 역할을 하게 합니다. 이 시스템의 부분은 색상이나 피부톤에는 신경 쓰지 않습니다. 대신, 물체의 순수한 형태와 구조를 학습하는데, 마치 마네킹과 같습니다. 이 부분은 몇 장의 사진을 가져와서 가장자리가 어디인지, 코가 어디에 있는지, 눈이 얼마나 깊게 들어가 있는지를 파악하여 물체의 3D 형태 지도를 만듭니다.

이 "골격"이 구축되면, 기계의 두 번째 부분이 작동합니다. 바로 Generative Adversarial Network(GAN)입니다. NeRF가 골격이라면, GAN은 메이크업 아티스트이자 의상 디자이너입니다. 이 부분은 첫 번째 단계에서 만든 형상 지도를 가져와서 사실적이고 고품질인 컬러 이미지를 그 위에 입힙니다. 여기서 마법 같은 점은 GAN이 "조건부(conditional)"라는 것입니다. 즉, 주어진 형상에 딱 맞는 것만을 그려낸다는 뜻입니다. 이를 통해 시스템은 특정 각도를 본 적이 없더라도, 새로운 각도에서 본 얼굴이나 의자의 모습을 사실적으로 생성할 수 있습니다. 연구진은 이 모델을 두 가지 매우 다른 대상, 즉 합성 3D 형상(컴퓨터로 생성된 의자나 자동차 같은 것)과 CelebMaskHQ라는 대규모 데이터셋에서 추출한 사람의 얼굴을 대상으로 테스트했습니다.

결과는 이 두 단계의 팀이 모든 것을 한 번에 처리하려고 했던 기존 방식보다 더 효과적이라는 것을 보여줍니다. 시뮬레이션에서 SemPix3D 모델은 생성된 이미지의 다양성과 실제 사진과 얼마나 유사한지를 나타내는 지표에서 개선된 모습을 보였습니다. 구체적으로, 합성 형상 데이터셋에서 이 모델은 Pix2Pix3D라는 방식과 비교했을 때 FID라고 불리는 품질 점수에서 15%의 개선을, KID라는 또 다른 점수에서 5%의 개선을 보였습니다. 사람의 얼굴을 테스트했을 때는 기존 모델들에 비해 다양성 측면에서 약 10% 더 나은 성능을 보였고, KID 측면에서는 2%의 개선을 보였습니다. 저자들은 "형상을 이해하는 것"과 "색을 칠하는 것"의 업무를 분리함으로써, 더 적은 학습 횟수로 더 일관되고 정확한 3D 뷰를 만들 수 있었다는 점을 발견했습니다. 또한, 이 접근 방식은 "골격" 부분이 범주(예: "모든 사람의 얼굴")의 일반적인 형태를 학습하고 "화가"가 구체적인 세부 사항을 추가하기 때문에, 개별 물체마다 방대한 양의 데이터를 필요로 하는 부담을 줄여준다고 언급했습니다. 이 논문이 모든 과학적 문제를 해결했다고 주장하는 것은 아니지만, 시뮬레이션 결과는 이러한 하이브리드 전략이 가상 현실 및 증강 현실 경험을 훨씬 더 실제처럼 느껴지게 하고 몰입감을 높이는 데 있어 유망한 단계임을 시사합니다.