당신이 아주 민감하지만 조금은 서투른 카메라를 가지고 칠흑 같이 어두운 방에서 사진을 찍으려 한다고 상상해 보세요. 선명한 사진을 얻으려면 셔터를 오랫동안 열어두어 수백만 개의 작은 빛 입자들을 받아들여야 합니다. 하지만 빛을 아주 조금만 받아들이면, 사진은 오래된 TV의 정적처럼 자글자글하고, 점이 박혀 있으며, 무작위로 밝은 점들이 가득한 모습이 됩니다. 이것은 컴퓨터 그래픽 분야에서 예술가들이 사실적인 3D 영화나 게임을 만들려고 할 때 발생하는 현상과 정확히 일치합니다. 그들은 "몬테카를로 렌더링(Monte Carlo rendering)"이라는 기법을 사용하는데, 이는 기본적으로 빛이 장면 속에서 어떻게 튕겨 나가는지를 추측하는 세련된 방식입니다. 컴퓨터가 더 많은 추측(또는 "광선/rays")을 할수록 이미지는 더 선명해지지만, 그만큼 시간도 더 오래 걸립니다. 시간이 충분하지 않으면, 결과물은 노이즈가 끼고 엉망진창인 상태가 되어 실제 사진과는 전혀 다르게 보입니다.

오랫동안 이 방법을 해결하기 위해, 기존에는 더 오래 기다리거나(비싸고 느린 방법), 노이즈를 매끄럽게 만드는 영리한 수학적 트릭을 사용하는 방법이 있었습니다. 하지만 최근, 무작위 정적을 아름다운 그림으로 바꾸는 데 유명해진 "확산 모델(diffusion model)"이라는 새로운 종류의 AI가 등장했습니다. 이것은 마치 수십억 장의 사진을 본 거장 화가와 같아서, 그림자, 빛나는 사과, 혹은 푹신한 구름이 어떠해야 하는지를 정확히 알고 있습니다. 이 논문은 큰 질문을 던집니다. "이 거장 화가에게 지저로 된 3D 이미지를 수정하도록 가르칠 수 있을까?" 저자들은 만약 이 AI에게 3D 장면의 추가 정보(벽이 어디에 있는지 또는 물체의 색상이 무엇인지와 같은)라는 "커닝 페이퍼"를 제공한다면, 이전의 어떤 방식보다 노이즈를 더 잘 제거하여 눈을 속일 수 있을 만큼 실사 같은 이미지를 만들어낼 수 있다고 제안합니다.

논문의 핵심 아이디어: AI에게 지저분한 3D 예술을 수정하는 법 가르치기

연구진인 일리노이 대학교 팀은 특정 유형의 AI인 **픽셀 공간 확산 모델(pixel-space diffusion model)**을 사용하여 "렌더링 노이즈" 문제를 해결하기로 했습니다. 확산 모델은 완전히 뒤섞이고 노이즈가 낀 이미지에서 시작하여, 단계별로 천천히 이미지를 복구하여 선명한 그림을 만들어내는 탐정이라고 생각하면 됩니다. 보통 이러한 탐정들은 실제 세상의 사진들로 훈련받기 때문에, 실제 이미지가 어떠해야 하는지에 대한 매우 강력한 "직관(또는 사전 지식/prior)"을 가지고 있습니다.

연구팀의 주요 발견은 이 "직관"을 사용하여 노이즈가 가득한 컴퓨터 생성 이미지를 수정할 수 있다는 것입니다. 그러나 그들은 단순히 AI에게 노이즈 낀 이미지만 보여주는 것으로는 충분하지 않다는 것을 깨달았습니다. AI에게는 가이드가 필요했습니다. 그래서 그들은 3D 장면으로부터 추가적인 단서(알베도(albedo, 물체의 실제 색상), 노멀(normals, 표면이 향하는 방향), 데프스(depth, 거리))를 AI에게 전달하는 특별한 "제어 모듈(Control Module)"(ControlNet과 유사한 도구)을 구축했습니다. 이는 마치 탐정이 범죄를 해결하려고 할 때 지도와 용의자 명단을 주는 것과 같습니다.

이 논문은 이 방법이 놀라울 정도로 효과적임을 보여줍니다. 연구진이 매우 적은 수의 광선(구체적으로 픽사당 4개, 16개, 64개의 광선)으로 렌더링된 이미지로 테스트했을 때, 그들의 AI는 현재 최고의 방식들보다 더 깨끗하고 선명한 이미지를 만들어냈습니다. 실제로 테스트에서 그들의 방식은 모든 영역에서 가장 낮은 오류율(L1 지표로 측정)과 가장 높은 시각적 품질 점수(FoVVDP)를 기록했습니다. 예를 들어, 픽사당 4개의 광선이 있는 테스트에서 그들의 방식은 PSNR(이미지 품질 측정치) 39.13을 달성하여, 그다음으로 좋은 경쟁 방식의 점수인 38.82를 앞질렀습니다.

그들이 배제한 것들과 그 이유

저자들은 좋은 해결책처럼 보일 수 있지만 이 특정 작업에는 실패하는 몇 가지 인기 있는 아이디어들을 매우 신중하게 배제했습니다.

첫째, 그들은 잠재 변수 모델(latent variable models)(Stable Diffusion 등에 사용되는 모델)을 사용하는 것에 반대했습니다. 이 모델들은 이미지를 처리하기 전에 더 작은 숨겨진 코드로 압축합니다. 논문은 이러한 압축이 3D 렌더링을 수정하는 데 있어 재앙이 될 수 있음을 보여줍니다. 이미지가 압축되면 날카로운 그림자나 선명한 질감 같은 미세한 디테일이 흐릿해지거나 영원히 손실되기 때문입니다. 저자들은 이미지를 다시 늘리려고 시도하더라도 이미 손상은 회복 불가능하다는 것을 증명했습니다. 그들은 표준 잠재 모델이 날카로운 검은색 영역을 흐릿한 덩어리로 만들고 색상을 잘못 이동시키는 것을 보여줌으로써 이를 입증했습니다. 따라서 그들은 "압축된" 접근 방식을 배제하고, 전체 고해상도 픽셀에서 직접 작업할 것을 주장했습니다.

둘째, 추가적인 도움 없이 사전 훈련된 AI만을 사용하는 것은 작동하지 않는다고 주장했습니다. 그들이 특별한 "제어 모듈" 없이 기본 AI 모델(DeepFloyd Stage II)을 사용했을 때, 결과는 형편없었습니다. AI는 3D 장면의 물리 법칙을 존중하지 못하고 무작위적이고 비현실적인 패턴을 만들어냈습니다. 이는 추가적인 단서(렌더 버퍼)가 절대적으로 필수적임을 입증합니다. 즉, AI는 단순히 추측만 해서는 좋은 결과를 낼 수 없다는 것입니다.

리얼리즘의 "마법"

그들의 발견 중 가장 흥러운 부분은 이미지가 어떻게 보이는가 하는 점입니다. 다른 방식들은 단순히 노이즈를 부드럽게 만들 수는 있지만, 종종 "얼룩덜룩한" 패치나 끊어진 선과 같은 이상한 아티팩트를 남깁니다. 저자들은 그들의 AI가 수십억 장의 실제 사진으로 훈련되었기 때문에, "실제" 이미지가 어떤 느낌이어야 하는지를 알고 있다고 설명합니다.

예를 들어, 벽에 그림자가 드리워질 때 실제 그림자는 직선적이고 깨끗한 경계선을 가집니다. 논문은 다른 방식들이 그림자를 흐릿하거나 얼룩지게 만드는 경우가 많은 반면, 그들의 방식은 일관되게 이러한 직선 경계를 생성한다고 언급합니다. 마찬가지로, 찻잔에 반짝이는 하이라이트가 있다면, AI는 그것이 흐릿한 것이 아니라 날카롭고 깨끗해야 한다는 것을 알고 있습니다. 저자들은 그들의 AI가 심지어 "파이어플라이(fireflies)"(불꽃처럼 보이는 짜증 나는 단일 밝은 픽셀들)를 처리할 때, 그것들이 실제 사진에는 어울리지 않는다는 이유로 단순히 무시한다는 점을 지적합니다. AI는 이를 제거하라고 명시적으로 지시받지 않아도, 그것들이 현실적인 사진의 모습에 맞지 않는다는 것을 스스로 알고 있습니다.

트레이드-오프: 속도 vs 품질

논문은 비용에 대해서도 솔직합니다. 이 방법은 즉시 실행되는 "원클릭" 해결책이 아닙니다. 저자들은 강력한 GPU를 사용할 때 256x256 크기의 작은 이미지를 정리하는 데 약 2.8초, 더 큰 HD 이미지를 정리하는 데 약 63초가 걸린다고 언급했습니다. 이는 순식간에 작업을 끝내는 현재의 "빠른" 방식들보다는 훨씬 느립니다.

하지만 저자들은 이 속도가 여전히 가치가 있다고 주장합니다. 고품질 3D 영화의 단 한 프레임을 렌더링하는 데 슈퍼컴퓨터에서 몇 시간 또는 며칠이 걸릴 수 있다는 점을 지적합니다. 완벽한 이미지를 얻기 위해 몇 시간을 기다리는 것에 비하면, 노이즈 낀 이미지를 정리하기 위해 1분을 기다리는 것은 아주 작은 대가입니다. 또한 그들은 AI의 "생각 단계" 중 일부(약 절반 정도)를 건너뜀으로써 품질 손실을 최소 없이 프로세스를 가속화할 수 있다고 제안하며, 이를 통해 미래에는 훨씬 더 빨라질 수 있다고 말합니다.

결론

요약하자면, 이 논문은 우리가 수십억 장의 실제 사진을 본 강력한 AI를 사용하고, 그 AI가 따라갈 수 있는 3D 장면의 지도를 제공한다면, 지저주고 노이즈가 낀 3D 컴퓨터 그래픽을 수정할 수 있음을 시사합니다. 결과물은 수학적 점수와 인간의 인지 능력 모두에서 현재의 최고 방식들을 능가하는, 더 사실적이고 날카로운 그림자와 깨끗한 하이라이트를 가진 이미지입니다. 실행하는 데 시간이 조금 더 걸리긴 하지만, 저자들은 이 품질의 도약이 컴퓨터가 작업을 끝내기를 영원히 기다리지 않고도 사실적인 3D 세계를 만들고자 하는 모든 이들에게 게임 체인저가 될 것이라고 믿습니다.