Differentiable Voronoi Ray Tracing Beyond Rasterization Speeds

컴퓨터 그래픽스의 세계에는 속도와 유연성 사이의 근본적인 절충 관계가 오랫동안 존재해 왔습니다. 수십 년 동안 화면에 사실적인 이미지를 만드는 가장 빠른 방법은 '래스터화(rasterization)'라고 불리는 기술이었습니다. 3D 장면을 바라보며 평평한 캔버스 위에 투영하여 픽셀을 하나씩 채워 나가는 화가를 상상해 보십시오. 이 방식은 믿을 수 없을 정도로 빠르며 우리가 매일 보는 비디오 게임과 영화를 구동하지만, 카메라 렌즈의 흐림 현상이나 광각 뷰의 왜곡과 같은 복잡한 광학 효과를 처리하는 데는 어려움을 겪습니다. 이러한 효과를 얻으려면 소프트웨어는 페인팅 과정에 특별하고 복잡한 규칙을 추가해야 하며, 이는 종종 속도를 늦추거나 오류를 유발합니다. 그 대안은 빛이 실제로 이동하는 방식을 모방하는 방식인 '레이 트레이싱(ray tracing)'입니다. 평면 이미지를 투영하는 대신, 컴퓨터는 카메라로부터 장면 속으로 보이지 않는 빛의 줄기를 쏘아 무엇에 부딪히는지 확인합니다. 이 접근 방식은 추가적인 규칙 없이도 모든 까다로운 광학 효과를 자연스럽게 처리할 수 있지만, 역사적으로 실시간 사용에는 너무 느렸으며 단 몇 프레임의 이미지를 계산하기 위해서도 엄청난 컴퓨팅 파워를 필요로 했습니다.

스웨덴의 연구진은 이제 '화가의 속도'와 '빛의 줄기를 쏘는 자의 유연성' 중 하나를 반드시 선택해야 한다는 관념에 도전했습니다. 그들은 빛의 줄기 방식을 사용하면서도 실시간으로 사용할 수 있을 만큼 빠르게 작동하는 '보로트레이싱(VoroTracing)'이라는 새로운 시스템을 개발했습니다. 그들의 연구는 3D 공간을 구성하는 특정한 방식, 즉 물체의 모양에 맞춰 벌집의 세포처럼 불규형한 거품(bubble)들의 조각보로 나누는 것에 초점을 맞추고 있습니다. 이 거품들을 스마트하고 조직적인 방식으로 탐색함으로써, 그들의 시스템은 복잡한 환경 속에서 빛의 줄기를 추적할 수 있으며, 그 속도는 가장 빠른 전통적인 방식들과 대등하거나 때로는 이를 능가합니다.

연구진은 먼저 레이 트레이싱이 왜 계속 느린 상태로 남아 있었는지 조사했습니다. 그들은 주요 병목 현상이 단순히 빛의 줄기가 물체에 부딪히는 지점을 찾는 수학적 문제가 아니라, 컴퓨터가 매 단계마다 불러오고 처리해야 하는 데이터의 막대한 양 때문이라는 것을 발견했습니다. 속도를 높이려는 이전의 시도들에서 컴퓨터는 각 작은 단계마다 너무 많은 정보를 불러오느라 멈춰 서거나, 단단한 물체를 찾기 전까지 빈 공간을 너무 오래 헤매곤 했습니다. 연구진은 이 작업을 성공시키기 위해 장면이 구축되는 방식부터 컴퓨터 칩이 데이터를 처리하는 방식에 이르기까지, 빛의 줄기가 이동하는 여정 전체를 재설계해야 한다는 점을 깨달았습니다.

그들은 먼저 장면을 표현하는 방식부터 바꾸기 시작했습니다. 각 거품에 보는 각도에 따라 변하는 단일하고 매끄러운 색상을 부여하는 대신, 각 거품에 아주 세밀한 텍text 맵(texture map)을 부여했습니다. 이를 통해 단 하나의 거품이 복잡한 패턴과 디테일을 담을 수 있게 되었고, 결과적으로 컴퓨터가 벽돌 벽이나 나뭇잎이 무성한 나무를 보여주기 위해 수백만 개의 작은 거품을 만들 필요가 없게 되었습니다. 또한 컴퓨터가 언제 탐색을 멈출지 결정하는 방식도 변경했습니다. 물체 사이의 빈 공간은 완전히 투명하게, 물체의 표면은 완전히 고체로 인식하도록 시스템을 훈련시킴으로써, 빛의 줄기가 속도가 줄어들지 않고 공중을 통과할 수 있게 했으며 표면에 닿는 즉시 멈출 수 있게 했습니다. 이는 컴퓨터가 빈 공간의 색상을 계산하느라 시간을 낭비하는 것을 방지했습니다.

과정을 더욱 빠르게 만들기 위해, 연구진은 컴퓨터 메모리에 거품을 저장하는 방식을 재구성했습니다. 3D 세계에서 서로 가까이 있는 거품들이 컴퓨터 메모리 내에서도 서로 가까이 저장되도록 데이터를 배치했습니다. 이를 통해 그래픽 카드가 메모리 뱅크를 이리저리 뛰어다니는 대신, 일련의 빛 줄기에 필요한 모든 정보를 한 번의 효율적인 움직임으로 가져올 수 있게 했습니다. 또한 컴퓨터에게 너무 희미해서 최종 그림에 영향을 주지 않는 거품은 무시하도록 알려주는 스마트 필터를 추가하여, 계산 자체를 건너뛰도록 했습니다.

이러한 재설계의 결과는 놀라웠습니다. 복잡한 3D 장면 세트로 테스트했을 때, 이 새로운 시스템은 고성능 그래픽 카드에서 초당 623프레임을 렌더링했습니다. 이는 빛의 줄기를 사용하는 기존의 최고 방식보다 3배 이상 빠른 것이며, 현재 해당 분야에서 사용되는 가장 빠른 전통적인 페인팅 기반 방식보다도 현저히 빠릅니다. 생성된 이미지는 품질 저하 없이 기존의 느린 방식만큼이나 선명하고 사실적이었습니다. 무엇보다 중요한 점은, 이 시스템이 빛의 줄기를 사용하기 때문에 다양한 카메라 효과가 적용된 이미지를 즉각적으로 렌더링할 수 있다는 것입니다. 핵심 소프트웨어의 변경 없이도, 연구진은 빛의 경로를 변경하는 것만으로 어안 렌즈의 왜곡, 움직이는 카메라의 흐림, 또는 인물 사진 렌즈의 얕은 피사계 심도를 구현할 수 있었습니다.

이 연구는 레이 트레이싱이 실시간 애플리케이션에 사용하기에는 너무 느리다는 오래된 믿음이, 처음부터 하드웨어를 고려하여 설계된다면 더 이상 사실이 아닐 수 있음을 보여줍니다. 장면이 저장되는 방식, 빛의 줄기가 이동하는 방식, 그리고 컴퓨터가 데이터를 처리하는 방식을 정교하게 공동 설계함으로써, 연구진은 현대 비디오 게임의 속도와 실제 빛의 자연스러운 유연성을 모두 가질 수 있다는 것을 증명했습니다. 그들은 코드를 공개하여 다른 이들이 사용할 수 있도록 했으며, 이는 이미 스마트폰에서 시스템이 매끄럽게 작동하는 것을 보여준 가상 현실, 자율 주행, 모바일 기기 등의 미래 응용 분야로 가는 문을 열어주었습니다. 이 연구는 미래의 사실적인 컴퓨터 그래픽이 속도와 사실주의 중 하나를 선택하는 것이 아니라, 이 둘이 함께 작동하게 만드는 새로운 방법을 찾는 데 달려 있음을 시사합니다.