Volumetric Inverse Rendering via Neural Radiative Transfer

두껍게 소용돌이치는 안개 구름, 우유가 섞인 커피 한 잔, 혹은 먼지가 가득한 방을 가로지르는 햇살을 바라보고 있다고 상상해 보십시오. 당신이 보고 있는 것은 단순히 고체 표면에 반사되는 빛이 아니라, 빛이 그 물질 자체를 통과하며 길을 잃고, 산란되고, 흡수되는 과정입니다. 이것이 바로 "참여 매질(participating media)"의 세계이며, 여기서 빛과 물질은 복잡하고 보이지 않는 엉킴 속에서 함께 춤을 춥니다. 수십 년 동안 과학자들과 컴퓨터 그래픽 아티스트들은 이 춤을 역설계하기 위해 고군분투해 왔습니다. 만약 당신이 안개 낀 숲의 사진을 찍었다면, 안개가 정확히 얼마나 두꺼운지, 빨간색 빛을 파란색 빛에 비해 얼마나 더 많이 흡수하는지, 그리고 모든 방향으로 빛을 얼마나 산란시키는지 알아낼 수 있을까요? 이것은 마치 단 한 숟가락의 국물 맛만 보고 그 국수의 레시피를 맞히려는 것과 같습니다. 하지만 그 국수는 빛으로 만들어졌고, 재료는 눈에 보이지 않습니다. 이를 정확히 구현하는 것은 매우 중요합니다. 왜냐하면 이를 통해 초현실적인 영화를 만들거나, 기후 모델을 위한 날씨를 시뮬레이션하거나, 심지어 의사들이 몸을 절개하지 않고도 인체 내부를 볼 수 있도록 도울 수 있기 때문입니다.

당신이 읽게 될 논문은 영리한 기술로 이 까다로운 퍼즐을 해결합니다. 모든 개별 광자(photon)의 움직임을 시뮬레이션하는 대신(이는 해변을 이해하기 위해 모래알 하나하나를 세는 것과 같습니다), 저자들은 전체 장면을 하나의 거대한 학습 가능한 수학 문제로 취급하는 방법을 제안합니다. 그들은 "뉴럴 필드(neural fields)"를 사용하는데, 이는 빛과 물질을 동시에 설명할 수 있는 매우 똑똑하고 유연한 함수입니다. 이 함수들이 물리적 법칙(특히 복사 전달 방정식)을 준수하도록 강제함으로써, 그들은 안개나 연기의 숨겨진 특성을 파악할 수 있습니다. 그 결과, 구름 낀 장면의 3D 형태와 색상을 재구성할 수 있을 뿐만 아니라, 이를 "재조명(re-light)"하여 태양을 달로 바꾸거나 네온사인으로 바꿨을 때 안개가 어떻게 현실적으로 반응하는지 관찰할 수 있는 시스템을 만들어냈습니다.

문제점: 안개의 미스터리

당신이 두껍게 소용돌이치는 안개 속에서 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신은 서로 다른 각도에서 찍은 몇 장의 사진을 가지고 있지만, 안개가 진실을 숨기고 있습니다. 당신은 광원(아마도 태양)을 알고 있지만, 안개가 얼마나 두꺼운지, 빛을 얼마나 흡수하는지, 또는 어떻게 산란시키는지 알지 못합니다. 과거에 이 "역 렌더링(inverse rendering)" 문제를 해결하는 것은 권투 글러브를 낀 채 헤드폰 줄을 푸는 것과 같았습니다.

이전의 방법들은 크게 두 가지 방식으로 이 문제를 해결하려 했으며, 두 방식 모두 큰 결함이 있었습니다. 첫 번째 방식은 "확률적 경로 샘플링(stochastic path sampling)"이라는 기술을 사용하여 빛의 모든 반사를 시뮬레이션하는 것이었습니다. 이것은 안개 속으로 수백만 개의 작고 투명한 메신저를 보내 그들이 어디에 도달하는지 확인하는 것과 같습니다. 정확하긴 하지만, 폭풍의 강도를 측정하기 위해 빗방울 하나하나를 세는 것처럼 엄청나게 느리고 계산 비용이 많이 듭니다. 두 번째 방식은 빛의 복잡한 반사(전역 조명, global illumination)를 무시하는 단순화된 모델을 사용하는 것이었습니다. 이는 구름을 보고 폭풍의 강도를 짐작하는 것처럼 빠르긴 했지만, 빛이 실제로 행동하는 복잡하고 무질서한 물리학을 포착하는 데 실패했습니다. 빛이 안개의 한 부분에서 튕겨 나와 다른 부분을 밝히는 "전역적(global)" 효과를 처리할 수 없었습니다.

새로운 접근 방식: 물리 법칙이 주입된 뉴럴 네트워크

이 논문의 저자인 은툼바 엘리에 은삼피(Ntumba Elie Nsampi)와 동료들은 다른 길을 택했습니다. 그들은 질문했습니다. "만약 우리가 메신저를 시뮬레이션하는 대신, 뉴럴 네트워크가 안개와 빛 그 자체가 되도록 가르친다면 어떨까?"

그들은 두 개의 "뉴럴 필드"(연속적인 지도라고 생각하십시오)가 함께 작동하는 시스템을 만들었습니다. 한 지도는 매질의 광학적 특성(얼마나 흡수하고, 산란하며, 어느 방향으로 빛을 산란시키는지)을 설명합니다. 다른 지도는 광장(light field)(모든 지점과 모든 방향에서 빛이 얼마나 밝은지)을 설명합니다.

여기에는 마법 같은 기술이 있습니다. 그들은 빛이 어떻게 이동하는지 보기 위해 무거운 시뮬레이션을 실행하는 대신, **복사 전달 방정식(Radiative Transfer Equation, RTE)**을 사용합니다. 이것은 빛이 매질을 통과할 때 어떻게 변하는지를 설명하는 유명한 물리 공식입니다. 저자들은 이 공식을 시뮬레이션 도구가 아니라, 뉴럴 네트워크가 반드시 따라야 하는 규칙이나 "법칙"으로 취급했습니다.

그들은 세 가지 주요 목표를 가진 최적화 게임을 설정했습니다:

1. 물리 법칙 규칙: 뉴럴 네트워크는 무작로 추출된 부피 내부의 지점에서 RTE를 만족해야 합니다. 이는 빛과 안개가 물리 법칙에 따라 작동하도록 보장합니다.
2. 경계 규칙: 외부에서 안개로 들어오는 빛은 알려진 환경(예: 하늘이나 방)과 일치해야 합니다.
3. 사진 규칙: 안개를 통과해 카메라에 닿는 빛은 실제 촬영된 사진과 일치해야 합니다.

하지만 문제가 있었습니다. 뉴럴 네트워크는 날카롭고 상세한 답보다는 부드럽고 흐릿한 답을 선호하는 "낮은 주파수 편향(low-frequency bias)"이라는 습성이 있습니다. 이를 해결하기 위해 저자들은 특별한 재료를 추가했습니다. 바로 **부피 렌더링 방정식(Volume Rendering Equation, VRE)**에 기반한 항입니다. 이 항은 네트워크가 카메라에서 물체까지의 실제 빛의 경로를 바라보도록 강제하며, 마치 흐릿한 디테일을 선명하게 만드는 샤프너처럼 작동합니다.

연구 결과

연구팀은 푹신하고 밀도가 낮은 구름부터 밀도가 높고 불투명한 안개에 이르기까지 50개의 합성 장면을 대상으로 이 방법을 테스트했습니다. 그들은 자신들의 방식을 두 가지 기존 방식, 즉 느리고 무거운 "확률적 경로 샘플링"(구체적으로 Differential Ratio Tracking이라 불리는 방식)과 빠르지만 부정확한 "학습된 표현(learned representation)" 방식과 비교했습니다.

결과는 인상적이었습니다. 그들의 방식은 흡수(빛이 얼마나 먹히는지), 산란(빛이 얼마나 튕겨 나가는지), 그리고 소멸(빛의 총 손실)을 높은 정확도로 재구성해 냈습니다.

• 수치상으로, 그들의 방식은 흡수에 대해 1.33, 산란에 대해 1.66의 평균 제곱 오차(MSE)를 기록했는데, 이는 확률적 방식의 산란 MSE인 4.06보다 훨씬 뛰어난 수치였습니다.
• 또한, 그들은 **비등방성 산란(anisotropic scattering)**을 처리할 수 있었습니다. 즉, 안개가 정면에서 볼 때와 측면에서 볼 때 다르게 보이는 것처럼, 빛을 특정 방향으로 더 많이 산란시키는 현상을 구현할 수 있었습니다. 기존 방식들은 이를 전혀 할 수 없었습니다.

가장 멋진 부분은 재구성을 마친 후에 할 수 있었던 작업입니다. 물리적 특성을 제대로 복구했기 때문에, 그들은 조명을 변경할 수 있었습니다. 그들은 햇살이 비치는 하늘 아래의 장면을 가져와서 세 가지 색상의 국부 조명(빨강, 초록, 파랑)과 새로운 환경 맵으로 "재조명"했습니다. 안개는 새로운 조건에서 빛이 어떻게 산란하고 흡수되는지를 보여주며 현실적으로 반응했습니다. 이는 단순화된 모델들이 실패했던 부분입니다.

또한, 이 접근 방식이 **생성 모델링(generative modeling)**에도 작동함을 보여주었습니다. 많은 장면을 학습함으로써, 그들의 시스템은 현실적인 안개가 어떤 모습인지에 대한 "분포"를 학습했습니다. 그 후, 장면을 정의하는 비밀 번호인 "잠재 코드(latent code)"를 무작위로 선택함으로써 완전히 새로운, 물리적으로 타당한 구름 장면을 생성할 수 있었습니다. 이 새로운 장면들은 단순히 예쁜 그림이 아니라, 실제와 같이 일관된 물리 법칙을 가지고 있어 언제든 새로운 방식으로 재조명될 수 있었습니다.

왜 중요한가

저자들은 이 접근 방식이 복잡한 빛의 전달 물리 법칙을 느리고 특화된 시뮬레이션의 필요성으로부터 분리했다는 점에서 게임 체인저라고 주장합니다. 뉴럴 필드에 대한 제약된 최적화 문제로 프레임워크를 설정함으로써, 부피 내에서의 전역 조명을 이해하기 위해 무거운 렌더러가 필요하지 않다는 것을 증명했습니다. 단지 올바른 수학과 올바른 규칙만 있으면 됩니다.

논문은 현재의 실험이 합성 데이터(컴퓨터 생성 장면)를 대상으로 하고 있으며 아직 실제 사진에는 적용되지 않았음을 언급하고 있지만, 이 방법은 거대한 계산 비용 없이 영화, 게임, 과학 시뮬레이션을 위한 물리적으로 정확한 3D 부피를 생성할 수 있는 길을 열어줍니다. 이는 우리가 안개 낀 풍경의 사진을 보고 즉시 공기의 밀도, 색상, 산란 특성을 파악하여, 그 세계 속으로 들어가 날씨를 마음대로 바꿀 수 있는 미래를 암시합니다.