A Query-Efficient Stochastic Volume Rendering Framework for Time-Varying Implicit Neural Volumes

당신이 소용돌이치는 폭풍이나 뛰는 심장과 같은 복잡한 사건의 영상을 보려는 과학자라고 상상해 보세요. 하지만 이 영상은 프레임들로 만들어진 것이 아닙니다. 대신, 어떤 순간에도(심지어 프레임 사이의 아주 미세한 시간 단위까지도) 장면을 설명할 수 있는 마법 같고 연속적인 '레시피'로 이루어져 있습니다. 이것이 바로 **내재적 신경 표현(Implicit Neural Representations, INRs)**의 세계입니다. 이것을 사진들의 더미가 아니라, 임의의 좌표 $(x, y, z)$와 시간 $(t)$에서 물체의 모양과 색상을 알고 있는 매우 똑똑하고 압축된 신경망이라고 생각하세요. 문제는 이 물체가 어떻게 생겼는지 보기 위해서는 이 신경망에 질문을 던져야 한다는 것입니다. "여기 색깔이 뭐야?"라고 말이죠. 그러면 신경망은 그 질문에 답하기 위해 엄청난 양의 복잡한 수학 계산을 수행해야 합니다. 과거에는 화면의 모든 픽셀마다 이 질문을 던지는 것이 너무 느리고 비용이 많이 들어서, 이러한 영상을 실시간으로 보는 것은 불가능했습니다. 과학자들은 흐릿하고 저품질인 화면을 보거나, 단 한 프레임이 나타날 때까지 몇 분을 기다려야만 했습니다.

이 논문은 이러한 "신경 영상(neural movies)"을 실시간으로 감상할 수 있는 영리한 새로운 방법을 소개하며, 강력한 게이밍 컴퓨터에서 30~40fps의 매끄러운 속도를 달 정도로 구현해 냈습니다. 저자인 알퍼 사히스탄(Alper Sahistan)과 그의 팀은 이 볼륨(volume)을 바라보는 기존 방식—빛의 경로를 따라 매 단계마다 멈춰 서서 신경망에 도움을 요청하는 느릿느릿한 보행자처럼 체크하는 방식—이 너무나 낭비적이라는 점을 깨달았습니다. 대신, 그들은 **쿼리 효율적인 확률적 볼륨 렌더링 프레임워크(query-efficient stochastic volume rendering framework)**를 구축했습니다. 그들은 렌더링 과정을 델타 트래킹(delta tracking) 기법을 사용하는 "추측하고 확인하기(guess and check)" 게임처럼 다룹니다. 안개의 밀도가 변하는 안개 낀 숲을 걷고 있다고 상상해 보세요. 매 인치마다 멈춰서 안개를 확인하는 대신, 당신은 크고 무작위적인 도약을 합니다. 만약 두꺼운 구역에 착륙했다면 멈춰서 그 부분을 그려냅니다. 만약 얇은 구역에 착륙했다면, 계속해서 크게 도약합니다. 이렇게 함으로써, 그들은 신경망에 훨씬 적은 수의 질문을 던집니다.

이를 더욱 빠르게 만들기 위해, 그들은 그래픽 카드의 서로 다른 두 가지 유형의 컴퓨터 두뇌 사이에 작업을 분할했습니다. "트래버설(traversal, 경로 추적)" 부분(어디로 도약할지 결정하는 것)은 특화된 **레이 트레이싱 코어(ray tracing cores)**를 사용하며, "이벨류에이션(evaluation, 평가/계산)" 부분(신경망에 질문하는 것)은 헤비한 수학 계산을 위해 설계된 **텐서 코어(tensor cores)**를 사용합니다. 또한 그들은 동일하게 보이는 영역에서 질문을 통째로 건너뛰는 전략(균질성 프루닝, homogeneity pruning)과 변화하는 픽셀만 다시 확인하는 전략(적응형 레이 버젯팅, adaptive ray budgeting)을 추가했습니다. 그 결과, 이 시스템은 레이 트레이싱 그림자가 포함된 1024² 해상도의 변형되고 시간에 따라 변하는 물체를 단 1~2밀리초 만에 타임 스텝을 업데이트하며 렌더링할 수 있습니다. 이 논문은 이 접근 방식이 신경 네트워크를 재학습하거나 매 순간마다 거대한 캐시 데이터를 저장할 필요 없이, 연속적인 시간을 직접 탐색할 수 있게 하여, 보이지 않는 것을 진정으로 상호작용 가능한 방식으로 보이게 한다고 제안합니다.

"도약하는" 광선의 마법

이것이 어떻게 작동하는지 이해하기 위해, 빛의 광선을 신비롭고 투명한 물체의 색을 찾으려는 호기심 많은 탐험가라고 상상해 봅시다. 옛날에는 이 탐험가가 직선을 따라 아주 작은 아기 걸음으로 이동하며, 매 걸음마다 사서(신경망)에게 "여기 색깔이 뭐야?"라고 물었습니다. 만약 물체가 거대하고 걸음이 아주 작다면, 탐험가는 사서에게 수백만 번 질문을 하게 됩니다. 사서가 복잡한 수학 계산으로 바쁘기 때문에 탐험가는 기다리느라 갇혀버리고, 영화는 멈춰버립니다.

저자들의 새로운 방법인 델타 트래킹은 탐험가의 전략을 바꿉니다. 아기 걸음 대신, 탐험가는 크고 무작위적인 점프를 합니다. 그들에게는 규칙이 있습니다. "안개가 최대 이 정도까지만 두꺼울 수 있다는 것을 나는 알고 있다." 그래서 그들은 안개가 최대치일 때 안전할 법한 거리만큼 점프합니다. 그리고 착륙했을 때 사서에게 묻습니다. "여기에 안개가 정말로 이만큼 두꺼운가요?"

• 만약 대답이 "네, 두껍습니다"라면, 그들은 멈춰서 색을 칠합니다.
• 만 만약 대답이 "아니요, 실제로는 얇습니다"라면, 그들은 착륙한 지점을 무시하고 다시 큰 점프를 합니다.

이것은 마치 "특별한" 타일에 착륙했을 때만 점수를 확인하는 게임과 같습니다. 대부분의 시간 동안, 그들은 그냥 공중을 날아다닙니다. 신경망이 느린 부분이므로, "특별한 것이 없다"는 답변이 나오는 곳에서 질문을 건너뛰는 것이 엄청난 시간을 절약해 줍니다.

두 개의 두뇌 팀

이 논문은 컴퓨터가 "걷는 것(traversal)"과 "수학 계산(neural inference)"을 처리하는 방식이 매우 다르다는 중요한 통찰을 강조합니다. 걷는 것은 지도를 따라 한 단계씩 확인하는 한 사람과 같고, 복잡한 수학을 하는 것은 완벽한 화음으로 노래하는 합창단과 같습니다. 만약 합창단에게 한 번에 한 음씩 노래하라고 시킨다면 비효율적일 것입니다.

저자들은 마치 잘 조직된 공장처럼 작동하는 4단계 파이프라인을 구축했습니다:

1. 광선 초기화 (Ray Initialization): 공장은 카메라를 위한 탐험가(광선)들을 설정합니다.
2. 트래버설 (RT 코어): "걷기" 전문가(레이 트레이싱 코어)들이 탐험가들을 데려가 가상 공간을 도약하게 합니다. 그들은 착륙 지점을 찾지만, 아직 사서에게 묻지는 않습니다. 그저 주소만 기록합니다.
3. 이벨류에이션 (텐서 코어): "수학" 전문가(텐서 코어)들이 한꺼번에 방대한 주소 목록을 가져가서 사서에게 모든 질문을 던집니다. 여기서 마법이 일어납니다. 신경망은 질문 묶음을 전달받고, 자신의 풀 파워를 사용하여 한 번에 모든 질문에 답합니다.
4. 파이널라이제이션 (Finalization): 결과가 돌아오면, 탐험가들은 멈출지 아니면 다시 점프할지를 결정합니다.

이 "웨이브프런트(wavefront)" 방식은 컴퓨터의 두뇌가 결코 놀지 않도록 보장합니다. 한 그룹이 걷고 있는 동안, 다른 그룹은 수학 계산을 합니다. 논문은 이 방법이 모든 것을 하나씩 처리하려는 단순한(naive) 방식보다 약 125배 빠르며, 특수한 레이 트레이싱 하드웨어를 사용하지 않는 기존 방식보다 2배 이상 빠르다는 것을 보여줍니다.

스마트한 건너뛰기: 모든 질문을 하지 않는 법

점프하고 확인하는 방법이라 할지라도, 사서에게 묻는 것은 여전히 비용이 듭니다. 저자들은 더 빠르게 만들기 위해 두 가지 "스마트 건너뛰기" 기능을 추가했습니다.

1. "지루한 구역" 건너뛰기 (균질성 기반 쿼리 프루닝, Homogeneity-Based Query Pruning):
   탐험가가 완벽하게 하얗고 텅 빈 방에 착륙했다고 상상해 보세요. 만약 그 구역이 균일하다는 것(모두 같은 색이라는 것)을 알고 있다면, 왜 사서에게 물어야 할까요? 시스템은 해당 영역이 "지루한지"(균일한지) 확인합니다. 만약 그렇다면, 그냥 평균 색상을 추측하고 계속 이동합니다. 이를 통해 질문 하나를 아낍니다. 다만, 논문은 너무 공격적으로 추측하면 세부 사항을 놓칠 수 있으므로, 이러한 지루한 구역의 가장자리 근처에서는 "확률적 감쇠(stochastic falloff)"를 사용하여 주의를 기울인다고 명시합니다.

2. "움직이는 것만 다시 그리기" 건너뛰기 (적응형 레이 버젯팅, Adaptive Ray Budgeting):
   영상을 보고 있다고 상상해 보세요. 배경이 정지된 벽이라면, 매 초마다 그것을 다시 그릴 필요가 없습니다. 새가 날아다니는 부분만 다시 그리면 됩니다. 시스템은 이전 프레임을 보고 "이 픽셀이 변했는가?"라고 묻습니다.

• 만약 픽셀이 안정적이라면(벽), 그것을 그리는 것을 건너뛰고 이전 색상을 그대로 사용합니다.
• 만약 픽셀이 변하고 있다면(새), 그것을 다시 그리는 데 자신의 "예산(budget)"을 사용합니다.
  그들은 무엇을 그릴지 결정하기 위해 세 가지 방법을 테스트했습니다: 색상이 얼마나 변했는지 보는 방식(Residual-Histogram), 무작위이지만 꽤 괜찮은 패턴을 사용하는 방식(STBN), 그리고 이 둘을 섞은 방식입니다. 그들은 무작위 패턴과 "변화 감지"를 섞었을 때 가장 좋은 결과를 얻었으며, 이를 통해 많은 픽셀을 건너뛰더라도 이미지가 부드럽고 자연스럽게 유지되도록 했습니다.

결과: 매끄러운 실시간 과학

팀은 변형되는 물체의 X선 스캔과 유체 흐름 시뮬레이션을 포함한 6가지 데이터셋으로 시스템을 테스트했습니다. 그들은 NVIDIA RTX 4090 GPU에서 1024² 해상도로 모든 것을 실행했습니다.

• 속도: 시스템은 표준 렌더링에서 30~40fps를 달성하며, 복잡한 그림자를 추가했을 때도 약 30fps를 유지합니다. 이는 부드럽고 상호작용 가능한 경험을 하기에 충분한 속도입니다.
• 반응성: 사용자가 시간(레시피의 "t")을 변경하면, 시스템은 약 1~2밀리초 만에 업데이트됩니다. 이는 슬라이더를 드래그하여 물체의 변형을 기다림 없이 즉각적으로 볼 수 있음을 의미합니다.
• 메모리: 시스템은 놀라울 정도로 효율적입니다. 신경 네트워크 자체는 매우 작으며(1~2MB), 렌더링에 필요한 모든 추가 구조를 포함하더라도 총 메모리 사용량은 약 600MB 수준을 유지합니다. 이는 전통적인 과학 시각화 시스템보다 훨씬 낮은 수치입니다.

논문은 이 시스템을 만들기 위해 신경 네트워크를 반드시 재학습시키거나 데이터를 복셀(voxel, 3D 픽셀) 그리드로 변환할 필요가 없다는 점을 명시적으로 배제합니다. 그들은 신경 네트워크를 학습된 형태 그대로 직접 렌더링할 수 있음을 보여줍니다. 또한, 캐싱(나중에 쓰기 위해 저장하는 것)이 정적인 이미지에는 효과적일 수 있지만, 시간이 흐름에 따라 답이 틀려지기 때문에 시변(time-varying) 데이터에는 적합하지 않다고 주장합니다. 그들의 방법은 답을 실시간으로 계산하되 효율적으로 처리함으로써 이 문제를 피합니다.

이것이 왜 중요한가

심장이 어떻게 뛰는지, 폭풍이 어떻게 휘몰아치는지, 혹은 재료가 스트레스 하에서 어떻게 변형되는지를 연구하는 과학자들에게 데이터를 실시간으로 볼 수 있다는 것은 게임 체인저입니다. 이전에는 단 한 프레임을 보기 위해 몇 분을 기다리거나 저품질의 뷰에 만족해야 했습니다. 이제 그들은 데이터를 상호작용하며 돌려보고, 연속적으로 진화하는 모습을 관찰할 수 있습니다. 저자들은 이 프레임워크가 압축된 신경 표현을 인터랙티브한 과학 시각화에 사용할 수 있는 문을 열어주며, 연구자들이 눈에 보이는 것을 보기 위해 필요한 헤비한 수학 계산에 발목 잡히지 않고 데이터의 "연속적인 시간"을 탐구할 수 있게 해준다고 제안합니다.

결론적으로, 이 논문은 "지루한 구역"의 임계값을 신중하게 설정해야 한다는 점이나 현재 시스템이 특정 NVIDIA 하드웨어에 의존한다는 점과 같은 몇 가지 한계점이 존재하지만, 이 접근 방식이 신경 표현의 압축성과 상호작용 가능한 고품질 시각화 사이의 간극을 성공적으로 메웠음을 보여줍니다. 이는 데이터를 "신경적(neural)"인 성질 그대로 유지하면서도 빠르게 만드는 것이 불가능한 것이 아니라, 단지 올바른 질문을, 올바른 순서로 던지고, 필요 없는 질문은 건너뛰기만 하면 된다는 것을 증명합니다.