기술 요약: 몰입형 해부학을 위한 주변부 가우시안을 활용한 하이브리드 포비에이티드 패스 트레이싱

문제 정의

의료 데이터(CT, MRI)로부터 인체 해부 구조를 시각화하는 것은 교육, 진단 및 계획 수립에 있어 매우 중요합니다. 그러나 전통적인 워크플로우는 2D 단면 슬라이스에 의존하며, 이는 사용자가 3차원 공간 관계를 정신적으로 재구성하도록 강요하여 인지적 부담을 높입니다. 몰입형 가상 현실(VR)과 고충실도 볼륨 패스 트레이싱은 우수한 깊이 지각과 사실성을 제공하지만, 상당한 계산적 장벽에 직면해 있습니다. 높은 해상도와 쾌적한 VR에 필요한 프레임 레이트를 유지하면서 직접 패스 트레이싱을 수행하는 것은 비용이 너무 많이 듭니다. 반대로, 3D 가우시안 스플래팅(3DGS)과 같은 사전 계산된 중간 표현 방식은 렌더링 속도는 매우 빠르지만, 일반적으로 광범위한 전처리 과정이 필요하고, 완전한 상호작용성(예: 동적 전송 함수 변경)이 부족하며, 직접 렌더링에 비해 미세한 해부학적 세부 사항을 희생하는 경향이 있습니다. 또한, 기존의 포비에이티드 렌더링 전략은 정적인 프록시 기하 구조에 의렴하거나 고해상도 디스플레이로 확장할 때 지연 시간 및 디스오클루전(disocclusion) 문제로 어려움을 겪습니다. 따라서 고해상도 디스플레이로 확장할 때 지연 시간과 디스오클루전 문제를 해결하지 못하거나 정적인 프록시 기하 구조에 의존하는 경우가 많습니다. 즉, 모바일 또는 독립형 VR 기기에서 높은 시각적 충실도, 실시간 상호작용성, 낮은 계산 비용 사이의 균형을 맞추는 시스템에 대한 공백이 존재합니다.

방법론

저자들은 중심 시야(포비아, fovea)를 위한 스트리밍 포비에이티드 패스 트레이싱과 신속하게 생성되고 지속적으로 정제되는 3D 가우시안 스플래팅(3DGS) 모델을 통합하는 하이브리드 렌더링 파이프라인을 제안합니다. 이 시스템은 계산 집약적인 작업과 경량 실시간 뷰어를 분리하는 분할 렌더링 아키텍처를 기반으로 작동합니다.

시스템 구성 요소

1. 볼륨 패스 트레이서 (Volumetric Path Tracer):

   • 사용자의 헤드 포즈(head pose)를 기반으로 고품질의 포비에이티드 이미지와 깊이 데이터를 생성합니다.
   • 제한된 패스 트레이서(최대 4 바운스)를 사용하며, 샘플 수는 8에서 32 SPP(Samples Per Pixel) 사이입니다.
   • NVIDIA OptiX를 사용하여 디노이징을 수행하며, 인터랙티브한 프레임을 위해 모션 벡터와 알베도 버퍼를 활용한 시간적 축적(temporal accumulation)을 사용합니다.
   • 레이를 투사하여 볼륨 표면의 첫 번째 유의미한 히트(hit)를 찾아내고, 동일한 패스 트레이싱 로직으로 색상을 입힌 초기 포인트 클라우드를 생성합니다.

2. 주변부 모델 학습 (3DGS):

   • 초기화: 소수의 포즈가 지정된 이미지 세트(예: 8 SPP의 12개 뷰)를 사용하여 1초 미만으로 초기 주변부 모델을 생성합니다. 이는 Mini-Splatting2를 적응시켜 밀도화(densification) 단계를 건너뛰고 조기에 단순화를 적용함으로써 "플로터(floater)" 아티팩트를 방지합니다.
   • 지속적 정제: 사용자가 상호작용함에 따라 새로운 포비에이티드 이미지가 학습 서브시스템으로 전달됩니다. 중복 데이터를 피하기 위해 위치 및 각도 임계값을 기준으로 뷰를 필터링하는 휴리스틱을 적용합니다. 모델은 새로운 세부 사항을 포함하도록 주기적으로 재최적화(기존 가우시안을 초기값으로 다시 로드)되어, 광범위한 전처리 없이도 시간이 지남에 따라 주변부 모델의 품질을 개선할 수 있습니다.
   • 최적화: 반투명한 의료 구조를 더 잘 처리하기 위해 알파 학습(alpha training)과 무작위 배경(randomized backgrounds)을 사용합니다.

3. 실시간 뷰어 (Real-Time Viewer):

   • 소비자용 하드웨어 또는 독립형 VR 헤드셋(예: Meta Quest 3)에서 실행됩니다.
   • 깊이 가이드 리프로젝션 (Depth-Guided Reprojection): 패스 트레이서와 뷰어 사이의 지연 시간을 마스킹하기 위해, 시스템은 패스 트레이서의 첫 번째 히트 지점에서 얻은 깊이 데이터를 사용하여 수신된 포비에이티드 이미지를 변형된 메쉬 위에 투영합니다. 이는 렌더링 속도를 디스플레이 재생률로부터 분리합니다.
   • 컴포지팅 (Compositing): 포비에이티드 패스 트레이싱 이미지와 주변부 3DGS 클라우드를 합성합니다. 투명한 영역에서의 블렌딩 아티팩트를 방지하기 위해 3DGS 모델에 프러스텀(frustum) 형태의 컷아웃을 적용합니다.
   • 블렌딩 (Blending): 저해상도 학습 중에 발생하는 작은 구조물(예: 혈관)의 과소 추정 문제를 보상하기 위해 3DGS 모델에 스플랫 크기와 불투명도 조절을 적용합니다.

주요 기여

본 논문은 세 가지 주요 기여를 식별합니다:

1. 하이브리드 렌더링 파이프라인: 스트리밍 포비에이티드 패스 트레이싱과 재생성되는 3DGS 주변부 클라우드를 통합하여, 고충실도 해부학적 시각화와 높은 상호작용성 및 계산 효율성을 동시에 실현하는 새로운 시스템을 제안합니다.
2. 깊이 가이드 리프로젝션: 패스 트레이서의 깊이 데이터를 사용하여 포비에이티드 이미지의 리프로젝션을 가이드함으로써 지연 시간을 숨기고 렌더링 속도를 디스플레이 재생률과 분리하여, 머리 움직임에 대한 견고성을 높이는 방법을 제시합니다.
3. 인터랙티브 생성의 평가: 주변부 모델을 1초 미만으로 재생성하고 지속적으로 정제할 수 있음을 입증하여, 설정 시간과 시각적 충실도 사이의 트레이드오프를 제공함으로써 단독 패스 트레이싱 및 사전 계산된 3DGS보다 뛰어난 성능을 보여주는 경험적 연구를 수행했습니다.

결과

시스템은 의료 볼륨("Fullbody" 및 "Leg")에 대해 지각적 지표(LPIPS, masked PSNR, SSIM) 및 성능 벤치마크를 통해 평가되었습니다.

• 초기화 속도: 초기 주변부 모델은 약 300–400 ms 내에 생성될 수 있으며, 전체 재구성은 1초 미만에 완료됩니다. 이는 유사한 환경에서 표준 3DGS 설정에 소요되는 1~2분에 비해 현저히 빠른 속도입니다.
• 시각적 품질:
  • 포비알 영역 (Foveal Region): 하이브리드 접근 방식은 유사한 프레임 타임에서의 실시간 패스 트레이싱과 비교했을 때, 특히 지각적 지표(LPIPS) 측면에서 포비알 영역의 우수한 시각적 품질을 제공합니다.
  • 주변부 영역 (Peripheral Region): 이 방법은 단독 실시간 패스 트레이싱보다 주변부에서 더 나은 성능을 보이며, 사전 계산된 3DGS와 경쟁할 만한 품질을 훨씬 적은 설정 시간으로 제공합니다.
  • 지속적 정제: 추가적인 뷰(최대 512개 뷰)를 통해 모델이 정제됨에 따라 시각적 품질이 향상됩니다. 가우시안 개수는 약 10k에서 50k로 증가합니다. 그러나 약 2000회 반복 이후에는 이득이 점차 감소합니다.
• 성능: 시스템은 Meta Quest 3에서 >72 FPS를 달rem합니다. 뷰어의 주변부 모델 렌더링은 0.5ms 미만이 소요되며(데스크톱 기준 CPU 바운드), 패스 트레이싱과 디노이징은 원격의 고성능 GPU에서 수행됩니다.
• 지연 시간 처리: 깊이 가이드 리프로젝션은 지연 시간을 효과적으로 마스킹하여, 포비에이티드 업데이트 속도가 디스플레이 재생률보다 낮더라도 안정적인 고프레임 레이트 렌더링을 가능하게 합니다.

의의 및 주장

저자들은 이 연구가 패스 트레이싱의 높은 충실도와 사전 계산된 표현 방식의 실시간 성능 사이의 간극을 메운다고 주장합니다. 인간 눈의 비균일한 시력을 활용함으로써, 시스템은 중요한 곳(포비아)에 계산 자원을 집중하는 동시에 주변부에는 시각적으로 그럴듯하고 빠르게 생성된 근사치를 제공합니다.

이 연구의 의의는 광범위한 전처리 시간(기존 3DGS)이나 전체 장면 패스 트레이싱의 과도한 계산 비용 없이도 모바일 VR 기기에서 인터랙티브하고 고품질의 의료 시각화를 가능하게 한다는 데 있습니다. 이 접근 방식은 모델을 몇 초 만에 재생성함으로써 전송 함수 변경이나 클리핑 평면과 같은 동적 작업을 지원하며, 정적 사전 계산 과정에서 손실될 수 있는 미세한 해부학적 세부 사항을 보존할 수 있습니다. 본 논문은 이러한 하이브리드 전략이 복잡한 병리학적 상태에 대한 즉각적이고 고충실도 탐구가 필요한 시나리오를 위한 새로운 옵션을 열어준다고 결론짓습니다.