기술 요약: 몰입형 해부학 시각화를 위한 다층 가우시안 스플래팅 (Multi-Layer Gaussian Splatting)

문제 정의

의료 영상 시각화, 특히 CT(컴퓨터 단층 촬영) 스캔의 경우, 전통적으로 2D 슬라이스 또는 직접 볼륨 렌더링(Direct Volume Rendering, DVR)에 의존해 왔습니다. 볼륨 패스 트레이싱(Volumetric Path Tracing)은 교육 및 수술 계획에 유익한 사실적인 조명과 그림자를 제공하여 생동감 넘치고 고충실도의 3D 시각화를 구현할 수 있지만, 모바일 및 독립형 VR 헤드셋에서의 실시간 사용에는 계산 비용이 너무 높습니다. 이러한 장치들은 고해解상도 패스 트레이싱이나 고품질 DVR에 필요한 저장 용량과 렌더링 성능이 부족합니다.

가우시안 스플래팅(Gaussian Splatting, GS)과 같은 기존 대안은 효율적인 실시간 렌더링을 제공하지만, 이 맥락에서는 다음과 같은 중대한 한계가 있습니다:

1. 정적 특성: 표준 GS 모델은 정적입니다. 즉, 전이 함수(색상/투명도)가 학습 시점에 고정됩니다.
2. 상호작용성 부족: 절단, 슬라이싱 또는 특정 해부학적 구조(예: 뼈와 근육의 구분 시각화)를 격리하는 기술은 별도의 모델을 여러 개 만들지 않고는 시각적 아티팩트가 발생하거나 구현하기 어렵습니다.
3. 투명도 문제: 표준 GS 학습은 알파 채널을 평탄화하여, 합성 데이터에서 투명한 배경을 사용할 때 반투명 영역에 아티팩트를 유발합니다.
4. 중복성: 서로 다른 해부학적 뷰를 위해 별도의 모델을 학습하면 중복된 콘텐츠로 인해 저장 용량이 커집니다.

방법론

저자들은 여러 해부학적 구조를 순차적으로 시각화할 수 있는 단일 중간 표현을 생성하는 계층형 가우시안 스플래팅(Layered Gaussian Splatting, GS) 접근 방식을 제안합니다. 워크플로우는 세 단계로 구성됩니다:

1. 이미지 생성

고품질 학습 이미지는 몬테카를로 볼륨 패스 트레이서를 사용하여 CT 볼륨 데이터로부터 사전 렌더링됩니다.

• 초기화: COLMAP이나 무작위 포인트 클라우드를 사용하는 대신, 저자들은 볼륨 외부에서 내부로 샘采样하며 전이 함수 불투명도 임계값($\alpha = 0.2$)에 도달할 때까지 멈추는 방식으로 초기 포인트 클라우드를 생성합니다. 이는 가우시안이 형성될 표면 근처에 포인트가 위치하도록 보장합니다.
• 알파 채널 처리: 투명도 아티팩트를 해결하기 위해 학습 과정에서 두 가지 전략을 사용합니다:
  • 무작위 배경: 학습 중 배경색을 평탄화하는 대신 각 프레임마다 무작위로 설정하여, 배경색이 반투명 영역으로 번지는 것을 방지합니다.
  • 알파 손실(Alpha Loss): 반투명한 영역의 디테일을 유지하기 위해 알파 채널을 손실 계산에 명시적으로 포함합니다.

2. 계층형 학습

핵심 혁신은 단일 .ply 파일 내에 여러 GS 레이어를 쌓아 올리는 연속적인 학습 프로세스입니다.

• 순차적 최적화: 레이어는 하나씩 차례대로 학습됩니다 (예: 뼈 $\rightarrow$ 근육 $\rightarrow$ 연조직). 하나의 레이어가 최적화되면, 해당 가우시안들은 "동결"되어 다음 레이어를 위한 정적 배경으로 취급됩니다.
• 차분적 표현(Differential Representation): 새로운 레이어는 오직 새로운 정보(예: 근육 조직)를 위한 가우시안만을 최적화하거나, 이전 레이어의 정보가 불충분한 영역만을 최적화합니다. 기존 하위 레이어는 건드리지 않으므로 시각적 무결성이 보존됩니다.
• 비활성 프루닝(Inactive Pruning): 표준 GS의 적응형 제어에 대한 중요한 확장입니다. 상위 레이어를 학습하는 동안, 하위 레이어의 일부 가우시안은 완전히 가려지거나(예: 뼈 내부) 중복될 수 있습니다. 저자들은 가우시안의 활동성(위치, 색상, 스케일 변화)을 추적하는 프루닝 메커니즘을 도입했습니다. 활동성이 최소 임계값에 미치지 못하는 가우시안은 제거됩니다. 이 임계값은 잘 최적화된 가우시안이 초기에 제거되는 것을 방지하기 위해 지수적 감쇠(exponential decay)를 통해 업데이트됩니다.

3. 실시간 렌더링

학습된 계층형 모델은 HLSL 컴퓨트 셰이더를 사용하여 Unity 게임 엔진(2022.3)에서 렌더링됩니다.

• 선택적 로딩: 활성화되어 렌더링되는 레이어만 GPU로 전송되며, 사용되지 않는 레이어는 RAM에 머뭅니다.
• 압축: 저장 공간과 메모리 점유율을 줄이기 위해, 모든 레이어에 걸쳐 양자화(quantization)와 K-평균 클러스터링(K-means clustering)을 동시에 적용합니다. 이는 파일 크기의 약 75%를 차지하는 구면 조화 함수(spherical harmonics) 계수를 16k 변형으로 클러스터링하여, 의료 볼륨의 제한된 색상 팔레트를 활용합니다.
• 정렬 최적화: VR 스테레오 렌더링을 처리하기 위해, 양쪽 눈 사이의 스플랫 정렬(sorting)을 공유하여 프레임당 정렬 시간을 절반으로 줄이는 방법을 탐색합니다.

주요 기여

1. 계층형 GS 표현: 동일한 볼륨의 여러 GS 렌더링을 단일 에셋에 학습하고 쌓아 올리는 방법으로, 재학습 없이 해부학적 구조(예: 뼈만 보기, 또는 뼈와 근육 함께 보기)를 선택적으로 표시할 수 있게 합니다.
2. 비활성 프루닝: 계층화 과정에서 가려지거나 중복된 가우시안을 제거하여 복잡도를 줄이고 효율성을 높이는 기술입니다.
3. 알파 채널 학습: 무작위 배경과 알파 손실을 사용하여 반투명한 해부학적 구조를 충실하게 재구성하는 GS 학습 파이프라인의 확장입니다.
4. Unity 구현: 모바일 및 데스크톱 VR 기기에서 컷팅(cutting)과 레이어 토글을 지원하는 계층형 GS 렌더링을 위한 실시간 Unity 파이프라인입니다.
5. 오픈 리소스: 학습 및 렌더링 코드와 데이터셋을 공개합니다.

결과 및 평가

본 접근 방식은 실제 CT 스캔(하체, 전신, 다리) 및 합성 장면을 사용하여 평가되었습니다.

• 성능: 이 방법은 데스크톱 VR(Varjo Aero)과 독립형 모바일 VR(Meta Quest 3) 모두에서 인터랙티브한 프레임 레이트를 달나합니다. RTX 4090이 탑재된 PC에서 고압축 모델의 렌더링 시간은 약 1.3–1.7 ms로, 패스 트레이싱(7116 ms) 및 디노이즈 패스 트레이싱(66 ms)을 크게 능가합니다.
• 품질: 모델은 정답(ground truth)과 비교했을 때 높은 시각적 충실도(PSNR ~35–37, SSIM ~0.96)를 달성하며, 낮은 샘플 수에서 표준 패스 트레이싱보다 우수한 성능을 보입니다. 미세한 디테일이 저주파 영역에서 흐릿해질 수 있으나, 고대비 특징들은 정확하게 재구성됩니다.
• 저장 효율성: 계층형 접근 방식은 여러 개의 독립적인 GS 모델을 저장하는 것에 비해 저장 요구 사항을 크게 줄입니다. 예를 들어, 3개 레이어로 구성된 다리 장면의 경우, 압축 전 (독립형 결합 시) 46.6 MB였던 것에 비해 계층형 방식은 34.4 MB가 필요했습니다. 클러스터링 압축 적용 후에는 다리(Leg) 5.8 MB, 전신(Fullbody) 7.6 MB로 줄어들어, 원래 DICOM 볼륨 대비 최대 99%의 감소율을 보였습니다.
• 지속 학습(Continual Learning)과의 비교: 제안된 방법은 CLNeRF와 비교했을 때 더 적은 학습 이미지로 미세한 해부학적 구조(예: 뼈)를 더 잘 표현하며, 리플레이 버퍼(replay buffer)의 메모리 오버헤드를 피할 수 있어 실시간 VR에 더 적합합니다.

의의 및 주장

본 논문은 이 접근 방식이 패스 트레이싱의 높은 시각적 충실도와 모바일 VR의 성능 제약 사이의 간극을 메운다고 주장합니다. "탐색적 특성"을 유지하는 정적 중간 표현을 생성함으로써, 이 방법은 다음과 같은 기능을 가능하게 합니다:

• 선택적 상호작용: 사용자는 레이어를 토글하거나 레이어를 통과하여 절단함으로써, 기존에 비용이 많이 드는 패스 트레이싱이나 정적인 2D 슬라이스로 제한되었던 해부학적 관계(예: 뼈 대 연조직)를 실시간으로 시각화할 수 있습니다.
• 접근성: 고품질 3D 해부학 시각화를 저렴한 독립형 헤드셋에서도 가능하게 하여, 연결된 고성능 워크스테이션의 필요성을 제거합니다.
• 교육적 유용성: 복잡한 해부학 구조를 인터랙티브하게 탐색할 수 있는 능력은 현재 실시간 패스 트레이싱이 까다로운 의료 교육 및 수술 계획을 지원합니다.

저자들은 이 방식이 여전히 반정적(semi-static)이라는 점(전이 함수가 고정됨)과 극도로 근접 촬영 시 스플래팅 아티팩트가 나타날 수 있다는 점을 인정합니다. 그러나 달성된 디테일 수준이 많은 실용적인 의료 시각화 시나리오에 충분하다고 주장합니다.