Gaussian Volumetric Representation for Efficient Shear-Warp Visualization

기술 요약: 효율적인 Shear-Warp 시각화를 위한 가우시안 볼륨 표현 (Gaussian Volumetric Representation)

문제 정의
MRI, CT, Cryosection 볼륨과 같은 고차원 데이터셋에 대한 의료 영상 시각화는 해부학적 충실도와 렌더링 속도 사이의 결정적인 트레이드오프(trade-off) 문제에 직면해 있다. 전통적인 레이 마칭(ray-marching) 기법은 모든 카메라 광선(ray)을 따라 샘플링과 보간을 수행해야 하기 때문에 고해상도 대용량 볼륨의 경우 계산 비용이 매우 높다. 기존의 압축 방식(예: 텐서 분해, 옥트리)은 유연한 렌더링에 필요한 볼륨 구조를 명시적으로 모델링하지 못한 채 복셀 수준의 신호를 근사하는 데 그치는 경우가 많다. 반대로, NeRF, CNN, Transformer와 같은 학습 기반 접근 방식은 밀집한 샘플링과 방대한 파라미터 수로 인해 과도한 계산 비용이 발생하거나, 표면 경계에 집중하느라 미세한 단면 내부 구조를 포착하지 못하는 한계가 있다. 또한, 표준 가우시안 스플래팅(Gaussian Splatting) 방식은 표면 형태의 장면(surface-like scenes)에 최적화되어 있어, 의료 단면 전반에 분포된 내부 볼륨 신호를 모델링하는 데 어려움이 있다.

방법론
저자들은 학습 가능한 이방성 가우시안 커널(anisotropic Gaussian kernels)의 희소 집합을 사용하여 조밀한 의료 볼륨을 근사하는 가우시안 기반 볼륨 표현을 제안한다. 표면 중심의 스플래팅과 달리, 이 방법은 연속적인 내부 볼륨 필드를 모델링한다. 핵심 기술 구성 요소는 다음과 같다:

1. 가우시안 볼륨 필드 (Gaussian Volumetric Field): 볼륨은 각각 학습 가능한 파라미터인 평균($\mu$), 공분산 행렬($\Sigma$), RGB 색상($C$), 불투명도($\alpha$)로 정의되는 $m$개의 가우시안 커널의 혼합으로 표현된다. 임의의 공간 위치에서의 연속적인 색상 필드 $f(x)$는 이 가우시안들의 가중 합으로 계산된다.
2. 몬테카를로 볼륨 추정 (Monte Carlo Volumetric Estimation, MCE): 전체 밀집 복셀 그리드를 처리하는 계산 비용을 줄이기 위해, 저자들은 MCE를 채택하였다. 모든 $n$개의 복셀에 대해 평균 제곱 오차(MSE)를 최소화하는 대신, 희소한 복셀 서브셋을 사용하여 밀집한 목적 함수를 근사한다. 샘플링 분포(고오차 또는 고기울기 영역 우선)에 기반한 중요도 가중치를 적용함으로써, 이 추정기는 편향되지 않은(unbiased) 상태를 유지하며, 이를 통해 스토캐스틱 최적화(stochastic optimization)가 밀집 학습과 동일한 최적점에 수렴하도록 보장한다.
3. 구조적 샘플링을 결합한 커리큘럼 학습 (Curriculum Learning with Structured Sampling): 학습 전략은 두 가지 상호 보완적인 감독 신호를 결합한다:
   • 희소 복셀 샘플링 (Sparse Voxel Sampling): 볼륨의 전역적인 커버리지를 제공한다.
   • 구조적 슬라이스 기반 샘플링 (Structured Slice-Based Sampling): 무작위로 방향이 설정된 2D 평면을 샘플링하고, 이 평면 위의 희소한 픽셀들이 감독 역할을 수행한다. 이는 공간적으로 상관된 제약 조건을 도입하여, 고립된 복셀 샘플링이 놓치기 쉬운 기하학적 구조와 질감의 연속성을 학습하는 데 도움을 준다.
   • 커리큘럼 학습 스케줄은 두 손실 함수를 점진적으로 혼합한다. 초기에는 전역적 일관성을 위해 강력한 복셀 감독을 적용하고, 점진적으로 슬라이스 감독을 통합하여 해부학적 세부 사항을 정교화한다.
4. Shear-Warp 렌더링: 학습된 가우시안 표현은 Shear-Warp 볼륨 렌더링 알고리즘과 통합된다. 축 정렬된 슬라이스 스택(axis-aligned slice stacks)이 필요한 레이 마칭과 달리, 이 렌더러는 시야 방향을 따라 가우시안 필드에서 직접 슬라이스 텍스처를 샘플링한다. 이는 단일 슬라이스 스택을 활용하며, 카메라 방향이 특정 임계값을 초과할 때만 적응적으로 갱신되도록 하여 메모리 오버헤드를 크게 줄이고 실시간 성능을 가능하게 한다.

주요 기여

• 컴팩트한 볼륨 표현: 학습 가능한 가우시안 커널의 희소 집합을 사용하여 밀집한 의료 볼륨을 근사함으로써, 구조적 세부 사항을 보존하면서 저장 및 계산 요구 사항을 줄이는 방법을 제시하였다.
• MCE를 통한 효율적인 최적화: 희소한 감독으로부터 볼륨 표현을 최적화하기 위해 몬테카를로 추정을 사용하는 학습 프레임워크를 통해, 밀집한 볼륨 목적 함수와의 일관성을 유지한다.
• 커리큘럼 학습 전략: 희소 복셀 샘플링과 구조적 평면 슬라이스 샘플링을 혼합하는 새로운 학습 접근 방식을 통해, 모델이 전역적 볼륨 일관성과 국소적 해부학적 연속성을 모두 효율적으로 학습할 수 있게 한다.
• 실시간 Shear-Warp 렌더러: 다중 모달 데이터셋(MRI 및 Cryosection)에 대해 여러 개의 사전 계산된 슬라이스 스택을 유지하는 오버헤드 없이 고프레임 레이트 시각화를 지원하는 GPU 기반 렌더러를 개발하였다.

결과
본 방법은 T2 BraTS MRI 데이터셋, 배아/신생아 마우스 MRI, 그리고 가시적 한국 프로젝트(Visible Korean Project)의 크라이오섹션 데이터셋(뇌, 간, 심장, 폐 포함)을 포함한 다양한 모달리티에서 평가되었다.

• 렌더링 성능: 본 접근 방식은 실시간 렌더링 속도를 달성하였으며, 크라이오섹션 데이터셋에서 최대 43.86 FPS에 도달하였다. 이는 동일한 데이터셋에 대한 레이 마칭(15.05 FPS) 대비 2.91배 빠른 속도이다.
• 재구성 품질: 정량적 지표(PSNR, SSIM, MS-SSIM)에 따르면, 본 방법은 구조적 및 질감적 세부 사항을 보존하는 데 있어 딥러닝 베이스라인(MLP, Transformer, UNet) 및 기타 가우시안/NeRF 기반 방법들(FreeSplatter, CVT-xRF, GNT-MOVE)보다 우수한 성능을 보인다. 예를 들어, BraTS 데이터셋에서 PSNR 40.88, MS-SSIM 0.998을 달성하였다.
• 효율성: 본 방법은 원본 볼륨 데이터 크기의 25% 이내의 메모리 점유율을 유지하면서 최대 11.31:1의 압축률을 달성하였다. 또한 딥러닝 베이스라인들과 비교하여 현저히 낮은 계산 비용(FLOPs)과 학습 시간을 보여준다.

의의 및 주장
본 논문은 이 프레임워크가 고충실도 볼륨 재구성과 실시간 시각화 사이의 간극을 성공적으로 메운다고 주장한다. 밀집한 복셀 처리와 표면 전용 가우시안 표현에서 벗어남으로써, 제안된 방법은 대규모 의료 데이터셋에서 내부 해부학적 구조의 효율적이고 선택적인 시각화를 가능하게 한다. 저자들은 몬테카를로 추정과 커리큘럼 학습의 결 조합이 시스템으로 하여 인해 희소한 감독 하에서도 복잡한 해부학적 세부 사항을 학습할 수 있게 하며, 이를 통해 구조적 무결성을 훼손하지 않고 다중 모달 의료 데이터를 대화형으로 탐색할 수 있음을 강조한다.

한계점
저자들은 가우시안 프리미티브의 매끄러운 특성으로 인해 날카로운 경계나 고주파 세부 사항 근처에서 약간의 블러링(blurring)이 발생할 수 있음을 인정한다. 또한, 매우 희소한 감독의 경우 재구성된 볼륨에 작고 밝은 점 형태의 아티팩트(artifact)가 간혹 나타날 수 있으나, 현재의 프레임워크는 강력한 희소성 제약 조건 하에서도 시각적 일관성을 유지한다.