NeuVolEx: Implicit Neural Features for Volume Exploration

1. 문제 정의 (Problem Statement)

직접 볼륨 렌더링 (DVR) 은 의료 영상 및 과학 시뮬레이션 분야에서 중요한 도구이나, 사용자는 관심 영역 (ROI) 을 식별하고 탐색하는 데 어려움을 겪습니다. 이를 해결하기 위해 기존 연구들은 주로 특징 표현 (Feature Representation) 에 의존해 왔으나, 다음과 같은 한계가 존재했습니다.

• 명시적 국소 특징 (Explicit Local Features) 의 한계: 강도, 기울기, 위치 등 원본 볼륨에서 직접 추출된 국소 특징은 광범위한 기하학적 패턴이나 공간적 상관관계를 포착하는 능력이 부족하여, 일관된 ROI 분류 및 클러스터링이 어렵습니다.
• 암시적 합성곱 특징 (Implicit Convolutional Features) 의 한계: 딥러닝을 통해 학습된 특징은 공간적 맥락을 포착할 수 있으나, 특징 차원이 매우 높음 (75D~387D) 으로 인해 실제 제한된 사용자 감독 (예: 희소한 스크래브 주석) 하에서는 강건한 성능을 내기 어렵습니다. 또한 고차원 특징은 학습 시 계산 및 메모리 오버헤드가 큽니다.
• 기존 INR 의 활용 부족: 암시적 신경 표현 (INR) 은 볼륨 압축 분야에서 coordinate-to-intensity 매핑을 통해 성공적으로 사용되었으나, 볼륨 탐색 (Volume Exploration) 과 같은 태스크를 위한 특징 표현으로서의 잠재력은 거의 연구되지 않았습니다.

2. 제안 방법론 (Methodology: NeuVolEx)

저자들은 INR 을 단순한 볼륨 재구성이 아닌, 볼륨 탐색을 위한 강력한 특징 표현의 기반으로 확장한 NeuVolEx를 제안합니다. 핵심 아키텍처 및 전략은 다음과 같습니다.

가. 볼륨 탐색 최적화 INR (Volume Exploration-Optimized INR)

단순히 볼륨 값을 복원하는 것을 넘어, 공간적 일관성 (Spatial Coherence) 을 갖춘 특징을 학습하기 위해 다음과 같은 구조를 도입했습니다.

1. 이중 경로 설계 (Dual-Pathway Design):
   • 위치 표현 경로: 3D 좌표를 멀티레졸루션 해시 그리드 (Hash Grid) 인코딩을 통해 처리하여 다중 해상도의 특징을 생성합니다.
   • 구조적 표현 경로: 각 좌표 주변의 국소 패치 (Local Patch, $5^3$ voxels) 를 추출하여 구조적 인코더 (Structural Encoder) 를 통해 처리합니다. 이는 국소적 구조적 맥락을 제공합니다.
2. FiLM (Feature-wise Linear Modulation): 두 경로의 특징을 단순히 연결하는 대신, 구조적 표현이 위치 표현을 조건화 (Conditioning) 하도록 FiLM 을 적용합니다. 이를 통해 인접한 영역의 미세한 경계를 보존하고 유사한 강도를 가진 인접 영역을 분리하는 능력을 향상시킵니다.
3. 멀티태스크 학습 (Multi-Task Learning): INR 학습 시 단순히 강도 (Intensity) 만 예측하는 것이 아니라, 기울기 (Gradient), 국소 평균 (Local Mean), 국소 표준편차 (Local Std) 를 함께 예측하도록 손실 함수를 설계했습니다. 이는 ROI 의 경계, 국소적 균질성, 부분 볼륨 효과를 포착하여 공간적 일관성을 강화합니다.

나. 주요 볼륨 탐색 태스크

학습된 INR 의 은닉층 활성화 값을 볼륨 단위 특징 표현 (Voxel-level Feature Representation) 으로 활용하여 두 가지 태스크를 수행합니다.

1. 이미지 기반 전사 함수 (TF) 설계:
   • 사용자가 2D 슬라이스에 희소한 스크래브 (Scribble) 로 ROI 를 표시합니다.
   • 학습된 특징과 스크래브 정보를 기반으로 랜덤 포레스트 (Random Forest) 분류기를 훈련시켜 각 볼륨의 ROI 클래스 확률을 예측합니다.
   • 확률 기반 렌더링 (Probabilistic Renderer) 을 통해 사용자의 의도에 맞는 시각화 결과를 생성합니다.
2. 시점 추천 (Viewpoint Recommendation):
   • 사용자 감독 없이 볼륨 내 특징을 기반으로 K-means 클러스터링을 수행하여 ROI 군집을 식별합니다.
   • 각 시점에서 군집의 가시성을 분석하고 엔트로피 (Entropy) 기반의 정보성 지도를 생성합니다.
   • 집합 커버 (Set-cover) 문제를 해결하여 서로 다른 ROI 군집을 모두 드러내는 보완적인 시점들의 집합을 추천합니다.

3. 주요 기여 (Key Contributions)

1. 볼륨 탐색을 위한 새로운 INR 기반 특징 표현: 볼륨 압축을 넘어, INR 학습 과정에서 얻은 중간 특징을 볼륨 탐색의 핵심 기반으로 활용하는 새로운 패러다임을 제시했습니다.
2. INR 의 역할 확장: INR 을 단순한 재구성 도구가 아닌, 공간적 일관성이 강화된 ROI 분류 및 클러스터링을 지원하는 탐색 도구로 확장했습니다.
3. 최적화된 아키텍처: 구조적 인코더와 멀티태스크 학습, FiLM 을 도입하여 INR 이 볼륨 탐색 태스크에 최적화되도록 개선했습니다.
4. 종합적인 검증: 이미지 기반 TF 설계와 시점 추천이라는 두 가지 대표 태스크에 대해 다양한 모달리티와 복잡도를 가진 데이터셋에서 기존 방법론 대비 우수한 효과성과 사용성을 입증했습니다.

4. 실험 결과 (Results)

• ROI 분류 정확도 (F1-score): CT-Abdomen, CT-Engine, CT-Tooth, MRA-Brain 등 4 가지 데이터셋에서 기존 명시적 국소 특징 방법 [21] 과 암시적 합성곱 특징 방법 [20] 보다 일관적으로 높은 평균 F1 점수를 기록했습니다. 특히 희소한 스크래브 (S1, 756 포인트) 조건에서도 타 방법론이 S3/S4 수준의 성능을 내는 반면, NeuVolEx 는 S1 에서도 우수한 성능을 보였습니다.
• 시각화 품질: CTA-Head(혈관), MRA-Brain(동맥), CT-Bonsai(나뭇가지), MR-Kiwi(씨앗) 등 정교한 구조를 가진 데이터에서 기존 방법들이 겪는 끊김 (Discontinuity) 이나 오분류 문제를 해결하고, 미세한 구조와 경계를 명확하게 시각화했습니다.
• 시점 추천: Cube, CT-Cardiac, Tornado 데이터셋에서 서로 다른 ROI 군집을 포괄하는 최소한의 보완적 시점들을 성공적으로 추천했습니다.
• 계산 효율성: 특징 학습은 볼륨 크기에 비례하여 선형적으로 증가하며, 대규모 볼륨 (512x512x452) 의 경우 약 15 분, 18.75GB VRAM 으로 학습이 가능했습니다. 이는 기존 고차원 특징 기반 방법의 메모리 요구량 및 학습 시간 (수 주) 에 비해 매우 효율적입니다.

5. 의의 및 결론 (Significance)

NeuVolEx 는 INR 을 볼륨 재구성을 넘어 볼륨 탐색의 핵심 엔진으로 재정의했다는 점에서 의의가 큽니다.

• 사용성 향상: 사용자는 복잡한 TF 설계나 다중 슬라이스 주석 없이도 단순한 스크래브로 정밀한 ROI 분류와 시각화가 가능합니다.
• 강건성: 제한된 사용자 입력 (Sparse Supervision) 하에서도 공간적 일관성을 유지하며 미세한 구조를 포착하는 강건한 성능을 입증했습니다.
• 확장성: 의료 영상, 과학 시뮬레이션 등 다양한 모달리티와 복잡한 ROI 구조에 적용 가능하며, 향후 다중 모달리티 데이터나 시계열 볼륨 데이터로 확장될 잠재력을 가집니다.

결론적으로, NeuVolEx 는 INR 기반의 컴팩트하고 공간적으로 일관된 특징 표현을 통해 직접 볼륨 렌더링의 핵심 태스크인 ROI 식별 및 탐색의 효율성과 정확성을 획기적으로 개선한 프레임워크입니다.