MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

1. 문제 정의 (Problem)

의료 영상 (초음파, MRI, CT 등) 을 기반으로 한 3 차원 해부학적 구조 재구성은 수술 계획 및 질병 분석에 필수적입니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 희소 데이터와 노이즈: 의료 영상은 종종 슬라이스 간 간격이 넓거나 (희소), 노이즈가 포함되어 있어, 슬라이스 간의 연속성을 유지하며 3D 구조를 복원하는 것이 어렵습니다.
• 기존 방법의 한계:
  • 전통적 방법 (Marching Cubes 등): 해상도 제한과 분할의 정확도 부족으로 인해 연결성 아티팩트 (connectivity artifacts) 가 발생하거나 세부 정보가 손실됩니다.
  • 함수형 신경 표현 (INRs): 높은 정확도를 보이지만, 계산 비용이 크고 해석이 어려우며, 변형 등록 (deformable registration) 이나 수술 보조와 같은 작업에서 직접적인 편집이 어렵습니다.
• 과제: 희소한 프레임 시퀀스에서도 노이즈에 강인하며, 고충실도 (high-fidelity) 의 3D 메쉬를 추출하고 프레임 간 보간 (interpolation) 을 동시에 수행할 수 있는 효율적인 모델이 필요합니다.

2. 방법론 (Methodology)

저자들은 MedGS라는 새로운 프레임워크를 제안합니다. 이는 **가우시안 스플래팅 (Gaussian Splatting, GS)**을 기반으로 하며, Folded-Gaussian 분포와 다중 태스크 (Multi-task) 학습 전략을 결합합니다.

핵심 구성 요소

1. 통합된 기하학적 표현 (Unified Geometric Representation):

   • MedGS 는 3D 공간에 배치된 2D 단면 시퀀스를 모델링합니다.
   • 각 3D 객체는 Folded-Gaussian 원시 (primitives) 집합으로 표현됩니다. 이는 시간적 변형과 비선형 공간 변화를 효과적으로 포착합니다.
   • 공유 기하학 (Shared Geometry): 모든 가우시안 원시는 위치, 시간적 변형, 공분산 등 기하학적 매개변수를 공유합니다.

2. 이중 색상 속성 (Dual Color Attributes):

   • 공유된 기하학적 구조 위에 두 가지 별도의 색상 (appearance) 브랜치가 존재합니다:
     • $c_{img}$ (이미지 브랜치): 의료 영상의 회색조 강도 (grayscale intensity) 를 재구성하여 프레임 보간 및 노이즈 제거를 수행합니다.
     • $c_{seg}$ (분할 브랜치): 해부학적 구조의 이진 점유 마스크 (binary occupancy mask) 를 재구성하여 표면 분할을 수행합니다.
   • 시너지 효과: 이미지 재구성을 위한 밀집 신호 (dense signals) 가 기하학적 구조를 정규화 (regularize) 하여, 분할 작업에서도 기하학적 연속성을 보장합니다.

3. 동시 최적화 및 정규화:

   • In-Between Frame Regularization (IBFR): 연속된 프레임 사이에서 가상의 보간 프레임을 생성하여 손실 함수 ($L^*_{interp}$) 를 적용합니다. 이는 모델이 노이즈에 과적합되거나 이산적인 레이어로 붕괴되는 것을 방지하고, 슬라이스 간의 매끄러운 전환을 강제합니다.
   • 메쉬 재구성: 분할 브랜치에서 학습된 연속적인 3D 스칼라 필드를 기반으로 Marching Cubes 알고리즘을 적용하여 고품질 3D 메쉬를 추출합니다.
   • 손실 함수: 이미지 재구성 손실 ($L_{img}$), 분할 손실 ($L_{seg}$), 시간적 정규화 손실 ($L_\sigma$) 을 결합하여 총 손실을 최소화합니다.

4. 모델 변형 (Variants):

   • MedGSi: 분할 마스크가 없는 경우 (이미지 보간 전용) 에 사용.
   • MedGSs: 이미지 정보가 없는 경우 (마스크 재구성 전용) 에 사용.
   • MedGS (Full): 이미지와 마스크를 모두 사용하는 완전한 다중 태스크 모델.

3. 주요 기여 (Key Contributions)

• MedGS 프레임워크 제안: 의료 영상 데이터에서 고충실도 3D 장기 메쉬 재구성을 위한 최초의 가우시안 스플래팅 기반 프레임워크를 제시했습니다.
• 다중 태스크 학습 전략: 프레임 보간과 분할을 통합하여, 희소하거나 노이즈가 많은 환경에서도 분할 기반 표면 재구성을 정규화하고 개선하는 전략을 도입했습니다.
• 해석 가능성과 효율성: 암시적 신경 표현 (INR) 과 달리 명시적 (explicit) 인 가우시안 표현을 사용하여 계산 효율성을 높이고, 직접적인 기하학적 조작이 가능하게 했습니다.
• 임상적 유용성 입증: 동맥류 확대나 신장 종양 성장과 같은 질병의 진행을 장기적으로 모니터링하고 시각화할 수 있는 정밀한 3D 추적 능력을 demonstrated 했습니다.

4. 실험 결과 (Results)

• 데이터셋: 전립선 초음파, 뇌 MRI, 심장/폐/신장 MRI (TotalSegmentator), CTA(컴퓨터 단층 혈관조영술) 데이터 등을 사용했습니다.
• 보간 성능 (Interpolation):
  • MRI 데이터에서 2, 3, 5 번째 프레임마다 샘플링하는 희소 조건에서 선형 보간 및 광학 흐름 (Optical Flow) 기반 방법보다 PSNR 및 SSIM 지표에서 일관되게 우수한 성능을 보였습니다.
  • Qualitative 결과에서 해부학적 경계가 선명하게 유지되는 것을 확인했습니다.
• 메쉬 재구성 성능 (Mesh Reconstruction):
  • 전립선 초음파 데이터에서 Chamfer Distance (CD) 와 95% Hausdorff Distance (HD95) 를 측정했습니다.
  • MedGS 는 기존 방법 (FUNSR, Poisson 재구성, ISO-표면 추출) 보다 가장 낮은 오차를 기록하여 기하학적 정확도와 해부학적 보존 능력이 뛰어났습니다.
  • 특히 희소 샘플링 조건에서 FUNSR 및 Poisson 방법이 매끄럽지 못하거나 실패하는 반면, MedGS 는 우수한 토폴로지 보존을 보여주었습니다.
• 임상 적용 사례:
  • 신장 종양: 종양의 정확한 3D 위치 및 신장 피질/수질과의 관계를 시각화하여 부분 절제술 vs 전체 절제술 결정에 도움을 줍니다.
  • 복부 대동맥 동맥류: 동맥류의 형태와 위치를 정밀하게 3D 로 재구성하여 수술 계획 (개복 vs 혈관 내 치료) 및 장치 선택을 지원합니다.

5. 의의 및 결론 (Significance)

• 임상 의사결정 지원: MedGS 는 단순한 시각화를 넘어, 질병의 진행 (예: 동맥류 성장, 종양 확대) 을 시간에 따라 일관되게 추적하고 정량화할 수 있는 강력한 도구입니다.
• 효율성과 해석 가능성: 학습 시간이 짧고 (~20 분), 추론 및 메쉬 추출이 초 단위로 이루어지며, 명시적인 가우시안 표현 덕분에 수정 및 편집이 용이합니다.
• 한계점: 조직의 직접적인 측정이 아닌 구조적 추정치이므로, 최종 임상 판단은 전문가의 평가와 병행되어야 합니다.

요약하자면, MedGS 는 희소하고 노이즈가 많은 의료 영상 시퀀스로부터 고품질의 3D 해부학적 메쉬를 생성하고 프레임 간 보간을 수행하기 위해 가우시안 스플래팅의 효율성과 다중 태스크 학습의 강점을 결합한 혁신적인 접근법입니다. 이는 수술 계획 수립 및 질병 모니터링 분야에서 기존 방법론의 한계를 극복할 수 있는 잠재력을 가지고 있습니다.