From Slices to Structures: Unsupervised 3D Reconstruction of Female Pelvic Anatomy from Freehand Transvaginal Ultrasound

기술 요약: 자유 핸드 질 초음파를 이용한 여성 골반 해부학의 비지도 학습 기반 3D 재구성

문제 정의
볼륨 초음파(US)는 산부인과, 특히 골반 해부학 분야에서 진단 정확도를 향착시킬 수 있는 상당한 잠재력을 가지고 있습니다. 그러나 광범위한 임상 도입은 특수 하드웨어(기계적 스윕 프로브 또는 외부 트래킹 시스템)에 대한 의존도와 제한적인 획득 프로토콜으로 인해 저해되고 있습니다. 기존의 3D 시스템은 종종 번거롭고 비용이 많이 들며, 표준 2D 영상에 비해 해상도가 낮다는 단점이 있습니다. 또한, 최근의 머신러닝 접근 방식은 자유 핸드 2D 스윕으로부터 3D 볼륨을 재구성할 때 정답(ground-truth) 포즈 데이터나 외부 트래킹을 이용한 지도 학습에 의존하는 경우가 많으며, 이는 임상 현장에서 사용하기 어려운 경우가 많습니다. 따라서 외부 센서, 트래킹 하드웨어, 또는 사전 학습된 포즈 추정기 없이도 표준 자유 핸드 2D 질 초음파(TVS) 스윕으로부터 정확한 3D 재구성을 수행할 수 있는 방법론이 필요합니다.

방법론: TVGS (Transvaginal Gaussian Splatting)
저자들은 가우시안 스플래팅(Gaussian Splatting)의 원리를 초음파의 고유한 물리적 특성과 기하학적 구조에 적응시킨 비지도 학습 프레임워크인 TVGS를 제안합니다. 핵심 방법론은 다음 구성 요소들을 포함합니다:

• 표현(Representation): 해부학적 구조는 이방성(anisotropic) 3D 가우시안들의 집합으로 모델링됩니다. 각 가우시안은 평균 위치($\mu$), 형상과 방향을 설명하는 공분산 행렬($\Sigma$), 불투명도($o$), 그리고 스칼라 강도($I$)로 정의됩니다.
• 슬라이스 인식 미분 가능 래스터라이저(Slice-Aware Differentiable Rasterizer): 투영 기하학에 의존하는 광학 가우시안 스플래팅과 달리, TVGS는 초음파에 맞춤화된 사용자 정의 CUDA 최적화 미분 가능 래스터라이저를 활용합니다. 이 래스터라이저는 각 초음파 슬라이스를 평면 단면으로 취급합니다. 이는 마할라노비스 거리(Mahalanobis distance)를 사용하여 이방성 형상을 고려함으로써, 3D 가우시안과 슬라이스 평면 사이의 공간적 근접성에 기반하여 픽셀 강도를 계산합니다. 이러한 방식은 희소하고 중첩되지 않는 TVS 스윕의 특성을 처리합니다.
• 결합 최적화(Joint Optimization): 프레임워크는 해부학적 구조(가우시안 파라미터)와 슬라이스 포즈를 엔드 투 엔드(end-to-end)로 최적화합니다. 슬라이스 포즈는 매끄러운 각도 스윕 가정을 바탕로 초기화되지만, 학습 가능한 파라미터로 취급됩니다. 역전파(backpropagation) 과정에서 그래디언트가 래스터라이저를 통해 흐르며 가우시안 파라미터와 슬라이스의 강체 변환(rigid body transformations)을 모두 정밀하게 조정하며, 이를 통해 시스템이 불규칙한 프로브 움직임(jitter)에 대해 스스로 보정(self-calibrate)할 수 있게 합니다.
• 초기화 및 밀도 제어(Initialization and Density Control): 안정적인 수렴을 보장하기 위해, 본 방법은 3D 공간에 무작위로 배치하는 대신 이미지 평면에 직접 가우시안 중심을 분포시키는 "온-슬라이스(on-slice)" 초기화 방식을 채택합니다. 또한, 밀도 제어 메커니즘은 "비활성" 가우시안(낮은 강도-불투명도 곱을 가진 가우시안)을 제거하고 이를 활성 영역에 재배치하여 계산 효율성과 볼륨 용량을 유지합니다.
• 학습 목적 함수(Training Objective): 시스템은 입력된 2D 슬라이스의 이미지 수준 감독(supervision)만을 사용하여 L1 손실과 SSIM 손실을 결합한 하이브리드 손실 함수를 통해 최적화됩니다.

주요 기여

1. 비센서형 비지도 재구성(Unsupervised Sensorless Reconstruction): 외부 트래킹, 정답 궤적, 또는 학습된 포즈 추정기를 필요로 하지 않는 최초의 3D 초음파용 가우시안 스플래팅 적용 사례입니다.
2. 초음파 적응형 가우시안 스플래팅(US-Adapted Gaussian Splatting): 뷰 중복성이 부족하고 슬라이스가 평면적인 초음파의 물리적 특성을 해결하기 위해 가우시안 스플래팅을 적응시킨 새로운 볼륨 프레임워크입니다.
3. 사용자 정의 미분 가능 래스터라이저(Custom Differentiable Rasterizer): 고도로 이방성인 샘플링 조건(평면 내에서는 조밀하고, 평면 간에는 희소함) 하에서의 슬라이스 기반 렌더링을 위해 설계된 고성능 CUDA 최적화 래스터라이저입니다.
4. 포즈 및 장면 결합 최적화(Joint Pose and Scene Optimization): 슬라이스 포즈를 장면 파라미터와 함께 정밀하게 조정하여, 자유 핸드 획득 시 발생하는 불규칙한 프로브 움직임에 대한 견고성을 높이는 전략입니다.

실험 결과
본 방법은 합성 데이터(정답 포즈가 포함된 시뮬레이션된 자궁 모델)와 10명의 환자로부터 얻은 실제 임상 TVS 데이터 모두에서 검증되었습니다.

• 성능 지표: 합성 데이터에서 본 방법은 높은 구조적 유사도(SSка 0.97–0.98)와 PSNR(28–30 dB)을 달성했습니다. 실제 임상 데이터의 경우, 모든 지표(SSIM, PSNR, LPIPS)에서 최신 암시적 신경 표현(implicit neural representation) 베이스라인인 ImplicitVol보다 우수한 성능을 보였습니다.
• 효율성: TVGS의 중요한 장점은 계산 속도입니다. ImplicitVol 베이스라인이 실제 데이터에서 수렴하는 데 약 3시간이 걸린 반면, TVGS는 11~16분 만에 더 우수한 결과를 달성했습니다.
• 견고성: 결합 포즈 최적화를 통해 중간 정도의 모션 지터(최대 2.5% 편차)에 대한 견고성을 입증했습니다. 그러나 극심한 지터(5%) 상황에서는 고정 포즈 베이스라인의 기하학적 사전 정보가 더 안전하다는 점이 드러나며 성능이 저하되었습니다.
• 일반화: 모델은 강력한 교차 뷰(cross-view) 일반화 능력을 보여주었습니다. 즉, 단일 뷰(시상면 또는 횡단면)로부터 해부학적 구조(예: 자궁, 자궁내막)를 재구성하고 이를 직교 뷰에서 렌더링할 수 있습니다.
• 렌더링 속도: 본 프레임워크는 실시간 렌더링을 지원하며, 50,000개의 가우시안이 있는 장면에서 약 55 FPS, 더 작은 장면에서는 약 229 FPS의 프레임 레이트를 달격합니다.

의의 및 주장
본 논문은 TVGS가 순수하게 계산적인 수단을 통해 2D 초음파 영상으로부터 정확한 3D 재구성이 가능하다는 것을 입증하며, 이를 통해 특수 하드웨어의 필요성을 제거함을 주장합니다. 이방성 가우시안 프리미티브를 2D 슬라이스로부터 직접 최적화하고 기하학적 가정을 활용함으로써, 본 방법은 기존 3D 시스템에 대한 확장 가능하고 메모리 효율적이며 하드웨어가 필요 없는 대안을 제공합니다.

저자들은 이 연구가 산부인과 분야에서 AI 보조 분석 및 진단의 새로운 기회를 여는 단계라고 보고 있습니다. 비록 여러 직교 뷰의 정렬 문제와 스캐닝 과정 중의 진정한 실시간 성능 달성이라는 과제가 남아있지만, 본 방법은 저비용 초음파 영상을 위한 데이터 기반 볼륨 재구성의 토대를 마련합니다. 본 연구는 기존 3D 시스템을 즉각적으로 대체한다고 주장하는 것이 아니라, 운영자 의존적인 트래킹 없이도 고충실도 3D 볼륨을 생성할 수 있는 실행 가능한 경로를 제시합니다.