Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction

"Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction"(Ultra-Wide-NeRF) 논문의 상세 기술 요약입니다.

1. 문제 정의

광시야 (WFoV) 초음파의 과제:
임상 초음파, 특히 볼록 프로브를 사용하는 경우, 심내 초음파 (intracardiac echocardiography) 와 같은 대규모 해부학적 구조물을 포착하는 데 필수적입니다. 그러나 개별 획득 데이터는 좁은 시야 (FoV) 로 제한됩니다. 대규모 구조물을 시각화하기 위해서는 여러 개의 중첩된 3D 스윕을 이어붙여야 합니다.

현재 방법의 한계:

• 전통적인 이어붙이기 (Stitching): 기존 방법은 특징 또는 강도 기반의 등록 (registration) 을 거친 후 공간적 합성 (spatial compounding) 을 수행합니다. 이는 깊이 의존적 해상도 변화로 인해 상당한 합성 아티팩트와 앨리어싱을 유발합니다.
• 기존 신경 방사선장 (NeRFs): 최근의 초음파 NeRF(예: Ultra-NeRF, NeRF-US) 는 연속적인 표현을 제공하지만, 일반적으로 무한히 얇은 광선을 따라 등간격 점 샘플링을 가정합니다.
• 핵심 물리적 불일치: 볼록 프로브는 발산하는 음향 빔을 방출합니다. 펄스가 샘플링하는 물리적 부피는 깊이에 비례하여 확장됩니다. 표준 얇은 광선 근사법은 이러한 확장된 발자국을 무시하여 다음과 같은 문제를 초래합니다:
  • 원거리 영역 (Far-field) 앨리어싱.
  • 깊이 의존적 해상도 손실.
  • 축방향 (axial), 측면 (lateral), 고도 (elevational) 축 전반에 걸쳐 해결되지 않은 이방성.

2. 방법론: Ultra-Wide-NeRF

저자들은 **Multivariate 3D Gaussians (MVG)**를 사용하여 볼록 초음파 프로브의 특정 기하학적 구조와 NeRF 를 연결하는 Ultra-Wide-NeRF 프레임워크를 제안합니다.

A. 물리 정보 기반 샘플링 전략

얇은 광선 위의 점들을 샘플링하는 대신, 이 방법은 음향 빔을 **발산하는 원뿔대 (diverging conical frustum)**로 모델링합니다.

• 기하학: 시스템은 개구각 $\Theta$, 내부 반지름 $R_{in}$, 외부 반지름 $R_{out}$을 가진 극좌표 $(r, \theta)$를 사용하여 프로브를 모델링합니다.
• 3D 확장: 3D 부피는 팬 빔 슬라이스들을 적층하여 구성됩니다. 고도 (elevational) 차원은 슬라이스 간의 자세 차이로 암시적으로 정의되어 획득 스윕을 포착합니다.

B. 다변량 3D 가우시안 (MVG)

이산적인 점으로 음향 상호작용을 근사하는 것이 본질적으로 잘못되었으므로, 이 방법은 점 추정을 연속적인 3D 가우시안으로 대체합니다.

• 이방성: 초음파 해상도가 축방향, 측면, 고도 방향에서 서로 다르다는 점을 인식하여, 가우시안은 이방성으로 설정됩니다.
• 공분산 구성: 공분산 행렬 $\Sigma$는 세 가지 서로 다른 분산으로 구성됩니다:
  1. $\sigma^2_{ray}$: 광선 방향을 따라.
  2. $\sigma^2_{lateral}$: 영상 평면 내에서 광선에 수직인 방향.
  3. $\sigma^2_{depth}$: 고도 (평면 외) 방향에서 광선에 수직인 방향.
• 통합 위치 인코딩 (IPE): 이 방법은 이러한 가우시안 발자국에 IPE 를 적용합니다. 단일 점에서 특징을 평가하는 표준 위치 인코딩과 달리, IPE 는 가우시안 발자국 전체에 걸쳐 특징을 평균화합니다.
  • 앨리어싱 방지 메커니즘: 발자국이 클 때 (원거리 영역/저해상도) 고주파수가 자연스럽게 억제되는 반면, 저주파수는 보존됩니다. 이는 샘플링 발자국을 네트워크 입력에 직접 내장하는 고유한 앨리어싱 방지 필터 역할을 합니다.

C. 손실 함수

학습 목표는 표준 재구성 손실과 3D 인식 제약을 결합합니다:

• $L_{MSE}$: 렌더링된 부피와 실제 지상 (ground truth) 부피 간의 평균 제곱 오차.
• $L_{SSIM}$: 구조적 일관성을 보존하기 위한 구조적 유사성 지수.
• $L_{grad}$: 에지 날카로움과 스펙클 질감을 보존하기 위한 유한 차분 기울기 크기 손실.
• 정규화: 파노라마 부피 전반의 일관성을 강제하기 위해 Ultra-NeRF 정규화를 포함합니다.

3. 주요 기여

1. 명시적 빔 모델링: 거리 의존적 부피 샘플링을 사용하여 발산하는 볼록 초음파 빔의 확장되는 공간적 발자국을 명시적으로 모델링한 최초의 NeRF 기반 접근법.
2. 다변량 가우시안 표현: 축방향, 측면, 고도 방향의 근본적인 해상도 차이를 포착하기 위해 이방성 3D 가우시안을 도입하여 결함이 있는 얇은 광선 근사를 대체.
3. 고유한 앨리어싱 방지: 가우시안 발자국에 대한 통합 위치 인코딩 (IPE) 의 사용은 후처리가 필요 없이 원거리 영역 앨리어싱에 대한 물리 기반 솔루션을 제공.
4. 이중 기능: 이 프레임워크는 여러 스윕을 융합하는 원활한 광시야 (WFoV) 파노라마 재구성과 임의의 가상 궤적에서의 고충실도 새로운 뷰 합성을 모두 달성합니다.

4. 실험 결과

이 방법은 심내 초음파 (ICE) 데이터셋에서 검증되었습니다:

• 데이터셋: 정적 실리콘 팬텀과 in vivo 돼지 데이터셋. 두 경우 모두 하대정맥 (IVC), 우심방, 상대정맥 (SVC) 을 통과하는 360° FoV 카테터를 포함했습니다.
• 비교: 최첨단 (SOTA) 기하 기반 등록/합성 방법과 표준 점 샘플링을 사용하는 절단된 (ablated) NeRF 모델과 비교 평가되었습니다.

주요 발견:

• 아티팩트 감소: Ultra-Wide-NeRF 는 전통적인 합성 방법에서 관찰되던 이어붙이기 아티팩트와 앨리어싱을 성공적으로 제거했습니다.
• 해상도 강건성: 고도 방향의 입력 데이터가 2 배 (0.6mm) 다운샘플링되었을 때조차도, Ultra-Wide-NeRF 는 전체 해상도 데이터로 작동하는 SOTA 기준선보다 날카로운 에지를 가진 해부학적 맥락을 복원했습니다.
• 절단 연구 (Ablation Study): 점 샘플링을 사용한 절단 모델은 과도하게 매끄러운 에지와 흐릿한 디테일을 생성하여 연속적인 MVG 공식의 필요성을 입증했습니다.
• 새로운 뷰 합성: 이 모델은 다음을 성공적으로 합성했습니다:
  • 홀드아웃 부피 (Hold-out volumes): 학습 스윕 사이의 관찰되지 않은 공간적 맥락.
  • 궤적 외 뷰 (Off-trajectory views): 원래 획득 경로 밖의 가상 프로브 위치에서 B-모드 이미지를 생성하여 상호작용형 진단 관점을 가능하게 함.
• 효율성: 이 방법은 다운샘플링 인자에 따라 정확한 재구성 방법보다 학습 속도가 10~20 배 빠릅니다.

5. 의의 및 영향

• 임상 내비게이션: 원활하고 아티팩트가 없는 파노라마 뷰를 제공함으로써, 특히 복잡한 심장 수술 중 내비게이션에 필요한 공간적 맥락을 향상시킵니다.
• 가상 탐색: 관찰되지 않은 각도에서 뷰를 합성할 수 있는 능력은 재구성된 부피를 상호작용형 진단 도구로 변환하여, 임상가가 특정 영역에 집중하거나 최적의 미기록 각도에서 해부학을 볼 수 있게 합니다.
• 일반화 가능성: 심장 데이터에서 검증되었지만, 기하학적 샘플링 전략은 복부 및 산과 영상 포함, 볼록 프로브를 사용하는 모든 임상 영역에 적용 가능합니다.
• 패러다임 전환: 이 방법은 이산적인 볼륨 이어붙이기에서 이미징 모드의 근본적인 파동 전파 특성을 존중하는 연속적이고 물리 인식적인 신경 표현으로 초음파 재구성을 전환합니다.