UltraG-Ray: Physics-Based Gaussian Ray Casting for Novel Ultrasound View Synthesis

1. 문제 정의 (Problem Statement)

초음파 영상에서 신규 뷰 합성 (Novel View Synthesis, NVS) 은 획득된 프레임 이상의 해부학적으로 타당한 뷰를 생성하여 의료진 훈련 및 데이터 증강에 중요한 기술로 주목받고 있습니다. 그러나 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 복잡한 조직 및 각도 의존성: 기존 방법들은 조직의 복잡한 특성과 탐침 (Probe) 의 위치/방향에 따라 달라지는 음향 효과 (View-dependent effects) 를 처리하는 데 어려움을 겪습니다.
• 물리 기반 시뮬레이션의 부재: 최근 NeRF 기반 방법들은 학습 가능한 암시적 (Implicit) 장면 표현과 초음파 렌더링 모듈을 결합하려 시도했으나, 시뮬레이션과 현실 간의 격차가 여전히 존재합니다.
• 과도한 평활화 (Over-smoothing): 샘플링 기반의 볼륨 렌더링은 고주파수 구조를 부드럽게 만들어 사실감을 떨어뜨립니다.
• 기존 3D 가우스 기반 방법의 한계:
  • UltraGS: 가상 카메라를 조직 내부에 두는 비현실적인 설정을 가정하며, 얇은 조직 슬랩 내의 가우스 선택 메커니즘이 명확하지 않습니다.
  • UltraGauss: 이미지 평면과의 교차를 계산하지만, 음영 (Shadowing) 효과 처리나 반사 구조로 인한 모호성 해결을 위한 초음파 특화 메커니즘이 부족합니다.

2. 제안 방법: UltraG-Ray (Methodology)

저자들은 UltraG-Ray를 제안합니다. 이는 학습 가능한 3D 가우스 필드 (3D Gaussian Field) 와 초음파 물리 법칙에 기반한 효율적인 레이 캐스팅 (Ray Casting) 모듈을 결합한 새로운 접근법입니다.

핵심 기술 요소:

1. 초음파 특화 3D 가우스 표현:
   • 각 3D 가우스는 평균 ($\mu$), 공분산 ($\Sigma$), 투과율 (Transmittance, $\tau$), 강도 (Intensity, $I$) 로 정의됩니다.
   • 기존 RGB 기반의 색상/불투명도 대신, 초음파의 감쇠 (Attenuation) 와 반사 (Reflection) 파라미터를 명시적으로 인코딩합니다.
2. 물리 기반 레이 캐스팅 forward 모델:
   • 음향 감쇠 모델링: 빛의 감쇠와 달리, 초음파는 구형 감쇠 및 이완 과정에 의해 감쇠합니다. UltraG-Ray 는 빔을 레이 (Ray) 로 간주하고, 레이와 가우스 간의 교차 적분을 통해 에너지 감쇠를 계산합니다.
   • 투과율 (Transmittance) 누적: 각 가우스는 레이를 통과할 때 에너지를 흡수하거나 산란시킵니다. Beer-Lambert 법칙을 모방한 곱셈적 감쇠 모델을 사용하여 깊이 의존적인 신호 감쇠를 모델링합니다.
   • 에코 신호 (Echo Signal) 생성: 픽셀별 강도는 가우스의 Mahalanobis 거리와 뷰 의존적 후방 산란 (Backscattering) 을 기반으로 계산됩니다.
3. 소프트 커버리지 (Soft Coverage) 메커니즘:
   • 가우스가 픽셀을 충분히 덮지 못하는 영역에서 발생하는 노이즈를 방지하기 위해, 가우스 필드의 지지 강도에 따라 렌더링 강도를 조절하는 소프트 커버리지 팩터를 도입합니다.
4. 초기화 및 최적화 전략:
   • 초음파의 이미지 형성 방식이 광학 카메라와 근본적으로 다르기 때문에, 기존 SfM(Structure-from-Motion) 기반 초기화는 불가능합니다. 따라서 장면을 무작위로 초기화합니다.
   • OPS (Out-of-Plane Sampling): 실제 초음파는 무한히 얇은 레이가 아닌 얇은 부피 (Elevational volume) 를 획득하므로, 레이 원점을 평면 외 방향으로 미세하게 교란 (Perturbation) 하여 2D 구조로의 붕괴를 방지하고 실제 빔 폭을 모사합니다.
   • 가우스 정제 (Refinement): 3DGS 에서의 가지치기 (Pruning), 복제 (Duplication), 분할 (Splitting) 전략을 초음파 데이터에 맞게 수정하여 적용합니다.

3. 주요 기여 (Key Contributions)

1. 고충실도 NVS 방법: 초음파 특화 파라미터 (반사, 감쇠) 를 인코딩한 학습 가능한 3D 가우스 표현과 물리 기반 레이 캐스팅 forward 모델을 결합하여 실시간 B 모드 영상을 생성합니다.
2. 초음파 특화 최적화 전략: 가우스를 가지치기, 복제, 분할하여 장면 표현을 향상시키는 전략을 제안합니다.
3. 오픈 소스 데이터셋: 중첩된 뷰와 다양한 각도를 포함하는 시뮬레이션 (in-silico) 및 생체 외 (ex-vivo) 포즈 주석 데이터셋 2 개를 공개했습니다.

4. 실험 결과 (Results)

저자들은 Spine Phantom (척추 팬텀) 과 Porcine Muscle (돼지 근육) 두 가지 데이터셋에서 UltraG-Ray 를 평가했습니다.

• 비교 대상: Ultra-NeRF, ImplicitVol, 전통적인 볼륨 컴파운딩 (최대/중앙값) 및 재슬라이싱 (Re-slicing) 방법.
• 정량적 평가:
  • MS-SSIM: UltraG-Ray 는 기존 방법 대비 최대 15% 향상을 보였습니다 (예: 돼지 근육 데이터에서 0.77 vs 0.74).
  • GMS (Gradient Magnitude Similarity): 고주파수 세부 사항과 에지 보존 능력이 가장 뛰어났습니다.
  • PSNR: 전체적으로 가장 높은 점수를 기록했습니다.
• 정성적 평가:
  • UltraG-Ray 는 근육 섬유와 같은 미세한 구조를 명확하게 구분하고, 높은 대비로 렌더링합니다.
  • 기존 방법들은 고주파수 텍스처를 과도하게 평활화하거나, 척추 팬텀 실험에서 그림자 (Shadowing) 효과를 제대로 재현하지 못해 뼈 아래에 잘못된 반사가 나타나는 오류를 보였습니다. 반면 UltraG-Ray 는 물리 기반 감쇠 모델 덕분에 현실적인 그림자를 생성합니다.
• 성능: 추론 속도는 척추 팬텀 기준 약 680 fps, 돼지 근육 기준 약 95 fps 로 실시간 렌더링이 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 물리 기반 사실감: UltraG-Ray 는 단순한 픽셀 합성이 아닌, 초음파의 물리적 형성 과정 (감쇠, 산란, 그림자) 을 명시적으로 모델링하여 기존 NeRF 나 3DGS 기반 방법보다 훨씬 사실적인 B 모드 영상을 생성합니다.
• 임상적 활용 가능성: 훈련 시뮬레이터, 로봇 초음파 시스템의 데이터 검토 지원, 초음파 월드 모델 학습 등 다양한 임상 및 연구 분야에서 활용 가능한 고품질 데이터 생성이 가능해졌습니다.
• 한계 및 향후 과제: 단일 직선 레이 근사 (다중 경로 전파 등 복잡한 파동 현상 미모사) 와 희소 샘플링 영역에서의 표현 한계가 존재합니다. 향후 해부학적 사전 지식 (Priors) 을 통합하거나 생체 내 (In-vivo) 데이터로 검증할 계획입니다.

이 논문은 명시적인 3D 가우스 장면 표현과 물리 기반 초음파 형성 모델을 결합함으로써, 초음파 NVS 의 사실성과 정확성을 크게 향상시켰다는 점에서 중요한 의의를 가집니다.