기술 요약: 확률적 부호 거리 과정 (Stochastic Signed Distance Processes, SSDP)

문제 정의

다중 뷰 표면 재구성(Multi-view surface reconstruction)은 콘텐츠 생성에서 로보틱스에 이르기까지 컴퓨터 비전 분야의 근본적인 과제입니다. 부호 거리 함수(Signed Distance Fields, SDFs)는 이 작업에 적합한 연속적이고 해상도 독립적인 암시적 표현을 제공하지만, 렌더링을 통해 이를 최적화하는 데는 상당한 어려움이 따릅니다.

첫 번째 광선-표면 교차점을 찾고 암시적 미분을 통해 그래디언트를 전파하는 직접적인 표면 렌더링 방식은 불연속적인 가시성 문제로 인해 희소한 그래디언트 문제를 겪으며, 이를 해결하기 위해 실루엣 감독(전경 마스크)이 추가로 필요할 때가 많습니다. 이를 해결하기 위해 NeuS 및 VolSDF와 같은 최근 방법들은 SDF 기반 볼륨 렌더링을 도입했습니다. 이러한 접근 방식은 SDF 값을 국소 감쇠 계수(local attenuation coefficients)로 매핑하여, 실루엣 감독 없이도 미분 가능한 볼륨 렌더링을 가능하게 합니다.

그러나 기존의 볼륨 렌더링 정식화는 지수 수송(exponential transport) 해석에 의존합니다. 이는 임의의 지점에서의 위험률(hazard rate, 교차 확률)이 과거의 생존 이력과 무관한 국소 감쇠 계수에 의해 요약될 수 있다고 가정합니다. 이는 독립적인 입자 모델(Boolean-Poisson)에는 유효하지만, 공간적으로 상관관계가 있는 기하학적 구조를 가진 일반적인 불투명 고체(opaque solids)의 경우에는 적절하지 않습니다. 왜냐에는 첫 통과 시간 밀도(first-passage-time density)가 광선의 경로 이력에 의존하기 때문입니다. 결과적으로, 기존 방법들은 복잡한 기하학적 구조에서 발생하는 광선-표면 상호작용의 확률적 본질을 완전히 포착하지 못할 수 있습니다.

방법론

저자들은 **확률적 부호 거리 과정(Stochastic Signed Distance Processes, SSDP)**을 제안하며, 이는 SDF 기반 볼륨 렌더링을 확률적 표면 렌더링으로 재정식화하는 프레임워크입니다.

1. 확률적 부호 거리 과정 (SSDP)

SSDP는 SDF를 결정론적 장(field)으로 취급하는 대신, 각 광선 $r(t)$를 따르는 SDF를 확률 과정 $S_r(t)$로 모델링합니다:
$$S_r(t) = \mu_r(t) + R_r(t)$$

• $\mu_r(t)$: SDF를 근사하도록 최적화된 결정론적 평균 장(mean field).
• $R_r(t)$: 시계열 비균질 오른슈타인-우울렌벡(Ornstein–Uhlenbeck, OU) 과정으로 모델링된 확률적 잔차 과정(stochastic residual process). 이 과정은 광선별 확률 역학을 포착하기 위해 뷰 의존적 신경장(view-dependent neural fields, $\kappa$ 및 $\tau$)에 의해 매개변수화됩니다.

이 정식화는 각 광선에 대해 **첫 통과 시간 분포(first-passage-time distribution)**를 유도하며, 여기서 첫 통과 시간 $H_r$은 과정 $S_r(t)$가 0을 통과(표면과 교차)하는 첫 번째 시간으로 정의됩니다.

2. 확률적 표면 렌더링

픽셀 색상 $C_r$은 무작위 첫 통과 시간 $H_r$에 의해 유도된 혼합 분포로 모델링됩니다:
$$f_{C_r}(c_r) = \mathbb{E}_{H_r}[f_{C_r|H_r}(c_r | H_r)]$$
기대 색상은 이산 샘플링 구간 $[t_i, t_{i+1}]$에 대한 합산으로 근사됩니다:
$$f_{C_r}(c_r) \approx \sum_{i=0}^{N-1} f_{C_r|H_r}(c_r | t_i) P(t_i < H_r \leq t_{i+1}) + \text{Background Term}$$
여기서 $P(t_i < H_r \leq t_{i+1})$는 구간에 대한 첫 통과 확률(불투명도)을 나타냅니다.

3. 첫 통과 확률의 유도

핵심적인 기술적 기여는 각 구간에 대한 첫 통과 확률 $P(B_i | A_i)$의 유도입니다. 여기서 $A_i$는 광선이 $t_i$까지 표면과 교차하지 않고 생존했다는 사건이며, $B_i$는 $(t_i, t_{i+1}]$ 구간 내에서 교차가 발생했다는 사건입니다.

• 베이지안 필터링(Bayesian Filtering): 저자들은 광선이 그 시점까지 생존(교차하지 않음)했다는 조건 하에 샘플 지점에서의 SDF 값의 사후 분포를 유도합니다. 이는 생존 조건이 부여된 분포를 베이지안 필터링을 통해 전파하는 과정을 포함합니다.
• 제로 크로싱 확률(Zero-Crossing Probability): 구간 내에서의 교차 확률은 다음 두 가지로 분해됩니다:
  1. 하향 교차($B^\downarrow_i$): 광선이 표면 내부에서 끝나는 경우($S_{i+1} \leq 0$).
  2. 상향 교차($B^\uparrow_i$): 광선이 구간 내에서 표면을 통과하여 들어왔다가 다시 나가는 경우.
     $B^\uparrow_i$의 확률은 Dambis–Dubins–Schwarz 정리에 의해 유도된 브라운 브리지(Brownian bridge)에 적용된 **반사 원리(reflection principle)**를 사용하여 근사됩니다.

4. 음의 흡수 근사 (Negative-Absorbing Approximation)

전체 베이지안 정식화는 각 광선을 따라 순차적인 계산을 요구하므로 병렬 처리가 불가능합니다. 효율적인 병렬 렌더링을 가능하게 하기 위해, 저자들은 음의 흡수 근사를 도입합니다. 이는 SDF 과정 $S(t)$가 한 번 음수가 되면 다시 양수로 돌아오지 않는다(부호 반전 없음)고 가정합니다.

• 이는 생존 조건을 $S_i > 0$으로, 교차 조건을 $S_{i+1} \leq 0$으로 단순화합니다.
• 이를 통해 순차적인 베이지안 필터링의 필요성을 제거하여, 불투명도 계산을 샘플 간에 병렬화할 수 있게 함으로써 표준 볼륨 렌더링과 유사한 효율성을 달성합니다.

5. 선행 연구와의 관계

본 논문은 NeuS가 SSDP의 특수한 사례임을 보여줍니다. OU 과정이 완벽하게 상관되어 있는 극한(전이 커널의 분산이 0인 경우)에서, SSDP 정식화는 정확히 NeuS의 불투명도 정식화로 축소됩니다. 이는 SSDP가 광선별 공분산 구조를 고려하는 NeuS의 자연스러운 일반화임을 입증합니다.

주요 기여

1. 재정식화: 본 논문은 SDF 기반 볼륨 렌더링을 확률적 표면 렌더링으로 재정식화하여, 픽셀 색상을 무작위 첫 광선-표면 교차에 의해 유도된 혼합 분포로 모델링합니다.
2. SSDP: SDF를 광선을 따르는 확률 과정으로 모델링하여 첫 통과 시간 분포를 유도하는 확률적 부호 거리 과정(SSDT)을 도입합니다.
3. 첫 통과 유도: 베이지안 필터링과 반사 원리를 사용하여 샘플링 구간에 대한 첫 통과 확률을 유도하였으며, 실용적인 병렬 가능 근사법을 함께 제시합니다.
4. 이론적 통합: NeuS가 제안된 정식화의 특수 사례임을 증명합니다.
5. 실증적 검증: DTU 및 MobileBrick 데이터셋에서 개선된 표면 재구성과 불확실성 정량화 성능을 입증합니다.

실험 결과

NeuS-Facto 및 OaV-Facto(Objects as Volumes)와 공정한 비교를 위해 NeuS-Facto 샘플링 기법을 사용한 SSDP-Facto로 구현하여 평가를 진행했습니다.

• 표면 재구성(Surface Reconstruction): DTU 및 MobileBrick 데이터셋에서 SSDP-Facto는 마스크가 있는 경우(visual hull)와 마스크가 없는 경우(viewing frustum)의 평가 프로토콜 모두에서 Chamfer Distance(CD) 기준으로 베이스라인을 일관되게 능가했습니다. 이는 시각적 외곽(visual hull) 외부의 가짜 표면을 효과적으로 줄였습니다.
• 불확실성 정량화(Uncertainty Quantification): SSDP-Facto는 연속 순위 확률 점수(CRPS), 평균 절대 오차(MAE), 선명도(Sharpness) 측면에서 우수한 성능을 보여, 더 높은 품질의 학습된 첫 통과 시간 분포를 달end했습니다.
• 어블레이션 연구(Ablation Studies):
  • 음의 흡수 근사: 근사를 제거하고(전체 베이지안 필터링 사용) 실험했을 때, 불확실성 지표는 약간 개선되었으나(예: CRPS 약 0.1 mm 개선) 훈련 시간이 두 배로 증가했습니다. 이 근사는 재구성에 있어 안정적이고 효과적인 귀납적 편향(inductive bias)임이 확인되었습니다.
  • 손실 함수: 음의 로그 주변 가능도(NLML) 손실을 직접 사용하여 확률적 목적 함수를 최적화했을 때, 기존 연구에서 사용된 표준 기대값 손실보다 상당한 개선을 보였습니다.

의의 및 주장

본 논문은 제한적인 지수 수송 가정(이력과 무관한 국소 감쇠)에서 벗어나, 공간적으로 상관된 기하학을 위한 첫 통과 관점을 채택함으로써 SSDP가 표면 렌더링을 위한 더 충실한 확률 모델을 제공한다고 주장합니다.

저자들은 이 방법이 제어된 베이스라인에 비해 표면 재구성 정확도와 불확실성 정량화 모두를 개선한다고 명시합니다. 또한, 전체 베이지안 정식화가 이론적 완전성을 제공하지만, 음의 흡수 근사가 효율적인 병렬 렌더링을 가능하게 하면서 재구성 품질의 큰 손실 없이 실용적인 트레이드오프를 제공한다는 점을 강조합니다. 이 연구는 기존 볼륨 렌더링 방법과 확률 과정 사이의 이론적 연결을 명확히 하며, SSDP를 NeuS의 일반화로서 위치시킵니다.