Learning Scene-Level Signed Directional Distance Function with Ellipsoidal Priors and Neural Residuals

"타원형 사전과 신경 잔차를 활용한 장면 수준 부호 방향 거리 함수 학습" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 밀집 재구성과 미분 가능한 렌더링을 위한 3D 장면 표현의 과제를 다룹니다. 기존 방법들은 기하학적 정확도, 렌더링 효율성, 그리고 미분 가능성 사이에서 트레이드오프에 직면해 있습니다:

• 명시적 표현 (메쉬, 포인트 클라우드, 볼륨): 불연속적이고 미분 불가능하여 엔드투엔드 최적화와 새로운 뷰 합성을 방해합니다.
• 암시적 표현 (NeRF, SDF):
  • NeRF/가우스 스플래팅: 광도 렌더링에는 탁월하지만 세심한 감독 없이는 정확한 기하학적 재구성에 어려움을 겪습니다. 일반적으로 광선을 따라 적분해야 하므로 계산 비용이 많이 듭니다.
  • SDF (부호 거리 함수): 정확한 기하학을 제공하지만 특정 방향을 따라 표면 교점을 찾기 위해 반복적인 **구 트레이싱 (sphere tracing)**이 필요합니다. 이 과정은 느리고 오차가 누적되며 단일 순전파에서 본질적으로 미분 가능하지 않습니다.
• 격차: NeRF 의 입력 구조와 같은 단일 쿼리, 미분 가능한 방향 거리 예측을 지원하면서도 SDF 와 같은 직접 거리 값을 제공하여 효율적인 기하학적 재구성과 뷰 최적화를 가능하게 하는 표현이 필요합니다.

2. 방법론: 부호 방향 거리 함수 (SDDF)

저자들은 이를 모델링하기 위해 **부호 방향 거리 함수 (SDDF)**라는 새로운 표현과 하이브리드 학습 프레임워크를 제안합니다.

A. SDDF 의 정의

표준 SDF(임의의 표면 점까지의 최단 거리를 찾음) 나 부호 정보가 종종 결여된 방향 거리 함수 (DDF) 와 달리, 제안된 SDDF $f(p, v)$는 위치 $p$와 시선 방향 $v$를 입력으로 받습니다.

• 출력: 광선 $v$를 따라 $p$에서 첫 번째 표면 교점까지의 부호 거리.
• 부호 규칙: $p$가 자유 공간에 있으면 양수, 객체 내부에 있으면 음수.
• 주요 속성: **방향 에이코날 방정식 (Directional Eikonal Equation)**을 만족합니다: $v^\top \nabla_p f(p, v) = -1$. 이는 표면 쪽으로 광선을 따라 이동할 때 거리가 단위 속도로 감소함을 의미합니다. 이 속성을 통해 명시적 손실 항 없이 모델을 정규화할 수 있습니다.

B. 하이브리드 명시적 - 암시적 아키텍처

장면 수준의 SDDF 를 효율적으로 학습하고 불연속성 (가림 현상) 을 처리하기 위해 저자들은 2 단계 하이브리드 모델을 설계합니다:

1. 명시적 타원형 기반 사전 네트워크 ($P$):

   • 목적: 장면의 거친 구조를 포착하고 가림 현상/불연속성을 처리합니다.
   • 메커니즘: 장면을 $M$개의 학습 가능한 타원체 집합으로 근사화합니다. 네트워크는 이러한 타원체와 교차하는 광선에 대한 SDDF 를 폐쇄형 (closed form) 으로 분석적으로 계산합니다.
   • 퓨전: 타원체의 합집합에 대해 사전은 거리를 결정하기 위해 교차된 가장 가까운 타원체를 선택하여, 모델이 가림 현상을 자연스럽게 처리하도록 합니다.
   • 초기화: 과분할을 방지하고 복잡한 객체를 위한 타원체를 더 많이 남기기 위해 평면 (벽, 바닥) 에서 K-평균 클러스터를 병합하는 전용 알고리즘 (알고리즘 2) 으로 타원체를 초기화합니다.

2. 암시적 신경 잔차 네트워크 ($L$ 및 $R$):

   • 목적: 거친 사전 정제를 통해 미세한 기하학적 세부 사항을 포착합니다.
   • 잠재 특징 네트워크 ($L$): 타원체 표면의 교점 $q$, 로컬 시선 방향 $v'$, 그리고 타원체 인덱스를 입력으로 받습니다. $q$와 $v'$의 2 차 단항식인 다항식 임베딩을 사용하여 잠재 특징 벡터 $z$를 생성합니다.
   • 잔차 디코더 ($R$): $z$를 보정항 $\delta f$로 디코딩하는 다층 퍼셉트론 (MLP) 입니다.
   • 최종 예측: $\hat{f}(p, v) = f_{prior}(p, v) + \delta f(p, v)$.

C. 학습 및 최적화

• 손실 함수: 교차 지표, 부호 지표, 거리 값에 대한 가중 합 Huber 손실을 사용합니다. 타원체가 장면을 덮도록 하기 위해 객체 내부의 점인 음수 샘플을 증강합니다.
• 미분 가능성: 타원체 교차 로직과 잔차 네트워크를 포함한 전체 파이프라인이 미분 가능합니다. 이는 반복적인 구 트레이싱 없이 기울기 기반 뷰포인트 최적화(예: 차기 최적 뷰 계획) 를 가능하게 합니다.

3. 주요 기여

1. 장면 수준 SDDF 정의: 단일 객체에서 복잡한 대규모 장면으로 SDDF 개념을 확장하여 가림 현상과 부호 변화를 효과적으로 처리합니다.
2. 하이브리드 명시적 - 암시적 모델: 거친 구조와 가림 현상 처리를 위한 분석적으로 유도된 타원체 사전과 미세 세부 사항을 위한 신경 잔차를 결합한 새로운 아키텍처를 제안합니다.
3. 이론적 보장: 구성에 의해 결합된 모델이 방향 에이코날 방정식을 만족함을 증명하여 추가 정규화 손실의 필요성을 제거합니다.
4. 효율적인 초기화: 평면 표면을 효율적으로 근사화하여 필요한 매개변수 수를 줄이는 타원체 초기화 알고리즘을 개발합니다.
5. 미분 가능한 뷰 최적화: 최대 커버리지와 최소 중첩을 위한 카메라 궤적을 미분 가능한 SDDF 를 사용하여 최적화할 수 있음을 입증합니다.

4. 실험 결과

이 방법은 합성 LiDAR 및 RGB-D 인 Replica와 Gibson 데이터셋과 실제 RGB-D 인 ScanNet에서 평가되었습니다.

• 정확도:
  • SDDF 예측에서 경쟁력 있는 평균 절대 오차 (MAE) 를 달성하여 최첨단 SDF 및 NeRF 방법과 비슷하거나 더 좋습니다.
  • 희소 관측 또는 복잡한 경계 영역에서 RaDe-GS 및 Nerfacto보다 기하학적 일관성에서 더 우수합니다.
  • 구 트레이싱이 부드럽게 만드는 경향이 있는 날카로운 세부 사항 (예: 식물, 의자 모서리) 을 보존하는 데 있어 SDF-Instant-NGP보다 우수합니다.
• 효율성:
  • 추론 속도: 단일 순전파만 필요하므로 SDF 기반 구 트레이싱 (1.5 배 빠름) 과 NeRF(4 배 빠름) 보다 훨씬 빠릅니다.
  • 메모리: 매개변수가 적기 때문에 (270 만 개 vs 1 억 1,370 만 개) GPU 메모리를 훨씬 적게 사용합니다 (RaDe-GS 의 18.7GB 대비 학습 시 3.3GB).
• Ablation 연구:
  • 음수 샘플: 학습에 필수적이며, 없으면 타원체가 객체를 덮지 못해 큰 오차가 발생합니다.
  • 다항식 vs 푸리에 임베딩: 제안된 다항식 임베딩은 장면별 하이퍼파라미터 튜닝이 필요한 푸리에 특징보다 장면 전반에 걸쳐 더 잘 일반화됩니다.
  • 초기화: 제안된 다중 타원체 초기화는 평면 표면을 더 잘 처리하여 표준 K-means++ 보다 우수합니다.

5. 의의

이 연구는 SDF 의 기하학적 정밀도와 신경 방사선 필드의 효율성 사이의 격차를 해소합니다.

• 기하학적 충실도: 광도 감독에만 의존하지 않고 센서 데이터에서 직접 정확한 3D 기하학을 학습하는 강력한 방법을 제공합니다.
• 실시간 응용: 미분 가능한 거리 쿼리가 필요한 능동적 지각, 항법, 궤적 최적화와 같은 실시간 로봇 응용 프로그램에 SDDF 의 단일 쿼리 특성이 매우 적합합니다.
• 확장성: 하이브리드 접근 방식은 밀집 신경 필드나 반복적 트레이싱 방법에 비해 더 낮은 계산 비용으로 대규모 장면으로 확장할 수 있게 합니다.

요약하자면, 이 논문은 장면 수준에서 미분 가능한 기하학적 추론을 가능하게 하는 수학적으로 근거가 있고 효율적이며 매우 정확한 3D 장면 재구성 프레임워크를 제시합니다.