Online Segment 3D Gaussians via Launching Virtual Drones

기술 요약: SAGO – 가상 드론 출격을 통한 온라인 세그먼트 3D 가우시안

1. 문제 정의

3D 가우시안 스플래팅(3DGS) 장면에 대한 대화형 세그멘테이션은 기존 방식들의 계산 오버헤드로 인해 어려움을 겪고 있습니다. 현재의 최첨단 방식들은 대개 대화형 세그멘테이션이 시작되기 전, 수십 초에서 몇 분에 달하는 시간이 소요되는 "설정 단계(setup stage)"를 필요로 합니다. 이 설정 과정에는 다중 뷰 마스크 준비, 마스크 리프팅(mask lifting), 특징 추출(feature distillation), 그리고 장면별 대조 학습(contrastive learning)이 포함됩니다. 이러한 요구 사항은 온라인 애플리케이션에 상당한 병목 현상을 일으켜, 가공되지 않은(raw) 3DGS 장면에 대한 실시간 조작 및 편집을 방해합니다. 본 연구가 해결하고자 하는 핵심 과제는 오프라인 방식과 대등한 세그멘테이션 품질을 유지하면서도, 이 설정 단계를 완전히 제거하고 1초 미만의 상호작용 지연 시간을 달야내는 것입니다.

2. 방법론: SAGO

저자들은 설정이 필요 없는 프레임워크인 **SAGO (Segment Any Gaussians Online)**를 제안하며, 이는 3D 세그멘테이션을 온라인 차기 최적 뷰(Next-Best-View, NBV) 계획 작업으로 재정의합니다. 이 방법은 장면을 동적으로 탐사하기 위해 "가상 드론(virtual drones)"이라는 개념을 도입합니다.

핵심 개념: 가상 드론 및 NBV 계획

SAGO는 미리 계산된 특징이나 정적인 훈련 뷰에 의존하는 대신, 세그멘테이션 과정을 마르코프 결정 과정(Markov decision process)으로 취급합니다.

• 가상 드론: 사용자의 초기 상호작용 뷰로부터 시작하여, 시스템은 타겟 객체의 커버리지를 최대화하기 위해 차기 관찰 위치(NBV)를 반복적으로 계획하는 가상 드론을 출격시킵니다.
• 이중 궤적: 두 대의 가상 드론이 상호작용 시점으로부터 동시에 출격하여, 시계 방향과 반시계 방향으로 장면을 탐사합니다 (각각 180도의 요(yaw) 범위를 커버함).
• 상태 표현: 각 단계에서의 시스템 상태 $S_t$는 다음의 4개 요소로 정의됩니다:
  1. $\mathcal{A}^{(t)}$: 현재 전경 가우시안(foreground Gaussians) 집합.
  2. $\mathbf{v}_t$: 가상 드론의 포즈 (타겟 중심 $c_t$, 반지름 $r_t$, 요 $\phi_t$, 피치 $\theta_t$).
  3. $\mathcal{M}_t$: 여러 뷰에 걸쳐 객체를 추적하기 위한 Segment Anything Model(SAM)의 메모리 뱅크.
  4. $\tau_t$: 커버리지 지표.

기술 파이프라인

1. 상태 초기화:

   • 프로세스는 초기 2D 뷰에서의 사용자 프롬프트(클릭, 박스 또는 텍스트)로 시작됩니다.
   • 마스크 형태 프러스텀 필터링 (Mask-shaped Frustum Filtering, MFF): 초기 2D 마스크는 3D 가우시안 집합을 필터링하는 데 사용됩니다. 저자들은 **중심 기반 MFF(center-based MFF)**를 채택하는데, 여기서 가우시안의 3D 중심이 2D 마스크 윤곽선 밖에 투영되면 배경으로 분류됩니다. 이는 탐색 공간을 즉각적으로 축소합니다.
   • 타겟 중심 $c_t$는 초기 마스크 내부에 투영된 가우시안들의 3D 위치를 기반으로 초기화됩니다.

2. 온라인 NBV 계획:

   • 시스템은 차기 뷰를 위한 최적의 요($\phi$)와 피치($\theta$) 각도를 결정하기 위해 탐사-평가(Exploration-Evaluation, EE) 전략을 사용합니다.
   • 요 증분($\Delta\phi$)의 탐색 공간은 $\{90^\circ, 60^\circ, 30^\circ\}$이며, 피치($\theta$)의 탐색 공간은 $\{0^\circ, 30^\circ, 60^\circ\}$입니다.
   • NBV는 필터링할 수 있는 배경 가우시안의 수($|\Delta\mathcal{A}'|$)를 최대화하는 동시에, 새로운 세그멘테이션 마스크가 초기 마스크와 일관성을 유지하도록(mIoU $\geq \sigma$로 측정) 하여 연쇄적인 오류를 방-지하는 방향으로 선택됩니다.
   • 만약 큰 요 증분(예: $90^\circ$)이 타겟을 추적하는 데 실패하면, 시스템은 더 작은 증분($60^\circ$, 그 다음 $30^\circ$)으로 후퇴(fallback)합니다.

3. 상태 업데이트:

   • 가상 드론은 선택된 NBV로 이동하여 새로운 뷰를 렌더링합니다.
   • **SAM (Segment Anything Model)**은 메모리 뱅크 $\mathcal{M}_t$를 활용하여 추적을 수행하며, 이 새로운 뷰에 대한 세그멘테이션 마스크를 생성합니다.
   • 다시 한번 MFF를 적용하여 전경 집합 $\mathcal{A}^{(t+1)}$과 배경 집합 $\mathcal{B}^{(t+1)}$을 업데이트합니다.
   • 이 과정은 타겟 객체의 전체 커버리지가 달성될 때까지 반복됩니다.

3. 주요 기여

• 설정이 필요 없는 프레임워크: SAGO는 기존의 최적화 기반 방식들이 요구하는 장면별 설정 단계를 완전히 제거하여, 가공되지 않은 3DGS 장면에 대한 대화형 세그멘테이션을 가능하게 합니다.
• 가상 드론 패러다임: 본 논문은 3D 온라인 세그멘테이션을 가상 드론을 위한 NBV 계획 문제로 재구성하는 원칙적인 정식화를 도입하였으며, 능동적 시각(active vision) 원리를 활용하여 폐쇄(occlusion) 문제를 해결하고 경계를 정교화합니다.
• 효율성 및 품질: 이 방법은 이전의 설정 불필요 프레임워크들과 비교했을 때 추론 시간을 50배 단축(지연 시간을 4060초에서 0.40.9초로 감소)시키면서도, 최첨단 오프라인 방식과 대등하거나 그 이상의 세그멘테이션 품질을 제공합니다.

4. 실험 결과

저자들은 SPIn-NeRF, NVOS, 3D-OVS, LERF-Mask 등을 포함한 다양한 데이터셋에서 SAGO를 평가했습니다.

• 정량적 성능:
  • NVOS: 92.7% mIoU와 98.7% mAcc를 달성하여, 오프라인(예: SAGA) 및 온라인(예: iSegMan, GaussianCut) 베이스라인 모두를 능가했습니다.
  • SPIn-NeRF: 92.5% mIoU와 99.3% mAcc를 달성하여, 비교된 모든 방법 중 mIoU에서는 2위, mAcc에서는 1위를 기록했습니다.
  • 3D-OVS: 평균 96.2%의 mIoU를 달성하여 기존 최고 성능인 SAGA를 0.2% 차이로 앞질렀습니다.
  • LERF-Mask: 평균 91.0%의 mIoU를 달성하여 ClickGaussian보다 1.9% 높은 성능을 보였습니다.
• 지연 시간: 상호작용당 평균 세그멘테이션 지연 시간은 약 500 ms (0.4–0.9초)로, 실시간 상호작용이 가능합니다.
• 절제 연구 (Ablation Studies):
  • NBV 전략을 제거하고(원래의 장면 뷰에만 의존) 실험했을 때, 특히 폐쇄된 장면(예: LERF-Mask에서 mIoU 54.3% 급락)에서 성능이 급격히 저하되어 능동적 뷰 탐사의 필요성을 입증했습니다.
  • 중심 기반 MFF가 스플랫(splat) 기반 MFF보다 약간 더 효율적이고 효과적인 것으로 나타났습니다.

5. 의의 및 주장

본 논문은 SAGO가 사전 계산의 장벽을 제거함으로써 3DGS 상호작용의 중요한 변화를 가져왔다고 주장합니다. 가상 드론과 NBV 계획을 활용함으로써 이 방법은 다음을 가능하게 합니다:

• 직접적인 에셋 추출: 사용자는 1초 이내에 가공되지 않은 장면으로부터 깨끗한 3D 에셋을 추출할 수 있습니다.
• 온라인 편집: 추출된 에셋은 3DGS 장면 내에서 즉시 조작(이동, 제거, 복사, 붙여넣기)될 수 있습니다.
• 광범위한 적용성: 이 방법은 다양한 프롬프트(클릭, 박스, 텍스트)를 지원하며, 장면별 튜닝 없이도 다양한 데이터셋에 걸쳐 일반화됩니다.

저자들은 한계점도 인정하였는데, 중심 기반 MFF가 거친 경계(jagged boundaries)를 생성할 수 있다는 점(이는 후속 트리밍 방법으로 해결 가능함)과, 상태 초기화를 위해 고품질의 초기 뷰에 의존한다는 점을 언급했습니다. 향후 연구로는 최적의 초기 뷰를 찾기 위한 능동적 전략을 탐구하는 것이 제안되었습니다.