GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video

기술 요약: GeoSAM-3D

문제 정의
GeoSAM-3D는 가벼운 입력 설정, 즉 짧은 단안 비디오와 단일 프레임에 대한 단일 사용자 프롬프트(클릭, 박스 또는 텍스트 레이블)를 사용하여 오픈 보카불러리(open-vocabulary) 3D 장면 분할 문제를 해결합니다. 기존 시스템이 RGB-D 센서, 보정된 다중 뷰 이미지 또는 사전 재구성된 메시에 의존하는 것과 달리, GeoSAM-3D는 오로지 단안 비디오로부터 유도된 재구성된 3D 가우시안 스플래팅(3D Gaussian Splatting) 장면에 기반하여 작동합니다.

핵심적인 기술적 문제는 **기하학적 누출(geometric leakage)**입니다. 2D 프롬프트 마스크를 3D로 전파할 때, 표준 유클리드 최근접 이웃(kNN) 방식은 장면의 위상(topology)을 무시하기 때문에 종종 실패합니다. 공간적으로는 가깝지만 의미론적으로는 구별되는 객체들(예: 의자 다리와 바닥, 또는 열린 문 양쪽)은 전파가 오로지 유클리드 거리만을 기반으로 할 경우 잘못 병합될 수 있습니다. 목표는 프롬프트 시드(seed)를 재구성된 가우시안 프리미티브(primitives) 상으로 전파하되, 결과적인 3D 마스크가 단순한 공간적 근접성이 아닌 장면 표면의 연결성을 존중하도록 하는 것입니다.

방법론
본 시스템은 동결된 파운데이션 모델(foundation models)과 커스텀 미분 가능한 그래프 전파 레이어를 통합합니다. 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 3D 재구성: 단안 재구성 스택(예: MonoGS)이 입력 비디오를 3D 가우시안 필드로 변환하며, 여기서 각 가우시안 $g_i$는 중심 $\mu_i$, 공분산 $\Sigma_i$, 불투명도 $\alpha_i$, 그리고 외관 통계 $c_i$로 정의됩니다.
2. 2D 감독(Supervision): 단일 프레임에서의 사용자 프롬프트는 SAM 2를 사용하여 고품질 2D 마스크를 생성합니다. 이 마스크는 3D 장면으로 "리프팅(lifted)"되어 가우시안 중심점들에 대한 시드 벡터 $s$를 생성하고 초기 양성 샘플을 식별합니다.
3. 그래프 구축: 가우시안 중심점들을 대상으로 방향성 $k$-최근접 이웃(kNN) 그래프가 구축됩니다. 에지 가중치 $w_{ij}$는 중심점 거리의 가우시안 함수로 정의되며, 무방향 그래프를 형성하기 위해 대칭화됩니다. 이 가중치로부터 그래프 라플라시안 $L$이 계산됩니다.
4. 열-커널 측지선 전파(Heat-Kernel Geodesic Propagation): 유클리드 거리 대신, GeoSAM-3D는 열-커널 측지선 근사치를 사용하여 레이블을 전파합니다.
   • 암시적 열 단계(implicit heat step)를 해결합니다: $(I + tL + \epsilon I)u = s$ (여기서 $u$는 열장(heat field)을 나타냄).
   • 열장은 Varadhan 근사법을 통해 거리 메트릭으로 변환됩니다: $d_i = \sqrt{\max(0, -4t \log(\max(u_i, \epsilon)))}$.
   • 최종 소프트 마스크 확률은 $p_i = \exp(-d_i^2 / 2\sigma_d^2)$로 계산됩니다.
   • 이 접근 방식은 레이블이 연결된 표면을 따라 확산되도록 하며, 중심점들이 유클리드적으로 가까울지라도 간극이나 약한 에지에 의해 차단되도록 보장합니다.
5. 피처 헤드(Feature Head): 컴팩트한 트랜스포머 헤드가 개별 가우시안의 기하학 및 외관 속성을 정규화된 임베딩으로 매핑합니다. 이 헤드는 동결된 파운데이션 모델을 미세 조정(fine-tuning)하지 않고도, SAM 유래 마스크 내의 가우시안들이 유사한 특징을 공유하도록 보장하는 대조 학습(contrastive objective)을 통해 훈련됩니다.

주요 기여
본 논문은 다음과 같은 구체적인 기여를 제시합니다:

1. 프롬프트 전파 파이프라인: SAM 스타일의 비디오 마스크를 단안 3D 가우시안 장치로 리프팅하고, 그래프 위상을 사용하여 가우시안 중심점 상으로 레이블을 전파하는 시스템입니다.
2. 미분 가능한 열-커널 레이어: kNN 그래프 라플라시안과 Varadhan 스타일의 거리 근사법을 사용하는 측지선 전파 레이어의 구현체로, 비매니폴드(non-manifold) 및 희소 그래프에서도 안정적으로 작동하도록 설계되었습니다.
3. 대조 피처 헤드: 대규모 파운데션 모델을 미세 조정하는 대신, 대조적 마스크 일관성을 통해 훈련된 개별 가우시안 단위의 특징 추출기입니다.
4. 재현 가능한 구현: 코드, 측지선 정확도에 대한 단위 테스트, 특징 정규화 체크, CPU 안전한 인터랙티브 데모를 포함하는 공개 GitHub 저장소 및 Hugging Face Space를 제공합니다.

결과 및 검증
본 논문은 아직 표준 3D 세그멘테이션 벤치마크(예: ScanNet 또는 Replica)에서 최첨단(SOTA) 성능을 주장하지 않는다고 명시적으로 밝힙니다. 대신, 현재의 결과는 구현 검증 및 공학적 정확성에 초점을 맞춥니다:

• 단위 테스트: 코드베이스에는 열-측지선 커널, 시드 거리 동작, 레이블 전파 범위, 피처 헤드 정규화 및 애플리케이션 인터페이스 계약을 다루는 15개의 통과된 테스트가 포함되어 있습니다.
• 검증 체크: 시스템은 시드 거리가 비음수이며, 테스트 그래프 상에서 단조적이고, 피처 헤드가 올바른 형태의 L2 정규화된 임베딩을 생성하는지 확인합니다.
• 평가 프로토콜: 3D mIoU, 프롬프트 강건성(시드 위치에 따른 분산), 인접 표면 간의 누출률, 지연 시간(latency)에 대한 지표를 포함하여 향에는 벤치마킹을 위한 엄격한 프로토콜을 제안합니다. 또한, 전파 실패를 재구성 오류와 분리하기 위해 재구성 품질(예: 깨끗한 기하학 vs 융합된 표면)에 따라 결과를 계층화할 것을 제안합니다.

의의 및 주장
GeoSAM-3D는 비디오 파운데이션 모델, 단안 3D 재구성, 그리고 그래프 기반 기하학적 추론 사이의 공학적 가교 역할을 합니다. 본 연구의 주요 의의는 다음과 같습니다:

• 접근성: 값비싼 RGB-D 하드웨어나 기존의 메쉬 없이도 단순한 단안 스마트폰 비디오로부터 3D 세그멘테이션을 가능하게 합니다.
• 기하학적 추론: 서로 다른 객체 간의 누출을 방지하기 위해 프롬프트 전파가 단순한 유클리드 근접성이 아닌 장면의 연결성(측지선)을 따라야 함을 입증합니다.
• 투명한 실패 모드: 문제를 재구성된 장면에 대한 그래프 전파로 프레이밍함으로써, 시스템은 해석 가능한 실패 모드를 제공합니다. 만약 단안 재구성이 두 표면을 융합시킨다면, 그래프 측지선은 이를 분리할 수 없습니다. 본 논문은 커널을 튜닝하여 이를 숨기기보다 이러한 실패를 명시적으로 보고할 것을 주장합니다.

본 논문은 현재의 구현이 핵심 그래프 커널과 인터페이스를 검증하고 있지만, 방법론의 전체 잠재력은 향후 유클리드, 랜덤 워크(random-walk), 그래프 컷(graph-cut) 베이스라인과의 벤치마킹, 그리고 확장성을 위한 희소 솔버(sparse solver)의 통합에 달려 있다고 결론짓습니다.