기술 요약: ZeroSplat

문제 정의 및 동기

최근 3D 가우시안 스플래팅(3DGS)의 발전은 언어 유도형 장면 이해를 가능하게 했습니다. 그러나 기존의 참조형 3D 가우시안 스플래팅(R3DGS) 방법들은 모든 지침이 장면 내 정확히 하나의 객체에 대응한다고 가정하는 **단일 타겟 쿼리(single-target queries)**에 근본적으로 제한되어 있습니다. 이러한 한계는 객체의 부재(zero targets), 단일 타겟(single targets), 또는 다중 타겟(multiple targets, 예: "모든 빨간 의자를 찾아줘")을 포함하는 실제 세계 지침의 모호성을 반영하지 못합니다.

이를 해결하기 위해 저자들은 일반화된 참조형 3D 가우시안 스플래팅 세그멘테이션(GR3DGS) 태스크를 도입합니다. 이 태스크는 자유 형식의 자연어를 기반으로 임의의 수(0, 1 또는 N개)의 타겟을 동적으로 세그멘테이션할 것을 요구합니다.

나아가, 기존 R3DGS 패러다임은 GR3DGS에 적용될 때 다음과 같은 두 가지 결정적인 기술적 병목 현상에 직면합니다:

1. 내재적 3D 포인트 수준 이해의 결여: 기존 방법들은 이산적인 3D 가우시안 포인트가 아닌 2D 렌더링 픽셀에서 작동합니다. 이는 이들을 2D 이미지 수준의 이해에 국한시켜, 공간적 모호성을 해결하기 위한 명시적인 3D 기하학적 구조를 활용하는 것을 방해합니다.
2. 과도한 계산 및 메모리 오버헤드: 기존 방식은 수백만 개의 가우시안 포인트에 무거운 시맨틱 특징(semantic features)을 임베딩하기 위해 장면별 최적화(per-scene optimization)를 필요로 합니다. 이는 거대한 저장 공간과 높은 메모리 소비를 초래하여 실시간 애플리케이션 및 자원이 제한된 장치에서 사용하기 어렵게 만듭니다.

방법론: ZeroSplat

이러한 한계를 극복하기 위해 저자들은 새로운 학습 불필요(training-free) 및 제로-특징(zero-feature) 프레임워크인 ZeroSplat을 제안합니다. ZeroSplat은 장면의 고유한 표현을 변경하거나 추가적인 시맨틱 특징을 저장하는 것을 피합니다. 대신, 견고한 다중 뷰 기하학적 제약 조건을 통해 2D 시각-언어 모델(VLM)의 사전 지식을 3D 공간으로 들어 올립니다(lift).

이 방법은 세 단계의 엔드 투 엔드 파이프라인을 통해 작동합니다:

1. 기하학 가이드 VLM 시맨틱 파싱 (Geometry-Guided VLM Semantic Parsing)

파이프라인은 먼저 VLM(구체적으로 qwen3-vl-30b-a3b-instruct)을 사용하여 자유 형식의 텍스트를 시맨틱 및 공간적 사전 지식으로 파싱합니다.

• 키프레임 선택: 모든 비디오 프레임을 처리하는 것을 피하기 위해, 장면 곡률(scene curvature)을 기반으로 압축된 기하학적 키프레임 세트를 탐욕적(greedy)으로 선택합니다. 가우시안 중심의 국소 표면 변화율을 평가하여 풍부한 시맨틱 정보(에지/코너)가 있는 영역을 식별하는 동시에 중복되는 배경 뷰를 필터링합니다.
• 계층적 추론: VLM은 두 단계의 상호작용을 수행합니다:
  • 시맨틱 레이블 추출: 다운스트림 마스크 생성을 용이하게 하기 위해 장황한 설명으로부터 간결한 시맨틱 레이블을 추출합니다.
  • 2D 기하학적 로컬라이제이션: 추출된 레이블과 원문 텍후를 사용하여 키프레임 내 타겟 객체에 대한 2D 바운딩 박스를 생성합니다. 이 박스는 나중에 3D 아티팩트를 필터링하기 위한 공간적 사전 지식 역할을 합니다.

2. 2D 시맨틱 마스크 생성 및 3D 리프팅 (2D Semantic Mask Generation and 3D Lifting)

이 단계는 2D 큐(cue)를 정밀한 3D 세그멘테이션으로 구체화합니다.

• 적응형 뷰 선택 및 마스크 퓨전: 추출된 레이블을 사용하여 SAM3를 통해 후보 2D 마스크를 생성합니다. 기하학적 일관성을 보장하기 위해 신뢰도 임계값을 기준으로 뷰를 적응적으로 필터링하며, 과잉 세그멘테이션(over-segmentation)을 처리하기 위해 주된 마스크와 차선 마스크를 융합합니다.
• 마스크 기반 역투영 (Mask-Based Back-Projection): 3DGS의 볼륨 렌더링 특성을 활용하여 개별 가우시안에 시맨틱 레이블을 할당합니다. 각 가우시안의 렌더링 기여도를 선택된 뷰들에 대해 계산합니다. 누적된 포그라운드 점수(불투명도와 투과도에 의해 가중치 부여됨)가 백그라운드 점수를 엄격히 초과하는 경우 해당 가우시안을 포그라운드로 분류합니다.
• **교차 뷰 백그라운드 크로핑 (Cross-View Background Cropping): 순도(purity)를 높이기 위해, 포그라운드 가우시안이 유효한 뷰에서 백그라운드 영역에 투영되는 횟수를 계산합니다. 충돌 비율이 임계값을 초과하면 해당 가우시안을 백그라운드로 수정하여 기하학적 아티팩트를 효과적으로 제거합니다.

3. 다중 뷰 검증 및 공간적 정밀화 (Multi-View Verification and Spatial Refinement)

마스크의 부정확함을 해결하고 구조적 무결성을 보장하기 위해 다음을 수행합니다:

• 교차 뷰 역투영 검증: VLM이 생성한 2D 바운딩 박스를 사용하여 각 포그라운드 가우시안을 검증합니다. 만약 특정 가우시안이 여러 키프레임에서 보이지만, 높은 비율의 뷰에서 바운딩 박스 외부에 위치한다면 백그라운드로 수정합니다.
• 공간적 일관성을 통한 국소 정밀화: 폐쇄(occlusion) 또는 마스크 에지 오류로 인한 내부 공동(cavity)을 채우기 위해, 3D K-최근접 이웃(KNN) 공간 레이블 확산 알고리즘(KD-Tree 사용)이 적용됩니다. 레이블이 없는 가우시안은 인접한 이웃의 충분한 비율이 이미 포그라운드로 분류된 경우 포그라운드로 할당되어, 최종 출력이 구조적으로 일관되도록 보장합니다.

주요 기여

1. 태스크 정식화: 0, 1, 또는 N개의 타겟을 처리할 수 있도록 참조형 세그멘테이션을 일반화하여 실제 세계의 지침 모호성을 해결하는 GR3DGS 태스크를 도입했습니다.
2. 벤치마크: 이 새로운 태스크를 종합적으로 평가하기 위해 두 개의 새로운 벤치마크인 GR-LERF(픽셀 수준 평가용)와 GR-ScanNet(내재적 포인트 수준 평가용)을 구축했습니다.
3. ZeroSplat 프레임워크: 장면별 최적화나 추가적인 특징 저장 없이도 내재적 포인트 수준의 이해를 달성하는 학습 불필요(training-free) 및 제로-특축(zero-feature) 프레임워크를 제안했습니다.
4. 성능: ZeroSplat이 일반화된 시나리오와 단일 타겟 시나리오 모두에서 매우 효율적으로 작동하면서도 기존 SOTA(State-of-the-Art) 방법들을 크게 능가함을 입증했습니다.

실험 결과

저자들은 새로운 GR-LERF 및 GR-ScanNet 벤치마크와 기존 R3DGS 및 오픈 보캐블러리 벤치마크에서 ZeroSplat을 평가했습니다.

• 일반화된 참조형 (GR3DGS):

  • GR-LERF에서 ZeroSplat은 평균 mIoU 50.8을 달성하여, 가장 우수한 베이스라인인 GS-Grouping(28.3)을 크게 앞질렀습니다.
  • GR-ScanNet에서 ZeroSplat은 평균 mIoU 41.2를 달성하여, LUDVIG(15.1) 및 InstanceGaussian(24.5)과 같은 포인트 기반 방법들과 비교하여 새로운 SOTA를 수립했습니다.
  • 정성적 결과는 ZeroSplat이 다중 타겟을 성공적으로 세그멘테이션하고 부재하는 객체를 처리하는 반면, 베이스라인들은 종종 인스턴스를 병합하거나 위치 파악에 실패함을 보여줍니다.

• 단일 타겟 참조형 (R3DGS):

  • 표준 Ref-LERF 테스트 세트에서 ZeroSplat은 32.7 mIoU를 달성하여, 학습이 필요 없는 방식임에도 불구하고 완전 지도 학습 방식인 ReferSplat(29.2)보다 3.5 mIoU 높은 성능을 보였습니다.

• 오픈 보캐블러리 세그멘테이션:

  • ZeroSplat은 오픈 보캐블러리 태스크에서 강력한 일반화 능력을 보여주었습니다. LERF에서 52.4 mIoU를 기록(이전 최고치보다 2.0 상회)했으며, 19-클래스 및 15-클래스 프로토콜 하의 ScanNet에서도 최상위 성능을 기록했습니다.

• 효율성:

  • 약 2시간의 장면별 최적화와 약 3GB의 추가 특징 저장이 필요한 기존 방법들과 달리, ZeroSplat은 **학습 시간이 전혀 필요 없으며 추가 저장 공간도 제로(zero)**입니다. 피크 VRAM 사용량은 약 10GB로, 많은 베이스라인의 약 28GB와 대조적입니다.

의의 및 주장

본 논문은 ZeroSplat이 "렌더링 후 매칭(render-then-match)"하는 2D 패러다임에서 기하학적 제약이 있는 3D 접근 방식으로 전환함으로써 기존 R3DGS 방법들의 근본적인 병목 현상을 해소한다고 주장합니다. 가우시안 표현을 수정하지 않고 VLM의 사전 지식을 3D 공간으로 직접 들어 올림으로써, ZeroSplat은 내재적 포인트 수준의 이해를 가능하게 합니다.

저자들은 이 프레임워크가 자원이 제한된 장치에 3D 시맨틱 이해를 배포할 수 있는 실질적인 경로를 제공한다고 단언합니다. 또한 제안된 GR3DGS 태스크와 벤치마크가 불확실성, 다중 타겟, 객체 부재 시나리오를 견고하게 처리해야 하는 Embodied AI 및 멀티모달 LLM 에이전트 발전에 필수적이라고 주장합니다. 이 연구는 견고한 3D 시맨틱 이해가 반드시 값비싼 장면 최적화나 무거운 특징 저장을 필요로 하는 것이 아니라, 기하학적 제약과 공간적 확산을 통해 달성될 수 있음을 시사합니다.