기술 요약: 3D 가우시안에서의 개방형 어휘 및 참조 표현 세그멘테이션을 위한 GaussDet

문제 정의

3D 가우시안 스플래팅(3DGS)은 명시적인 포인트 기반 표현과 실시간 렌더링 능력을 통해 3D 장면 재구성 분야에 혁신을 일으켰으나, 이를 개방형 어휘(open-vocabulary) 및 참조 표현(referring expression) 이해로 확장하는 데에는 여전히 어려움이 따릅니다. 기존 방식들은 일반적으로 고차원의 밀집된 CLIP(Contrastive Language-Image Pretraining) 특징을 장면 표현에 직접 증류(distillation)하는 방식에 의존합니다. 이 접근법은 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 인스턴스 그룹화 노이즈(Instance Grouping Noise): 바텀업(bottom-up) 그룹화 전략은 사전에 정의된 인스턴스 개수를 필요로 하거나 잘못된 연관성 문제로 인해, 하나의 3D 인스턴스 그룹 안에 여러 객체, 배경 요소 또는 부유하는 아티팩트(floating artifacts)가 포함되는 오류를 범하기 쉽습니다.
2. 의미론적 병목 현상(Semantic Bottlenecks): CLIP 특징에 대한 의존도는 의미론적 이해를 단순 명사구 수준으로 제한합니다. 또한, SAM과 같은 격리된 세그멘테이션 마스크로부터 CLIP 특징을 추출하는 방식은 주변 이미지의 문맥을 소실시켜, 낮은 의미적 표현력을 초래하고 복잡한 공간 추론이나 참조 표현(예: "왼쪽에 있는 빨간 컵")을 처리할 수 없게 만듭니다.

방법론: GaussDet

저자들은 밀집된 CLIP 특징 증류의 필요성을 피하기 위해, 참조 표현 능력을 갖춘 이산적(discrete) 개방형 어휘 2D 객체 탐지기를 활용하는 GaussDet 방식을 제안합니다. 이 파이프라인은 인스턴스 학습과 의미 할당을 분리하는 "분리된(disentangled)" 패러다임을 따릅니다:

1. 인스턴스 그룹화(Instance Grouping): 이 방법은 선행 연구(예: LaGa)의 인스턴스 학습 패러다임을 채택하여, 개별 가우시안에 2D 인스턴스 마스크(예: SAM)에 의해 감독된 학습 가능한 인스턴스 특징을 추가합니다. 이러한 특징은 2D-3D 연관성을 통해 장면을 3D 인스턴스 그룹($G_i$)으로 분해하는 데 사용됩니다.
2. 이산적 의미 레이블 맵 생성(Discrete Semantic Label Map Generation): 마스크에서 특징을 추출하는 대신, GaussDet은 개방형 어휘 객체 탐지기(예: Qwen-VL 또는 YOLO-World)를 사용하여 모든 프레임에 대한 바운딩 박스 검출($B_v$)을 생성합니다. 이러한 검출 결과는 바운딩 박스 가중치(폐쇄(occlusion)를 고려한 크기 기반 휴리스틱)를 기반으로 레이블을 중첩하여 이산적 의미 레이블 맵($S_v$)으로 변환됩니다.
3. 뷰 필터링 및 선택(View Filtering and Selection): 3D 인스턴스 그룹에 의미를 할당하기 위해, 해당 그룹을 모든 뷰에 대해 렌더링합니다. 가시적인 고불투명도 가우시안의 비율을 기준으로 마스크 가시성 점수($s_{i,v}$)를 계산합니다. 폐쇄되거나 파편화된 인스턴스로 인한 노이즈를 최소화하기 위해 가시성 점수가 가장 높은 상위 $K$개의 뷰를 선택합니다.
4. 뷰 집계 의미 레이블 분포(View-Aggregated Semantic Label Distribution, VASD): 선택된 상위 $K$개의 뷰에 대해, 가우시안 평균의 투영 좌표에서 이산적 의미 레이블을 샘플링합니다. 이 레이블들은 가우시안 중요도 점수에 따라 가중치가 부여되어 집계되며, 각 인스턴스 그룹에 대한 확률 분포(VASD)를 형성합니다.
5. 의미론적 배경 정규화기(Semantic Background Regularizer, SBR): VASD 생성의 핵심 요소는 탐지기 맵으로부터 배경 레이블(인덱스 -1)을 명시적으로 유지하는 것입니다. 이는 실제로는 배경 노이즈나 "플로터(floater)"인 3D 그룹에 전경(foreground) 의미가 잘못 할당되는 것을 방지하는 정규화 역할을 합니다. 이는 비지도 3D 분해에서 흔히 발생하는 문제입니다.

주요 기여

• 새로운 의미 할당 방식: 저자들은 3D 가우시안 스플랫의 의미론적 레이블링을 위해 2D 객체 탐지기 기반의 접근 방식을 도입했습니다. 이는 밀집된 CLIP 특징에 대한 의존성을 제거하여 견고한 개방형 어휘 세그멘테이션을 가능하게 합니다.
• 제로샷 참조 접지(Zero-Shot Referential Grounding): 이 파이프라인은 엄격한 제로샷 설정에서 참조 표현 접지를 처리하도록 확장되었습니다. 복잡한 쿼리를 처리하는 탐지기의 능력과 VASD의 견고함을 활용함으로써, 별도의 장면 최적화나 의사 마스크(pseudo-mask) 생성 없이도 복잡한 묘사(예: "월도를 찾으세요" 또는 "장난감 고양이 조각상")를 접지할 수 있습니다.
• 뷰 집계를 통한 견고성 확보: VASD 전략은 저품질 인스턴스 그룹화나 노이즈가 있는 2D-3D 연관성으로 인해 발생하는 가짜 레이블을 완화하는 강력한 정규화 도구 역할을 합니다.

실험 결과

본 방법은 두 가지 핵심 작업인 개방형 어휘 세그멘테이션(OVS)과 참조 표현 접지(Referential Expression Grounding)에 대해 평가되었습니다.

• 개방형 어휘 세그멘테이션: LeRF-OVS 벤치마크에서 GaussDet은 평균 mIoU **69.9%**를 달 기록하며, 이전 최고 성능 모델인 LaGa보다 5.8% 향상된 성능을 보였습니다. 특히 혼잡한 장면(예: Figurines, Ramen)에서 유의미한 이득이 관찰되었습니다. ScanNet 데이터셋에서도 GaussDet은 19개 클래스 분할에서 LaGa 대비 3.3% mIoU 향상을 보여주었습니다.
• 참조 표현 접지: Ref-LeRF 벤치마크에서 GaussDet은 별도의 장면 학습이나 특화된 교차 모달 네트워크 없이도 제로샷 설정에서 작동함에도 불구하고, ReferSplat(이전 최고 모델) 대비 16.7%의 절대적 mIoU 증가를 달성했습니다.
• 정성적 개선: 시각적 비교 결과, GaussDet은 더 날카로운 객체 경계를 생성하고, 배경으로의 의미론적 침범(semantic bleeding)을 방지하며, 베이스라인 방법들이 실패하는 혼잡한 환경에서 특정 인스턴스를 성공적으로 분리해 냄을 입증했습니다.

의의 및 주장

본 논문은 GaussDet이 CLIP 기반 3DGS 방식의 고유한 의미론적 병목 현상을 해결함으로써 3D 장면 이해의 중요한 진전을 이루었다고 주장합니다. 밀집된 특징 증류에서 이산적 레이블 집계로 전환함으로써, 이 방법은 다음과 같은 효과를 거둡니다:

1. 표현력 향상: 단순 명사구를 넘어 복잡하고 구성적인 쿼리와 공간적 추론을 지원합니다.
2. 견고성 개선: 뷰 집계 전략과 배경 정규화는 비지도 3D 인스턴스 그룹화에 내재된 노이즈를 효과적으로 완화합니다.
3. 제로샷 능력 구현: 고품질의 참조 접지가 장면별 최적화의 계산 비용이나 전용 교차 모달 네트워크의 데이터 요구 사항 없이도 달성될 수 있음을 보여줍니다.

저자들은 이 방법의 공간 추론 능력이 기반이 되는 2D 개방형 어휘 탐지기의 성능에 의해 상한선이 결정되며, 파이프라인이 여전히 기존 3DGS 인스턴스 그룹화 메커니즘에 의존하여 구조적 오류가 전파될 수 있다고 언급했습니다. 그러나 제안된 VASD 모듈은 다양한 베이스 메서드 전반에서 의미 할당을 크게 개선하는 플러그 앤 플레이(plug-and-play) 솔루션으로 제시됩니다.