기술 요약: OpenGaFF

문제 제기

가우시안 기반 표현을 활용한 오픈-어휘 3D 장면 이해는 공간적 일관성과 의미론적 일관성 측면에서 상당한 도전에 직면해 있습니다. 3D 가우시안 스플래팅 (3DGS) 은 효율적이고 명시적인 장면 표현을 제공하지만, 의미를 통합하는 기존 방법들은 기하학과 의미론 사이의 약한 결합으로 인해 고생합니다. 이는 파편화된 예측, 공간적으로 일관성 없는 객체 표현, 그리고 투명 객체나 복잡한 다중 뷰 시나리오에서 특히 신뢰할 수 없는 의미론적 귀속으로 이어집니다. 현재 접근 방식은 일반적으로 고유한 한계를 가진 세 가지 범주로 나뉩니다:

1. 압축 후 디코딩: 이러한 방법들은 고차원 언어 특징을 저차원 임베딩으로 투사하여 세밀한 의미론적 정보를 폐기하고 오픈-어휘 이해를 제한합니다.
2. 특징 집계: 이러한 방법들은 외관 기반 불투명도 가중치를 사용하여 다중 뷰 특징을 융합하는데, 이는 종종 의미론적 관련성과 정렬되지 않습니다 (예: 투명한 유리에 거의 0 에 가까운 불투명도 할당).
3. 코드북 기반: 이러한 방법들은 의미를 공유된 임베딩으로 이산화하지만, 종종 기하학 무관한 방식으로 특징을 할당하여 공간적으로 일관성 없는 예측과 파편화된 객체 표현을 초래합니다.

방법론

OpenGaFF(코드북 어텐션을 갖춘 오픈-어휘 가우시안 특징 필드) 는 기하학적 일관성과 객체 수준의 의미론적 일관성을 강제하도록 설계된 3DGS 기반 프레임워크입니다. 이 방법은 두 가지 주요 단계로 작동합니다:

1. 전처리 및 코드북 초기화

파이프라인은 기초 모델 (분할을 위한 SAM, 비전 - 언어 특징을 위한 CLIP) 을 사용하여 RGB 이미지를 처리하여 2D 언어 특징 지도를 생성함으로써 시작됩니다. 고정 크기의 무작위 초기화 코드북을 사용하는 이전 작업들과 달리, OpenGaFF 는 데이터 주도 방식으로 구조화된 언어 (SL) 코드북을 구축합니다. 모든 CLIP 특징은 k-평균을 통해 집계 및 클러스터링되며, 클러스터 수 ($N_c$) 는 장면의 구조에 따라 자동으로 결정됩니다. 클러스터 중심이 코드북을 형성하여 공유된 의미론적 원시 집합으로 작용합니다. 또한, 주성분 분석 (PCA) 을 적용하여 특징을 저차원 (LD) 공간으로 투사하여 특징 필드에 대한 효율적인 지도를 제공합니다.

2. 1 단계: 가우시안 특징 필드

각 가우시안에 독립적인 학습 가능한 의미론적 특징을 할당하는 것 (이는 기하학과 의미론을 분리함) 대신, OpenGaFF 는 가우시안 특징 필드를 도입합니다. 이 필드는 의미를 가우시안의 기하학과 외관의 연속 함수로 모델링합니다. 구체적으로, 가우시안의 저차원 의미론적 특징 $m_i$는 가우시안의 위치 (푸리에 위치 인코딩을 통해) 와 색상에 조건부로 설정된 MLP 기반 디코더에 의해 예측됩니다:
$$m_i = F(\phi(\mu_i), c_i)$$
이 공식은 기하학과 의미론을 명시적으로 결합하여 공간적으로 일관된 특징 표현을 장려합니다. 외관 불투명도가 의미론적 중요도와 일치하지 않는 객체 (예: 투명한 유리) 를 처리하기 위해 별도의 의미론적 불투명도 ($\alpha^s_i$) 가 도입됩니다. LD 특징은 이 의미론적 불투명도를 사용하여 래스터화되며, 코사인 유사도와 L1 손실의 조합을 사용하여 실제 LD 특징 지도에 대해 지도됩니다.

3. 2 단계: 코드북을 통한 어텐션

압축 과정에서 손실된 고차원 언어 표현력을 회복하기 위해 OpenGaFF 는 코드북 유도 어텐션 메커니즘을 사용합니다. 렌더링된 LD 특징 지도가 쿼리로 작용하는 반면, 구조화된 코드북은 키와 값으로 작용합니다. 어텐션 메커니즘을 통해 모델은 해당 고차원 언어 특징을 검색합니다. 이 과정은 렌더링과 교환 가능하게 처리되어, 모델이 2D 지도만으로 코드북을 학습하고 추론을 위해 자연스럽게 3D 가우시안으로 확장할 수 있게 합니다.
각 쿼리가 단일하고 구별되는 의미론적 단위에 집중하도록 보장하기 위해, 어텐션 가중치에 엔트로피 정규화 항이 적용되어 코드북 항목 간 독립성을 장려합니다. 최종 언어 특징은 실제 고차원 언어 지도에 대해 지도됩니다.

주요 기여

1. 가우시안 특징 필드: 3D 의미론적 표현을 공간적 일관성과 정렬하고 특징 파편화를 줄이기 위해 가우시안 기하학과 외관에 조건부로 설정된 의미론적 예측을 가능하게 하는 새로운 메커니즘.
2. 구조화된 언어 코드북: 언어 특징이 공유된 의미론적 원시에서 선택되도록 제한함으로써 객체 수준의 일관성을 강제하는 의미론적 사전의 데이터 주도 초기화, 이를 통해 객체 내 변이를 줄임.
3. 코드북 유도 어텐션: 쿼리 임베딩을 학습된 코드북 항목과 매칭하여 견고한 오픈-어휘 추론을 가능하게 하는 검색 메커니즘으로, 3D 장면에서 일관되고 표현력 있는 의미론적 표현을 보장.

실험 결과

OpenGaFF 는 표준 2D 및 3D 오픈-어휘 벤치마크인 LERF-OVS와 ScanNet-v2에서 평가되었습니다.

• 정량적 성능: 이 방법은 2D 및 3D 오픈-어휘 분할 모두에서 최신 기법 (LangSplat, LangSplatV2, GALA, OpenGaussian 포함) 보다 일관되게 우수한 성과를 거두었습니다. LERF-OVS 에서 OpenGaFF 는 2D 에서 평균 mIoU 64.98, 3D 에서 54.36을 달성하여 이전 최고 기록 (LangSplatV2) 을 상당한 차이로 능가했습니다. ScanNet-v2 에서는 모든 지표 (예: 19 개 클래스에 대한 36.55 mIoU) 에서 최고의 성과를 거두어 우수한 공간적 일관성을 입증했습니다.
• 정성적 개선: 시각화 결과 OpenGaFF 가 더 완전하고 공간적으로 일관된 분할을 생성함을 보여줍니다. 투명 객체의 일부를 놓치거나 파편화된 결과를 자주 제공하는 베이스라인과 달리, OpenGaFF 는 "Red Apple"과 "Glass of Water"와 같은 복잡한 객체를 높은 충실도로 성공적으로 분할합니다.
• 코드북 해석 가능성: 학습된 코드북에 대한 분석은 OpenGaFF 가 분리된 의미론적 단위를 학습함을 보여줍니다. 여기서 개별 항목은 고유하고 일관된 의미론적 영역에 해당합니다. 반면, LangSplatV2 와 같은 베이스라인 방법은 의미론이 여러 항목에 분산되거나 배경 잡음에서 활성화되는 얽힌 특징 기반을 보입니다.
• 효율성: OpenGaFF 는 단일 RTX 4090 에서 12GB 의 메모리와 15 분의 훈련 시간만 요구하면서도 35fps 의 추론 속도를 유지하여 높은 효율성을 입증했습니다.

의의

이 논문은 현재 3D 장면 이해의 주요 한계가 기하학과 의미론 사이의 약한 결합으로 인해 파편화되고 일관성 없는 표현으로 이어진다고 주장합니다. OpenGaFF 는 의미를 기하학의 연속 함수로 취급하고 구조화된 코드북을 통해 객체 수준의 일관성을 강제함으로써 이를 해결합니다. 이 작업의 의의는 조밀한 체적 방법의 계산 오버헤드나 공격적인 특징 압축의 정보 손실 없이 기하학적으로 일관된 그리고 의미론적으로 해석 가능한 3D 표현을 생성할 수 있다는 점에 있습니다. 구조화된 어텐션 기반 접근 방식이 2D 기초 모델과 3D 가우시안 표현을 효과적으로 연결할 수 있음을 입증함으로써, OpenGaFF 는 기계가 공간적으로 일관되고 의미론적으로 유의미한 방식으로 복잡한 3D 환경을 인식하는 능력을 발전시킵니다.