기술 요약: 효율적인 3D 언어 가우스 스플래팅을 위한 희소 코드 업리프팅 (SCOUP)

문제 정의

3D 언어 가우스 스플래팅 (3DLGS) 은 오픈 보카불러리 3D 장면 이해를 가능하게 하기 위해 3D 가우스 스플래팅 (3DGS) 에 언어 정렬 시각 특징을 추가하는 것을 목표로 합니다. 기존 3DLGS 방법들의 주요 병목 현상은 재구성 속도, 저장 효율성, 렌더링 성능 간의 트레이드오프입니다.

현재 접근 방식은 일반적으로 두 가지 범주로 나뉘며, 둘 다 중요한 한계에 직면해 있습니다:

1. 밀집 특징 저장: 고차원 비전 - 언어 임베딩 (예: 512 차원 CLIP 벡터) 을 3D 가우스로 직접 업리프팅하는 방법들은 수백만 개의 가우스가 전체 특징 벡터를 저장하고 래스터화해야 하므로 막대한 저장 비용과 느린 렌더링 시간을 초래합니다.
2. 최적화 기반 압축: 장면별 오토인코더 또는 공동 코드북 최적화를 통해 컴팩트한 표현을 학습하는 방법들은 반복적인 특징 래스터화를 포함하는 비싼 장면별 최적화가 필요합니다. 이로 인해 느린 학습 시간 (종종 수 시간) 과 높은 메모리 소비가 발생합니다. 또한, 3D 공간에서 코드북과 희소 계수를 공동으로 최적화하면 정확도 저하가 발생할 수 있는데, 이는 더 큰 객체가 최적화를 지배하여 작은 객체의 특징 표현이 저하되는 결과를 낳습니다.

기존 방법 중 어느 것도 최첨단 정확도를 유지하면서 빠른 3D 의미론적 재구성, 효율적인 저장, 빠른 렌더링을 동시에 달성하지 못합니다.

방법론: SCOUP

저자들은 언어 표현 학습을 3D 가우스 최적화에서 분리하는 SCOUP(Sparse COde UPlifting) 을 제안합니다. 핵심 혁신은 희소 표현 학습을 3D 공간에서 2D 이미지 공간으로 이동시킨 후 효율적인 업리프팅 과정을 거치는 것입니다.

파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 2D 희소 계수 맵

SCOUP 은 3D 에서 직접 최적화하는 대신 입력 이미지의 네이티브 2D 공간에서 작동합니다.

• 분할: Segment Anything Model(SAM) 을 사용하여 각 장면 이미지를 겹치지 않는 영역으로 분할합니다.
• 특징 추출: 각 영역은 비전 - 언어 모델 (예: CLIP) 을 사용하여 인코딩되어 고차원 의미론적 특징 벡터를 생성합니다.
• 희소 코딩: 이 방법은 장면 인식 코드북과 2D 에서 희소 계수를 학습합니다. 각 2D 영역은 학습된 코드북에서 최대 $K$개의 기저 벡터의 희소 볼록 결합으로 표현됩니다. 이는 영역별 로짓을 최적화하여 코사인 재구성 손실로 원래 CLIP 특징을 재구성하는 희소 코딩 문제로 공식화됩니다.
• 장점: 이는 의미론적 압축을 3DGS 파이프라인에서 분리하여 작은 객체와 큰 객체가 코드북 최적화에 더 균형 잡힌 신호를 기여하도록 보장하며, 3D 공동 최적화에서 관찰되는 큰 객체 편향을 방지합니다.

2. 희소 코드 업리프팅

학습된 2D 희소 계수는 추가 최적화나 비싼 래스터화 없이 3D 가우스로 업리프팅됩니다.

• 가중 집계: 사전 훈련된 3DGS 모델이 제공하는 가우스 - 픽셀 연관성을 사용하여 2D 희소 계수를 3D 가우스로 집계합니다. 각 2D 영역이 희소 계수 집합을 가지므로 집계는 계산적으로 효율적입니다 ($O(D)$가 아닌 $O(K)$).
• 의미론적 투표: 가우스가 여러 뷰에서 계수를 누적함에 따라 각 계수의 크기는 교차 뷰 합의 정도를 반영합니다. 높은 가중치 계수는 확신 있는 합의를 나타내고, 낮은 가중치 계수는 다중 뷰 노이즈를 나타냅니다.
• Top-K 필터링: 희소성을 강제하고 표현을 노이즈 제거하기 위해, 이 방법은 각 가우스에 대해 총 집계 가중치에 기반하여 상위 $K$개의 지배적인 계수만 유지하고 나머지는 0 으로 설정합니다. 이는 일관된 신호를 통합하고 노이즈를 억제하는 의미론적 투표 시스템 역할을 합니다.

3. 희소 계수 렌더링

추론 중 3D 가우스는 전체 특징 벡터 대신 상위 $K$개 희소 계수와 그 인덱스만 저장합니다.

• 렌더링: 렌더링 파이프라인은 이러한 희소 계수를 집계합니다.
• 디코딩: 최종 2D 의미론적 특징 맵은 렌더링된 희소 계수와 장면 인식 코드북 간의 간단한 행렬 곱셈을 통해 복구됩니다. 이 재구성된 특징 맵은 오픈 보카불러리 쿼리를 위해 텍스트 임베딩과 비교됩니다.

주요 기여

1. 최초의 2D-to-3D 희소 프레임워크: 이 논문은 2D 고차원 밀집 특징을 2D 희소 계수 맵으로 인코딩하고 이를 3DGS 장면으로 업리프팅하여 언어 특징의 효율적인 전송 및 저장을 가능하게 하는 최초의 프레임워크를 제안합니다.
2. 새로운 기술:
   • 2D 희소 코딩: 3D 공동 최적화의 편향을 피하기 위해 2D 공간에서 공유 코드북과 영역별 희소 코드를 공동으로 학습하여 CLIP 특징을 재구성합니다.
   • 희소 코드 업리프팅: 3DGS 사전 지식을 안내로 하는 가중 투표 메커니즘으로 업리프팅 과정을 공식화한 후 Top-K 합의 필터링을 수행합니다. 이는 컴팩트한 저장, 효율적인 렌더링, 의미론적 노이즈 감소를 보장합니다.
3. 성능 효율성: 이 방법은 최첨단 방법과 비교 가능한 렌더링 처리량을 유지하면서 학습 및 메모리 사용에서 상당한 속도 향상을 달성합니다.

실험 결과

저자들은 SCOUP 을 LERF-OVS, 3D-OVS, Mip-NeRF360 세 가지 데이터셋에서 평가했습니다.

• 학습 속도와 메모리: LangSplatV2(주요 최적화 기반 방법) 와 비교하여 SCOUP 은 3D 의미론적 재구성에서 400 배의 속도 향상(수 시간을 1 분 미만으로 단축) 을 달성하며, 학습 중 3 배 더 메모리 효율적입니다.
• 렌더링 속도: SCOUP 은 LangSplatV2 의 렌더링 속도와 일치합니다 (장면과 의미 수준에 따라 약 15~29 FPS). 전체 차원 특징을 렌더링하는 다른 업리프팅 기반 방법들을 크게 능가합니다.
• 정확도:
  • LERF-OVS에서 SCOUP 은 오픈 보카불러리 분할의 평균 교차율 (mIoU) 에서 LangSplatV2 보다 +4.5%, VALA 보다 +2.7% 더 높은 성능을 보입니다.
  • Mip-NeRF360과 3D-OVS에서 SCOUP 은 대부분의 장면에서 최첨단 베이스라인과 비교하거나 더 나은 성능을 달성합니다.
• 애블레이션 연구: 실험은 Top-K 필터링 메커니즘이 효과적인 노이즈 제거 도구로 작용하여 다중 뷰 일관성을 개선하고 전체 임베딩 사용 대비 mIoU 를 약 4% 향상시킨다는 것을 확인합니다.

의의

이 논문은 SCOUP 이 실제 응용 분야에서 오픈 보카불러리 3D 장면 이해를 배포하는 실용적 장벽을 낮춘다고 주장합니다. 높은 정확도와 렌더링 효율성을 유지하면서 의미론적 재구성 시간을 수 시간에서 1 분 미만으로 단축함으로써, 이 방법은 로봇공학, AR/VR, 상호작용 내비게이션의 시간 민감 작업에 3D 언어 가우스 스플래팅을 실현 가능하게 만듭니다. 이 접근 방식은 2D 의미론적 특징의 중복성과 3DGS 의 기하학적 사전 지식을 활용하여 3DLGS 의 저장, 속도, 정확도 간의 오랜 트레이드오프를 성공적으로 해결합니다.