OP2GS: Object-Aware 3D Gaussian Splatting with Dual-Opacity Primitives

OP2GS: 이중 불투명도를 통한 객체 인식 3D 가우스 원시 기술 요약

1. 문제 제기

3D 가우스 스플래팅 (3DGS) 은 실제 장면 재구성을 위한 효율적이고 명시적인 표현을 제공하지만, 내재적인 객체 수준의 정체성이 부족합니다. 3DGS 의 원시 (primitives) 는 기하학, 색상, 불투명도로 정의되므로 수정 없이는 오픈-어휘 장면 이해와 같은 하위 작업에 적합하지 않습니다. 기존 접근법은 두 가지 주요 경로를 통해 객체 수준의 정보를 주입하려 시도하지만, 둘 다 중대한 한계를 지닙니다:

• 특징 기반 방법: CLIP 과 같은 고차원 특징 임베딩을 가우스에 주입합니다. 효과적이기는 하지만, 저장 및 디코딩 오버헤드가 크고 알파 합성 후 시점 간 불일치를 겪을 수 있습니다.
• 마스크 리프팅 방법: 2D 객체 마스크 (예: SAM 에서 추출) 를 다수결 투표나 렌더링 가중치 필터링과 같은 휴리스틱을 통해 3D 가우스 필드로 투영합니다. 여기서 치명적인 실패 모드는 레이블 오염입니다. 3DGS 는 부드럽고 반투명한 원시를 사용하므로, "플로터 (floater)" 가우스 (종종 밀도 증가의 아티팩트) 나 전체 불투명도가 낮은 어두운 영역의 가우스가 광선 따라 렌더링 가중치를 지배할 수 있습니다. 결과적으로 이러한 플로터가 잘못된 객체 레이블을 할당받아 분할 마스크를 오염시킵니다. 일단 가우스가 잘못 레이블링되면, 표준 방법은 시각적 외관 재구성을 저하시키지 않고는 객체 마스크에 대한 그 기여도를 억제할 수 없습니다. 왜냐하면 둘 다 단일 불투명도 필드에 의존하기 때문입니다.

2. 방법론: OP2GS

저자들은 이중 불투명도 공식을 사용하여 시각적 재구성과 인스턴스 점유율을 분리하는 객체 인식 표현인 OP2GS를 제안합니다.

표현:
각 가우스 원시는 두 가지 추가 스칼라 매개변수로 확장됩니다:

1. 인스턴스 불투명도 ($\sigma^*$): 객체 마스크 렌더링을 위한 전용 불투명도 필드로, 1 차원 인스턴스 점유율 필드로 작용합니다.
2. 스칼라 레이블 ($l$): 초기화 시 할당된 정수 객체 ID.

모든 가우스에 고차원 특징 벡터를 부착하는 기존 방법과 달리, OP2GS 는 컴팩트한 스칼라 레이블과 단일 스칼라 $\sigma^*$를 사용합니다.

학습 파이프라인:
이 방법은 2 단계 학습 전략을 사용합니다:

• 1 단계 (표준 3DGS): 밀도 증가가 안정화될 때까지 표준 3DGS 모델을 학습합니다.
• 2 단계 (인스턴스 학습):
  • 초기화: SAM2 를 사용하여 시점 일관성 인스턴스 마스크를 생성합니다. 가우스 중심을 학습 뷰에 투영하고 다수결 투표를 통해 레이블 ($l$) 을 할당합니다.
  • 이중 불투명도 렌더링: 렌더링 과정이 분리됩니다. 원래 불투명도 $\sigma$는 복사 (색상) 재구성을 처리하고, $\sigma^*$는 인스턴스 점유율을 처리합니다. 특정 객체 $j$에 대해 렌더링된 인스턴스 맵 $S_j(v)$는 객체 $j$에 속하는 가우스에 대해 $\alpha^*_i = \sigma^*_i G^2D_i(v)$를 누적하여 계산하며, 이때 색상 분기와 동일한 투과율 $T_i$를 사용합니다.
  • 랜덤 객체 손실 ($L_{obj}$): $\sigma^*$를 최적화하기 위해 랜덤 객체 손실이 도입됩니다. 각 반복에서 객체의 부분 집합이 샘플링됩니다. 샘플링된 객체 $j$에 대해, 렌더링된 인스턴스 맵 $S_j(v)$와 이진 의사 레이블 마스크 $B_j$ 사이에 교차 엔트로피 손실이 계산됩니다. 이는 객체에 속하는 가우스가 $\sigma^*$를 증가시키고, 잘못 레이블링된 가우스 (플로터) 의 $\sigma^*$를 0 으로 수렴하도록 유도합니다.
  • 경사 경로: 이미지 재구성 손실 ($L_{rgb}$) 의 경사는 원래 불투명도 $\sigma$, 색상 $c$, 기하학을 업데이트합니다. $L_{obj}$의 경사는 인스턴스 불투명도 $\sigma^*$와 기하학을 업데이트합니다. 이를 통해 모델은 잘못 레이블링된 가우스가 마스크 분기에서는 "투명"해지도록 학습하면서도, 장면 충실도를 유지하기 위해 색상 분기에서는 "가시적"으로 남도록 학습할 수 있습니다.

오픈-어휘 분할:
가우스당 언어 특징을 저장하는 대신, OP2GS 는 객체 임베딩 집계를 수행합니다:

1. 학습된 인스턴스 점유율 필드를 임계화하여 선택된 뷰에서 이진 객체 마스크를 생성합니다.
2. 이러한 마스크는 "기하학 게이트" 역할을 하여 원본 이미지에서 객체 영역을 잘라냅니다.
3. 잘라낸 영역에서 CLIP 특징을 추출하고 여러 뷰에 걸쳐 평균화하여 객체당 단일 의미 기술자를 생성합니다.
4. 텍스트 임베딩을 집계된 객체 기술자와 매칭하여 오픈-어휘 쿼리를 수행합니다.

3. 주요 기여

• 이중 불투명도 표현: 인스턴스 불투명도 $\sigma^*$의 도입은 시각적 존재와 인스턴스 점유율을 분리합니다. 이를 통해 시스템은 장면의 사실적인 재구성을 훼손하지 않으면서 객체 마스크에서 잘못 레이블링된 가우스를 억제할 수 있습니다.
• 가시성 인식 인스턴스 학습: 제안된 랜덤 객체 손실은 표준 3DGS 투과율 메커니즘을 사용하여 인스턴스 점유율 필드를 최적화합니다. 이는 플로터와 모호한 마스크 리프팅으로 인한 레이블 오염을 해결하여, 잘못된 할당의 인스턴스 불투명도를 0 으로 학습함으로써 효과적으로 대응합니다.
• 컴팩트한 오픈-어휘 분할: 가우스당 특징 저장 및 디코딩을 피함으로써 OP2GS 는 계산 오버헤드를 크게 줄이면서도 경쟁력 있는 정확도를 달성하여 121 FPS 의 추론 속도를 가능하게 합니다.

4. 실험 결과

이 방법은 3DOVS 및 LERF-Mask 데이터셋을 포함한 오픈-어휘 벤치마크에서 평가되었습니다.

• 정확도: 3DOVS 데이터셋에서 OP2GS 는 평균 mIoU **97.1%**를 달성하여 이전 최고 기록 (96.4% 의 ObjectGS) 을 능가했습니다. LERF-Mask 데이터셋에서는 "figurines" 장면에서 92.3% mIoU, "ramen"에서 **91.0%**를 기록하여 대부분의 경우 기존 방법보다 우수한 성능을 보였습니다.
• 효율성: OP2GS 는 특징 기반 방법보다 우수한 추론 속도를 보여주었습니다. 가우스당 레이블과 $\sigma^*$를 위해 2 바이트의 추가 데이터만으로도 121.7 FPS를 달성하여, Gaussian Grouping(43.6 FPS) 과 ObjectGS(78.6 FPS) 보다 훨씬 빠릅니다.
• 절대 실험: 실험은 이중 불투명도 공식이 결정적임을 확인시켰습니다. 다수결 투표된 레이블과 표준 불투명도 렌더링만 사용한 기준선은 현저히 낮은 mIoU(예: 3DOVS 에서 76.1% 대 97.1%) 를 보였으며, 이는 $\sigma^*$ 학습이 시점 안정적 객체 분리에 필수적임을 입증했습니다.

5. 중요성 및 주장

이 논문은 OP2GS 가 3D 장면 이해에서 정확도와 효율성 간의 트레이드오프를 성공적으로 해결하는 컴팩트하고 견고한 객체 인식 표현을 제공한다고 주장합니다. 전용 인스턴스 점유율 필드를 포함하도록 가우스 원시를 재정의함으로써, 이 방법은 직접적인 마스크 리프팅에 내재된 "레이블 오염" 문제를 해결합니다. 저자들은 이 접근법이 휴리스틱 리프팅 방법이 어려움을 겪는 가시성 모호성 (플로터 등) 을 처리하기 위해 3DGS 의 물리적으로 일관된 점유율 학습을 활용하며, 엣지 장치 및 상호작용 애플리케이션에 적합한 경량 매개변수 풋프린트를 유지한다고 강조합니다. 이 연구는 3DGS 에서 명시적인 객체 수준의 추론이 무거운 특징 필드를 필요로 하는 것이 아니라, 외관과 인스턴스 속성의 구조적 분리를 필요로 함을 보여줍니다.