Scene-Agnostic Object-Centric Representation Learning for 3D Gaussian Splatting

1. 문제 제기 (Problem Statement)

최근 3D 장면 이해 (Scene Understanding) 분야에서는 시각적 기초 모델 (Visual Foundation Models, VFM) 이 생성한 2D 마스크를 활용하여 방사장 (Radiance Fields) 을 감독하고 인스턴스 수준의 3D 분할을 가능하게 하는 연구들이 활발합니다. 그러나 기존 방법론에는 다음과 같은 근본적인 한계가 존재합니다.

• 뷰 간 일관성 부재 (View Inconsistency): VFM(예: SAM) 이 생성한 마스크는 뷰 (시점) 에 따라 동일한 객체라도 다른 식별 ID 를 가지는 경우가 많습니다. 이를 해결하기 위해 추가적인 마스크 전/후 처리 (DEVA 등을 이용한 추적 등) 나 복잡한 손실 함수 설계가 필요합니다.
• 장면 의존성 (Scene Dependence): 학습된 3D 식별 정보는 특정 장면에 종속적입니다. 따라서 다른 장면으로의 일반화 (Cross-scene generalization) 가 어렵고, 매 장면마다 미세 조정 (Fine-tuning) 이 필요합니다.
• 과분할 및 물리적 구조 무시: VFM 은 주로 외관 (Appearance) 기반의 분할을 수행하므로, 단일 물리적 객체가 여러 조각으로 나뉘는 과분할 (Over-segmentation) 이 발생하거나 객체 내부의 구조적 관계를 파악하지 못해 물리적 상호작용이 필요한 작업에 부적합합니다.
• 3DGS 와 Slot Attention 의 결합 난이도: 3D Gaussian Splatting (3DGS) 은 명시적 (Explicit) 표현으로 효율적이지만, 기존 Slot Attention 기반의 비지도 객체 학습 (OCL) 을 적용할 때 '슬롯 순열 (Slot Permutation)' 문제로 인해 뷰 간 일관된 객체 표현을 학습하기 어렵습니다.

2. 제안 방법론 (Methodology)

이 논문은 **3D Gaussian Splatting (3DGS)**에 **비지도 객체 중심 학습 (Unsupervised Object-Centric Learning, OCL)**을 통합하여, 장면에 구애받지 않는 (Scene-Agnostic) 객체 표현을 학습하는 파이프라인을 제안합니다.

핵심 구성 요소:

1. GOLD (Global Object-centric Learning via Disentangled Slot Attention) 백본 활용:

   • 사전 학습된 GOLD 모듈을 사용하여 전역적이고 장면과 무관한 **객체 코드북 (Object Codebook)**을 학습합니다.
   • 이 코드북은 $C$개의 전역 객체 고유 특징 (Intrinsic Features) 을 저장하며, 객체의 외관 (Pose, Lighting 등) 과는 분리된 (Disentangled) 정체성 (Identity) 정보를 담고 있습니다.
   • 각 장면에서 $K$개의 슬롯 (Slot) 이 이 코드북에서 객체 ID 를 선택하도록 하여, 뷰와 장면에 관계없이 동일한 객체는 동일한 코드북 인덱스를 갖게 됩니다.

2. 3DGS 와의 결합 (Supervision Pipeline):

   • 마스크 생성: 입력 이미지에 GOLD 모듈을 통과시켜 $K$개의 객체 마스크와 각 마스크가 코드북의 특정 인덱스에 속할 확률 ($\gamma$) 을 얻습니다.
   • 코드 할당 및 브로드캐스팅: 각 마스크에 대해 확률이 가장 높은 코드북 인덱스를 선택하고, 해당 인덱스의 특징 벡터 ($f^*_k$) 를 마스크 공간에 브로드캐스팅하여 밀도 있는 타겟 특징 지도 ($F^*$) 를 생성합니다.
   • 3D 가우시안 특징 학습: 3DGS 의 각 가우시안 입자 (Gaussian) 에도 $D_{code}$ 크기의 정체성 특징 ($f_i$) 을 할당합니다. 렌더링된 2D 이미지 평면에서의 가우시안 특징 ($F_u$) 을 위에서 생성한 타겟 특징 지도 ($F^*$) 와 MSE 손실 함수로 직접 감독합니다.
   • 3D 정규화 (3D Regularization): 가우시안 그룹핑을 개선하기 위해, 인접한 가우시안들 간의 클래스 확률 분포에 KL 발산을 적용하는 정규화 손실을 추가합니다.

3. 학습 및 추론:

   • 학습: 이미지 재구성 손실 ($L_{rend}$), 특징 손실 ($L_{feature}$), 3D 정규화 손실 ($L_{3D}$) 을 결합하여 3DGS 와 가우시안 특징을 동시에 최적화합니다.
   • 추론: 렌더링된 특징과 전역 코드북 간의 L2 거리를 계산하여 각 픽셀에 객체 ID 를 할당합니다. 이 과정은 추가적인 전처리나 미세 조정이 필요하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합: 비지도 객체 중심 학습 (OCL) 을 3D Gaussian Splatting (3DGS) 에 통합한 최초의 연구입니다.
2. 장면 무관한 객체 코드북 (Scene-Agnostic Codebook): 뷰와 장면에 관계없이 일관된 객체 정체성을 제공하는 전역 코드북을 학습하여, 교차 장면 식별 (Cross-scene identification) 을 가능하게 했습니다.
3. 간결한 감독 파이프라인: VFM 기반 마스크의 전/후 처리 (Tracking 등) 나 추가적인 뷰 일관성 손실 (View-consistency loss), 맞춤형 학습 전략 없이도 직접적인 감독이 가능합니다.

4. 실험 결과 (Results)

데이터셋: OCTA (실제 테이블 장면) 와 GSO (합성 객체 장면) 를 사용했습니다.

• 성능 비교 (OCL 메트릭):
  • 기존 방법 (Gaussian Grouping, Unified Lift, ObjectGS) 보다 FG-ARI, ARI-A, FG-AMI, AMI-A 등 객체 중심 학습 관련 메트릭에서 압도적인 성능을 보였습니다.
  • 특히 GSO 데이터셋에서 객체 외관의 변화가 심한 경우에도 일관된 객체 식별을 유지했습니다.
• 교차 장면 식별 (Cross-Scene Identification):
  • 학습된 전역 코드북을 통해, 다른 장면에서도 동일한 객체가 동일한 ID 를 갖는 것을 확인했습니다. 반면 기존 VFM 기반 방법들은 장면마다 ID 가 달라지는 문제가 있었습니다.
• NeRF 기반 방법 (uOCF) 과 비교:
  • 3DGS 기반 제안 방법이 NeRF 기반 uOCF 보다 **재구성 품질 (PSNR, SSIM)**과 **렌더링 속도 (FPS)**에서 월등히 우수했습니다.
  • uOCF 는 객체 발견 실패 시 장면 재구성이 깨지는 반면, 제안 방법은 객체 발견이 불완전하더라도 전체 장면 재구성은 유지되었습니다.
• SAM2 기반 비교:
  • 최신 VFM 인 SAM2 를 사용하더라도 (마스크 추적 포함), 새로 등장하는 객체를 자동으로 발견하고 식별하는 능력에서는 제안 방법이 우위를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 3D 장면 이해의 패러다임을 **외관 기반 (Appearance-driven)**에서 **객체 중심 (Object-centric)**으로 전환하는 중요한 발걸음입니다.

• 실용성: 로봇 상호작용 (Robotic Interaction), 장면 편집, embodied AI 등 물리적 객체와의 상호작용이 필요한 downstream 작업에 필수적인 '일관된 객체 표현'을 제공합니다.
• 일반화: 특정 장면에 종속되지 않는 전역 코드북을 통해, 새로운 장면에서도 추가 학습 없이 객체를 식별하고 분할할 수 있는 능력을 입증했습니다.
• 효율성: 복잡한 전처리나 추가적인 손실 함수 설계 없이 3DGS 의 효율성과 OCL 의 구조적 이점을 결합하여, 더 구조화되고 일반화 가능한 3D 표현 학습을 가능하게 했습니다.

결론적으로, 이 연구는 3DGS 를 단순한 렌더링 도구를 넘어, 비지도 학습을 통해 구조화된 의미론적 3D 표현을 학습할 수 있는 강력한 프레임워크로 확장시켰다는 점에서 큰 의의가 있습니다.