기술 요약: Gaga: 3D 인지 메모리 뱅크를 통한 임의 가우시안 그룹화

문제 정의

효과적인 오픈 월드 3D 분할은 장면 이해 및 조작에 필수적입니다. 제로샷 2D 클래스 무관 분할 모델 (예: SAM, EntitySeg) 이 크게 발전했음에도, 이를 3D 장면으로 확장하는 것은 근본적인 도전 과제를 안고 있습니다: 다중 뷰 이미지 간의 마스크 레이블 불일치. 2D 모델이 각 뷰를 독립적으로 처리하기 때문에, 동일한 객체가 다른 뷰에서 서로 다른 마스크 ID 를 부여받을 수 있습니다. 이러한 불일치 있는 마스크를 3D 로 단순하게 들어 올리는 것은 모호하고 단편화된 분할을 초래합니다.

기존 솔루션들은 이를 다음과 같이 해결하려 시도합니다:

1. 대조 학습 (Contrastive Learning): 3D 가우시안의 특징 벡터를 학습하여 이를 클러스터링합니다. 그러나 이러한 방법들은 종종 뷰 간 분할 그룹에 고유하고 일관된 마스크 ID 를 할당하는 데 실패합니다.
2. 비디오 객체 추적: 다중 뷰 이미지를 비디오 시퀀스로 간주하여 객체를 추적합니다. 이 접근법은 연속적이고 최소한의 뷰 변화를 전제로 하는데, 희소 입력, 상당한 카메라 포즈 변화, 또는 유사/가려진 객체가 있는 실제 시나리오에서는 종종 실패합니다.

방법론: Gaga

Gaga 는 새로운 3D 인지 메모리 뱅크를 통해 불일치 있는 2D 마스크를 활용하여 오픈 월드 3D 장면을 재구성하고 분할하는 프레임워크를 제안합니다. 이 방법은 연속적인 뷰 변화를 가정하거나 사용자 개입을 요구하지 않습니다.

1. 장면 재구성 및 초기 마스크 생성

• 3D 재구성: 파이프라인은 포즈가 지정된 RGB 이미지 세트로부터 **가우시안 스플래팅 (Gaussian Splatting)**을 사용하여 3D 장면을 재구성하는 것으로 시작합니다.
• 2D 마스크 생성: 오픈 월드 분할 모델 (예: SAM, EntitySeg) 이 각 입력 뷰에 대한 클래스 무관 2D 마스크를 생성합니다.

2. 3D 인지 메모리 뱅크 및 마스크 연관

핵심 혁신은 3D 인지 메모리 뱅크로, 이는 시계열 추적이 아닌 기하학적 중첩을 기반으로 뷰 간 2D 마스크에 보편적인 그룹 ID 를 할당하며 3D 가우시안을 그룹화합니다.

• 깊이 안내를 통한 대응 가우시안: 각 2D 마스크에 대해 시스템은 대응하는 3D 가우시안을 식별합니다. 정확성을 보장하고 마스크로 투영되지만 먼 객체에 속하는 배경 가우시안을 포함하지 않도록 하기 위해, 이 방법은 깊이 안내를 사용합니다. 깊이 맵을 렌더링하고, 사분위수 범위 (IQR) 통계를 사용하여 이상치를 필터링한 후, 전경 객체의 유효 깊이 범위 내에 있는 가우시안만 선택합니다.
• 가우시안 중첩을 통한 그룹 ID 할당: 시스템은 메모리 뱅크를 반복적으로 구축합니다:
  • 새로운 뷰의 마스크에 대해, 해당 마스크의 대응 가우시안 ($G(m)$) 과 메모리 뱅크 내 기존 그룹 ($G_i$) 간의 중첩을 계산합니다.
  • 중첩은 마스크 내 총 가우시안 수에 대한 공유 가우시안 수의 비율로 정의됩니다: $Overlap(m, i) = \#(G(m) \cap G_i) / \#G(m)$.
  • 기존 그룹과의 중첩이 임계값 (0.1) 을 초과하면, 해당 마스크는 그 그룹의 ID 를 할당받고, 중첩되지 않은 가우시안은 그룹에 추가됩니다.
  • 기존 그룹 중 충분한 중첩이 없으면 새로운 그룹 ID 가 생성됩니다.
  • 이 과정을 통해 서로 다른 뷰에서 동일한 3D 객체에 대응하는 마스크는 동일한 보편적 ID 를 부여받게 됩니다.

3. 정체성 인코딩 및 렌더링

일관된 그룹 ID 가 확립되면, 시스템은 각 3D 가우시안에 대해 정체성 인코딩(16 차원 특징 벡터) 을 학습합니다.

• 지도 학습: 학습된 특징 벡터는 2D 이미지로 스플래팅되어 선형 레이어와 SoftMax 를 통해 디코딩되어 분할 맵을 예측합니다.
• 손실 함수: 예측된 맵은 3D 인지 메모리 뱅크가 생성한 일관된 그룹 ID 를 포함하는 의사-정답 (pseudo-ground truth) 마스크와 교차 엔트로피 손실을 사용하여 비교됩니다.
• 출력: 훈련된 모델은 다중 뷰 일관성 분할 마스크를 렌더링할 수 있으며, 정체성 인코딩을 기반으로 가우시안을 선택하여 3D 장면 조작 (예: 객체 제거, 색상 변경, 이동) 을 가능하게 합니다.

주요 기여

1. 불일치 2D 마스크를 위한 프레임워크: 사용자 안내 없이 오픈 월드 모델의 불일치 2D 마스크를 사용하여 3D 장면을 재구성하고 분할하는 방법.
2. 3D 인지 메모리 뱅크: 3D 기하학적 중첩을 기반으로 다양한 뷰 간 2D 마스크를 정렬하고 3D 가우시안을 분류함으로써 마스크 불일치를 해결하는 새로운 메커니즘으로, 비디오 추적 가정을 제거합니다.
3. 다용도성: 이 방법은 모든 2D 클래스 무관 분할 모델과 호환되어 새로운 뷰 이미지 및 마스크 합성을 용이하게 합니다.
4. 견고성: 희소 입력 뷰 및 상당한 카메라 포즈 변화를 포함한 까다로운 시나리오에서 입증된 효과성.

실험 결과

이 논문은 Gaussian Grouping, OmniSeg3D, LangSplat 등 최첨단 방법들과 비교하여 여러 데이터셋 (LERF-Mask, Replica, ScanNet, MipNeRF 360) 에서 Gaga 를 평가합니다.

• 정량적 성능:
  • LERF-Mask에서 Gaga 는 이전 방법들보다 우수한 mIoU(92.3%) 및 mBIoU(90.8%) 를 달성합니다.
  • Replica 및 ScanNet에서 Gaga 는 2D 분할 백본 (SAM 또는 EntitySeg) 에 관계없이 IoU, 정밀도, 재현율 측면에서 Gaussian Grouping 을 일관되게 능가합니다.
  • 희소 데이터 견고성: 데이터의 5% 만으로 훈련되었을 때, Gaga 는 Gaussian Grouping 을 크게 능가합니다 (예: SAM 을 사용한 Replica 에서 31.87% 대 21.76% IoU). 이는 데이터 부족에 대한 더 큰 회복 탄력성을 보여줍니다.
• 정성적 성능:
  • Gaga 는 대조 학습 및 비디오 추적 베이스라인에 비해 아티팩트가 적고, 빈 영역이 적으며, 경계가 더 선명한 다중 뷰 일관성 마스크를 생성합니다.
  • 비디오 추적기가 실패하는 유사한 객체 및 가려짐을 성공적으로 처리합니다 (예: 유사한 소파를 잘못 식별하거나 큰 카메라 이동 중 객체를 잃는 경우).
• 응용 분야: 이 논문은 정밀한 객체 제거, 색상 변경 (예: 발받침대에 영향을 주지 않고 쿠션만 재색상), 객체 이동 등 성공적인 장면 조작 작업을 시연하여 3D 그룹화의 정확성을 강조합니다.

중요성 및 주장

저자들은 Gaga 가 기존 오픈 월드 3D 분할의 근본적인 한계, 즉 2D 마스크 불일치를 해결하기 위해 내재된 3D 장면 정보를 충분히 활용하지 못하는 문제를 해결한다고 주장합니다. 시계열 추적이나 대조 학습에서 3D 인지 메모리 뱅크를 통한 기하 기반 교차 뷰 마스크 연관으로 전환함으로써 Gaga 는 다음과 같은 성과를 달성합니다:

• 진정한 다중 뷰 일관성: 연속적인 뷰 변화를 가정하지 않고 다양한 카메라 포즈에 걸쳐 객체에 보편적인 그룹 ID 를 할당합니다.
• 희소성에 대한 견고성: 비디오 추적이 실패하는 희소 입력 뷰에서도 성능을 유지합니다.
• 실용적 유용성: 3D 장면 이해 및 정밀한 장면 조작과 같은 고품질 다운스트림 애플리케이션을 가능하게 합니다.

이 논문은 이러한 발전들이 Gaga 를 실제 세계 3D 장면 분할 및 편집 작업을 위한 견고한 솔루션으로 만든다고 결론지었습니다.