기술 요약: GMOS – 3D 공간과 시간에서의 이동 객체 분할 기반화

1. 문제 정의 및 기존 접근법의 한계

이동 객체 분할 (MOS) 은 카메라와 독립적으로 움직이는 객체를 탐지, 분할, 추적하는 것을 목표로 합니다. 이 기능은 자율 주행, 위장 객체 탐지, 비디오 감시와 같은 응용 분야뿐만 아니라, 동적 객체를 정적 배경과 분리해야 하는 3D/4D 장면 재구성 방법에도 기초가 됩니다.

저자들은 기존 MOS 방법에서 두 가지 근본적인 한계를 식별했습니다:

1. 3D 인식 부재: 기존 방법들은 광학 흐름, 포인트 궤적, 또는 깊이 지도와 같은 사전 계산된 2D 보조 모달리티에 크게 의존합니다. 이러한 입력들은 3D 기하학적 정보를 결여하고 있어, 큰 카메라 운동이나 심한 깊이 시차 하에서 방법론이 취약해집니다. 또한, 이러한 보조 입력을 생성하는 데 상당한 전처리 오버헤드가 발생합니다.
2. 거친 시간적 세분화: 기존 벤치마크와 방법들은 일반적으로 운동을 시퀀스 수준의 속성으로 취급합니다. 비디오 시퀀스 내 어느 시점에서든 움직이는 모든 객체를 마스킹하며, 해당 객체가 현재 움직이고 있는지 여부는 고려하지 않습니다. 이는 객체의 순간 운동 상태를 간과하여, 온라인 실시간 배포를 불가능하게 하고, 일시적으로 정지한 객체와 완전히 정지한 객체 간의 구분을 실패하게 합니다.

2. 방법론: GMOS 프레임워크

저자들은 보조 입력 없이 RGB 비디오를 직접 처리하여 3D 인식 가능하고 시간적으로 세분화된 분할을 생성하는 GMOS(Grounding Moving Object Segmentation) 라는 순방향 프레임워크를 제안합니다. 이 프레임워크는 제안자 (proposer) – 전파자 (propagator) 설계를 따릅니다.

2.1 제안자 (프레임 단위 예측)

제안자는 쿼리 프레임을 중심으로 한 짧은 시간 창 (약 0.5 초) 에서 작동합니다. 기하학적 및 분할 특징을 융합하여 중간 프레임에 대한 객체 제안과 운동 상태를 생성합니다.

• 기하학적 인코더: 고정된 $\pi^3$ 인코더(순방향 3D 재구성 모델) 가 짧은 시간 창을 처리하여 기하학적 특징을 추출합니다. 이를 통해 모델은 카메라로 인한 시차와 독립적인 객체 운동을 분리할 수 있습니다. 프레임 간 대응 관계는 모델의 교차 프레임 어텐션을 통해 인코딩되므로, 중간 프레임의 특징만 유지됩니다.
• 분할 인코더: 고정된 SAM2 인코더가 쿼리 프레임을 처리하여 강력한 객체성 사전 지식과 고해상도 분할 특징을 제공합니다.
• 특징 융합 및 디코딩: 기하학적 및 분할 특징이 융합된 후 $N$개의 학습 가능한 객체 쿼리가 포함된 트랜스포머 디코더를 통과합니다. 디코더는 다음을 출력합니다:
  • 이동하는 객체에 대한 분할 마스크.
  • 이진 운동 상태 ($m=1$은 이동 중, $0$은 정지).
  • 추정된 IoU 및 신뢰도 점수.
• 학습 목적: 저자들은 정지 - 이동 전환 부근의 노이즈가 있는 프레임 단위 운동 주석을 자동으로 하위 가중치 처리하는 신뢰도 기반 손실 함수를 도입합니다. 이는 객체 상태가 급격히 전환되는 경우의 레이블 모호성을 완화합니다.

2.2 전파자 (시간적 일관성)

프레임 단위 제안을 전체 비디오에 걸친 일관된 객체 트랙으로 연결하기 위해, GMOS 는 SAM2 비디오 예측기에 기반한 전파자를 사용합니다.

• 메커니즘: 전파자는 운동 확률과 추정된 IoU 로 필터링된 제안자로부터의 고품질 이동 객체 제안을 받아, 이를 프롬프트로 사용하여 SAM2 상태의 트랙을 업데이트하거나 초기화합니다.
• 모드:
  • 온라인 절차: 첫 번째 프레임에서 시작하는 단일 인과적 순방향 통과입니다. 비디오가 처리됨에 따라 마스크와 운동 상태를 스트리밍하여 MOS-I(Instantaneous, 순간) 를 지원합니다. 초기에는 정지했다가 나중에 움직이는 객체에 대한 마스크는 복구할 수 없습니다.
  • 오프라인 절차: 2 단계 프로세스입니다. 먼저 온라인 절차를 실행한 후, 가장 높은 집계 예측 IoU 를 가진 앵커 프레임을 선택하고, 모든 프레임에 대한 밀집 마스크를 복구하기 위해 양방향 전파 (순방향 및 역방향) 를 수행하여 기존 MOS 와 MOS-I 모두를 지원합니다.

2.3 GMOS-S (전경 - 배경 변형)

효율성이 중요한 배포를 위해, 저자들은 모든 이동 객체를 단일 이진 전경 마스크로 예측하는 GMOS-S 변형을 소개합니다. 쿼리 기반 트랜스포머 디코더와 전파자를 제거함으로써, inference 지연 시간이 현저히 줄어든 엔드 - 투 - 엔드 모델이 됩니다.

3. 데이터셋 및 평가 프로토콜

3.1 GMOS-2K 데이터셋

이 영역에서의 학습과 평가를 지원하기 위해 저자들은 다섯 가지 확립된 비디오 객체 분할 (VOS) 벤치마크 (DAVIS17, YTVOS19, OVIS, MoCA-Mask, HOI4D) 에서 추출한 2,210 개의 실제 세계 비디오로 구성된 GMOS-2K를 큐레이션했습니다.

• 주요 특징: 표준 VOS 데이터셋과 달리, GMOS-2K 는 객체별 시간적 운동 주석을 포함합니다. 이는 정지 객체나 일시적으로 정지한 객체와 구별하여 각 객체가 활발히 움직이는 정확한 시간 간격을 명시합니다.
• 큐레이션: 모든 이동 객체가 정답 마스크를 갖도록 데이터셋이 필터링되었습니다. 전체 시퀀스 동안 객체가 움직이지 않는 비디오는 운동 간격을 표시하기 위해 **시간적 세분화 주석 (TFA)**을 거쳤습니다.

3.2 MOS-I 평가 프로토콜

저자들은 MOS-I("I"는 Instantaneous 를 의미) 를 공식화했는데, 이는 시간적으로 세분화된 평가 프로토콜입니다.

• 정의: 시퀀스 내 어디서든 객체가 움직인다면 모든 프레임에 대한 마스크를 점수하는 기존 MOS 와 달리, MOS-I 는 객체가 활발히 움직이는 프레임에서만 분할 마스크를 점수합니다.
• 지표:
  1. 이동 객체 자카드 ($J_{mov}$): 활발히 움직이는 프레임에서의 분할 정확도.
  2. 거짓 양성 수 (FP count): 정지 또는 배경 객체에 대한 운동 예측을 패널티로 부과합니다.
  3. 평균 시간적 IoU (mtIoU): 탐지 정확도와 거짓 양성 억제의 결합 측정치.

4. 실험 결과

GMOS 는 MOS, MOS-I, 그리고 비지도 비디오 객체 분할 (UVOS) 벤치마크에서 평가되었습니다.

• MOS 벤치마크: GMOS 는 모든 기존 MOS 벤치마크 (DAVIS16-M, DAVIS17-M, SegTrackv2, FBMS-59, MoCA, YTVOS19-M) 에서 최첨단 (SOTA) 결과를 달성했습니다. 특히 밀집된 객체 상호작용 (YTVOS19-M) 과 위장된 객체 (MoCA) 가 있는 데이터셋에서 기존 방법들을 크게 능가했습니다.
• MOS-I 벤치마크: 새로운 MOS-I 벤치마크 (DAVIS17-IM, YTVOS19-IM) 에서 GMOS 는 이전 SOTA 를 상당한 차이로 능가했습니다 (예: YTVOS19-IM 에서 $J_{mov}$ 기준 +13.4). 이러한 결과는 운동을 시퀀스 수준의 속성으로 취급하는 것이 순간 분할에 있어 중요한 병목 현상임을 보여줍니다.
• UVOS 벤치마크: GMOS 는 주로 이동 객체 분할을 위해 학습되었음에도 불구하고 비지도 VOS(DAVIS16/17) 에도 잘 일반화되어 DAVIS17 에서 SOTA 를 달성하고 DAVIS16 에서 경쟁력 있는 결과를 보였습니다.
• 효율성: GMOS 는 기존 다중 객체 MOS 방법 (예: FlowSAM 의 경우 1.79 초/프레임 대비 0.38 초/프레임) 보다 약 3 배 더 빠릅니다. GMOS-S 는 더 빠릅니다 (0.26 초/프레임).

5. 중요성 및 주장

본 논문은 GMOS 가 3D 공간과 시간에 기반하여 이동 객체 분할 접근 방식에 변화를 가져왔다고 주장합니다:

1. 3D 기반화: RGB 비디오에 직접 순방향 3D 재구성 모델 ($\pi^3$) 을 활용함으로써, GMOS 는 광학 흐름과 같은 오류가 발생하기 쉬운 2D 보조 입력에 의존하지 않고도 카메라 운동과 깊이 시차에 대한 강인함을 달성합니다.
2. 시간적 기반화: MOS-I 프로토콜과 순간 운동 상태 예측을 도입함으로써, GMOS 는 프레임별로 객체의 동적 상태를 정확하게 반영하는 세분화된 온라인 분할을 가능하게 합니다.
3. 효율성: 이 프레임워크는 온라인 추론 및 스트리밍 배포를 지원하여 실시간 응용 분야에 적합합니다.
4. 자원 기여: GMOS-2K 와 MOS-I 프로토콜의 공개는 이동 객체와 일시적 정지 객체를 구분하는 데이터셋이 부족했던 문제를 해결하며, 시간적으로 세분화된 MOS 방법 개발을 위한 통합 자원 및 평가 기준을 제공합니다.

저자들은 GMOS 가 이전 기술보다 훨씬 빠르게 실행되면서 새로운 최첨단 성능을 설정하여, 고정밀 분할과 실시간 배포 요구 사항 사이의 간극을 효과적으로 메웠다고 결론 내립니다.