기술 요약: 강건한 멀티모달 동적 객체 분할 (Robust Multimodal Dynamic Object Segmentation)

문제 정의

동적 객체 분할(Dynamic object segmentation)은 복잡한 객체 및 카메라 움직임, 환경적 간섭, 스케일 변화가 특징인 실제 시나리오에서 움직이는 객체를 배경으로부터 정확하게 분리하는 것을 핵심 과제로 하며, 이는 정적 장면 재구성, 자율 로봇 공학, AR/VR과 같은 응용 분야의 필수 전제 조건입니다.

기존의 접근 방식은 일반적으로 두 가지 패러다임으로 나뉘며, 두 방식 모두 상당한 한계를 보입니다:

1. 2D 광학 흐름(Optical Flow) 기반 방식: 이 방식들은 픽셀 단위의 움직임을 추정하지만, 객체 경계 내에서 일관된 정적/동적 분할을 보장하는 데 자주 실패합니다. 또한, 2D 데이터에 의존하기 때문에 객체의 움직임과 카메라의 움직임을 분리하기 어렵습니다.
2. 3D 재구성 기반 방식: 이러한 방식들은 깊이 지도(depth maps) 또는 3D 포인트 클라우드로부터 동적 마스크를 도출합니다. 그러나 이들은 재구성 오류(예: 깊이 추정 부정확성)에 매우 민감하며, 동적 객체가 에피폴라 제약(epipolar constraints)을 위반할 경우 신뢰할 수 없는 결과를 생성할 수 있습니다.

또한, 현재의 최첨단(SOTA) 방법들은 종종 Segment Anything Model(SAM)을 이용한 후처리 과정에 의존합니다. 이러한 구현 방식의 흔한 결함은 전체 동적 마스크를 SAM의 단일 쿼리로 취급하여, 마스킹된 모든 픽셀이 하나의 객체에 속한다고 가정한다는 점입니다. 이러한 가정은 여러 개의 움직이는 객체가 존재하는 실제 시나리오에서 자주 실패하며, 결과적으로 불완전하거나 잘못된 분할을 초래합니다.

방법론

저자들은 정밀하고 완전한 동적 마스크를 생성하기 위해 2D 포인트 트래킹, 3D 재구성, 그리고 시맨틱 정보를 포함하는 멀티모달 단서(multimodal cues)를 통합하는 통합 프레임워크를 제안합니다. 아키텍처는 세 가지 주요 단계로 구성됩니다:

1. 멀티모달 특징 추출 (Multimodal Feature Extraction)

시스템은 동적 비디오 클립을 입력받아 세 가지 유형의 서로 다른 특징을 추출합니다:

• 3D 재구성: MonST3R를 활용하여 프레임당 깊이 지도, 카메라 내부/외부 파라미터, 그리고 어텐션 맵(attention maps)을 생성합니다. ViT 디코더에서 유도된 어텐션 맵은 동적 객체를 식별하는 데 유용한 단서를 제공합니다.
• 2D 트래킹: CoTracker를 사용하여 첫 번째 프레임에서 2D 포인트를 샘플링하고 비디오 시퀀스 전체에서 이들의 궤적을 추적합니다.
• 시맨틱 정보: SAMv2를 사용하여 프레임당 시맨틱 특징 맵을 추출합니다.

2. 궤적 분류를 통한 동적 마스크 추정 (Dynamic Mask Estimation via Trajectory Classification)

이 방법은 프레임 단위로 처리하는 대신, 입력 특징을 **포인트 기반 궤적(point-based trajectories)**으로 변환합니다. 각 트랙 $k$에 대해 시스템은 다음을 결합하여 특징 벡터 $F_{traj}$를 구성합니다:

• 2D 픽셀 위치 및 오프셋($\Delta x$).
• 깊이 값 및 오프셋($\Delta d$).
• 카메라 파라미터 (초점 거리, 프레임 간 변환 행렬).
• 보간된 어텐션 값 및 시맨틱 특징.

분류 파이프라인은 다음과 같습니다:

• 시맨틱 클러스터링: 포인트 기반 모듈($\Phi_{sem}$)은 미분 가능한 풀링과 CNN을 사용하여 시맨틱 특징을 클러스터링하며, 클러스터 내의 전역적 문맥을 포착하고 지역적 특징을 정교화합니다.
• 트랜스포머 통합: 기하학적 궤적 특징($F_{traj}$)과 정교화된 시맨틱 특징이 결합되어 트랜스포머 인코더에 입력됩니다. 이를 통해 모델은 개별 궤적 내에서의 상호작용뿐만 아니라 전체 궤적 집합 간의 상호작용을 학습할 수 있습니다.
• 집계 및 분류: 디코더 집계 네트워크는 이러한 특징들을 추가로 클러스터링하고 융합하여 움직임 신뢰도 점수를 출력합니다. 시그모이드 함수는 각 궤적에 대한 최종 정적/동적 분류를 결정합니다.

3. 포인트 쿼리 기반 SAM 후처리 (Point-Query-Based SAM Post-Processing)

표준 SAM 후처리의 단일 객체 가정 문제를 해결하기 위해, 저자들은 반복적 포인트 쿼리 전략을 도입합니다:

1. 코스 마스크(coarse mask)에서 동적으로 레이블링된 모든 픽셀은 집합 $X_{dyn}$을 형성합니다.
2. 시스템은 $X_{dyn}$에서 단일 픽셀 $x$를 무작위로 샘플링하여 SAM을 위한 포인트 쿼리로 사용합니다.
3. 생성된 마스크 $M_x$는 중첩 비율(overlap ratio)과 픽셀 수를 기준으로 코스 마스크와 비교 평가됩니다.
4. 유효한 경우, $M_x$는 최종 출력에 추가되고, 해당 마스크를 구성하는 픽셀들은 $X_{dyn}$에서 제거됩니다.
5. 이 과정은 $X_{dyn}$이 비워질 때까지 반복되며, 이를 통해 단일 초기 마스크 내의 여러 객체를 효과적으로 처리합니다.

주요 기여 (Key Contributions)

본 논문은 세 가지 주요 기여를 설명합니다:

1. 멀티모달 통합 프레임워크: 2D 포인트 트래킹, 3D 재구성(깊이 및 카메라 포즈), 그리고 시맨틱 정보를 통합하는 새로운 네트워크입니다. 이러한 통합을 통해 모델은 장면 특성에 따라 어떤 특징 모달리티가 지배적이어야 하는지를 적응적으로 결정할 수 있으며, 특징 저하(예: 불량한 광학 흐름 또는 깊이 추정)의 영향을 완화합니다.
2. 포인트 쿼리 기반 SAM 정교화: 전체 마스크가 아닌 개별 픽셀을 쿼리로 취급하는 새로운 후처리 방법론입니다. 이는 여러 움직이는 객체가 있는 복잡한 시나리오에서 성능을 크게 향향시키며, 기존의 마스크 기반 SAM 접근 방식의 한계를 극복합니다.
3. 포괄적 검증: 동적 객체 분할 정확도와 정적 장면 재구성 품질 모두에서 최첨단(SOTA) 성능을 입증하는 광범위한 실험을 수행했습니다.

실험 결과

방법론은 세 가지 데이터셋인 PointOdyssey(합성), DAVIS2017(실제), Sintel(합성, 고도로 동적인 환경)에서 평가되었습니다.

• 분할 정확도: PointOdyssey에서 제안된 방법은 **93.70%**의 정확도와 **81.42%**의 재현율(recall)을 달 기록하며, DAS3R(92.22% Acc) 및 Easi3R(88.17% Acc)과 같은 SOTA 베이스라인을 능가했습니다. DAVIS2017에서 SAM 정교화를 적용한 방법은 **94.01%**의 정확도와 **93.14%**의 재현율에 도달하여, 실제 장면에 대한 우수한 일반화 능력을 보여주었습니다.
• 정적 장면 재구성: 3D 가우시안 스플래팅(3DGS)과 결$합하여 정적 장면을 재구성했을 때, 이 방법은 DAVIS2017 DAS3R 분할에서 가장 높은 PSNR(30.60)과 SSIM(0.933)을 달성하였으며, 이는 MonST3R, Easi3R, DAS3R을 앞서는 수치입니다.
• 효율성: 제안된 모델은 파라미터 수가 2.8M에 불-과하며, 클립당 추론 시간이 0.28초로, 수억 개의 파라미터와 수십 초의 시간이 소요되는 MonST3R 및 DAS3R과 같은 방법들에 비해 현저히 효율적입니다.

의의 및 주장

저자들은 자신들의 프레임워크가 기하학적(3D), 움직임(2D 트래킹), 시맨틱 데이터를 활용함으로써 단일 모달 단서에 의존하는 근본적인 한계를 해결한다고 주장합니다. 특징 궤적을 명시적으로 모델링하고 견고한 포인트 쿼리 후처리 단계를 도입함으로써, 이 방법은 기존 방법들이 갖지 못한 정밀도와 완전성 사이의 균형을 달성합니다.

본 논문은 방법론이 다양한 벤치마크에서 강력한 성능을 보이지만, 동적 객체가 이미지 프레임을 지배하는 시나리오에서는 여전히 과제에 직면해 있음을 겸허히 인정합니다. 저자들은 더 다양한 학습 데이터와 강화된 모델 정교화를 통해 이러한 한계를 해결하는 것을 향후 연구의 핵심 과제로 식별하였습니다. 본 연구는 심천 과학기술 프로그램(Shenzhen Science and Technology Program)의 지원을 받았습니다.