상황: 카메라가 물체 가까이로 다가갔을 때는 잘 따라가지만, 갑자기 카메라가 뒤로 물러나거나 옆으로 돌아서 물체가 작아지거나 모양이 바뀌면 **"아, 이거 빨간 공이 아니야!"**라고 착각하고 추적기를 놓쳐버립니다.
결과: 물체가 잠시 가려지거나 시점이 바뀌면 추적기가 "어디 갔지?" 하고 헤매게 됩니다.
기존의 3D 추적기:
비유: "정밀한 건축 도면과 나침반을 들고 있는 건축가"입니다.
상황: 물체의 3 차원 위치를 정확히 알면 추적은 완벽합니다. 하지만 이 방법은 **카메라의 정확한 위치 데이터 (GPS 같은 것) 와 깊이 정보 (거리 측정기)**가 필수입니다.
문제: 우리가 찍는 일상적인 동영상이나 사진에는 이런 정밀한 데이터가 없습니다. 마치 "지도도 없이, 나침반도 없이, 그냥 눈으로만 길을 찾아야 하는데 건축가처럼 정밀하게 하라"는 것과 비슷해서, 실제 적용하기가 매우 어렵고 비쌉니다.
2. 3AM 은 어떻게 해결하나요? (핵심 아이디어)
3AM 은 "2D 추적기의 눈"과 "3D 추적기의 공간 감각"을 합친 하이브리드입니다.
비유: "눈이 좋은 사람"에게 **"마법 같은 3D 안경"**을 끼워준 것입니다.
어떻게 작동하나요?
MUSt3R(무스 3R) 이라는 3D 전문가: 이 기술은 여러 각도에서 찍은 사진들을 보고 "아, 이 물체는 3 차원 공간에서 저기에 있구나"라고 추측하는 능력을 가지고 있습니다. 하지만 3AM 은 이 전문가에게 직접 3D 지도를 그리게 하지 않고, **그의 '느낌' (특징)**만 가져옵니다.
SAM2(샘 2) 라는 2D 추적기: 이 친구는 물체의 색깔이나 모양을 잘 기억합니다.
Feature Merger(특징 합치기): 3AM 은 이 두 친구를 만나게 합니다. "SAM2 야, 너는 모양을 보고 따라가지만, MUSt3R 의 '공간 감각'을 조금 빌려줘. 카메라가 돌아도 물체가 어디에 있는지 3 차원적으로 기억하게 해."라고 시킵니다.
3. 훈련 방법의 비밀 (FOV 샘플링)
이 모델을 가르칠 때 중요한 전략이 하나 있습니다.
문제: 만약 "소파"라는 물체를 가르칠 때, 한 장에는 소파의 왼쪽 끝을 찍고, 다음 장에는 오른쪽 끝을 찍어서 "이게 같은 소파야"라고 가르치면, AI 는 혼란스러워합니다. (3 차원 공간에서 너무 멀리 떨어진 두 점을 같은 것으로 인식하게 되니까요.)
3AM 의 해결책 (시야각 샘플링):
비유: "소파를 가르칠 때는 소파의 중심부가 두 사진 모두에 잘 보이도록 사진을 골라라."
카메라가 소파를 바라보는 각도가 너무 극단적으로 달라서 소파의 다른 부분을 보고 있다면, 그 사진은 훈련에서 제외합니다. 이렇게 하면 AI 가 **"물체의 3 차원 위치가 겹치는 부분"**을 통해 학습하게 되어, 훨씬 더 정확하게 추적할 수 있게 됩니다.
4. 동적인 물체도 처리할 수 있나요? (Fallback 기능)
만약 물체가 너무 빠르게 움직이거나 모양이 변하면 (예: 사람이 뛰어다니거나 공이 튀는 경우), 3 차원 공간 감각이 오히려 방해가 될 수 있습니다.
3AM 의 전략: "이건 너무 빠르게 움직이네? 3D 안경을 벗고 원래 눈 (기존 SAM2) 으로만 따라가자!"
비유: 운전할 때 차가 너무 빠르게 움직이면 GPS(3D 정보) 보다는 운전자의 직관 (2D 정보) 이 더 나을 때가 있죠. 3AM 은 상황을 판단해서 자동으로 3D 모드와 기존 모드를 오갑니다.
5. 요약: 3AM 의 장점
카메라 데이터 불필요: 카메라의 정확한 위치나 깊이 정보가 없어도, 그냥 비디오 파일 하나만 있으면 됩니다. (일상적인 카메라, 드론, VR 등 어디서나 사용 가능)
시각 변화에 강함: 카메라가 크게 돌아도, 물체가 가려졌다가 다시 나타나도 **"아, 이거 내가 찾던 그 물체야!"**라고 정확히 알아냅니다.
성능: 기존 최고 기술 (SAM2 등) 보다 약 15~30% 더 정확합니다. 특히 물체가 다시 나타나는 상황 (재출현) 에서 압도적인 성능을 보입니다.
결론
3AM은 "비디오 속 물체를 추적할 때, 카메라가 돌아도 물체의 3 차원 위치를 기억해서 절대 잃어버리지 않는 기술"입니다. 마치 비디오 편집 프로그램에서 물체를 클릭하면, 카메라가 360 도 돌아도 그 물체가 어디 있는지 자동으로 따라다니는 마법 같은 기능을 구현한 것입니다. 이제 복잡한 3D 데이터 준비 없이도, 우리가 찍은 일상적인 영상에서도 정교한 객체 추적이 가능해진 것입니다.
1. 문제 정의 (Problem)
비디오 객체 분할 (Video Object Segmentation, VOS) 은 비디오 시퀀스 전반에 걸쳐 일관된 마스크로 대상 객체를 식별하고 추적하는 작업입니다. 기존 방법론들은 다음과 같은 한계를 가지고 있습니다.
2D 기반 방법 (예: SAM2): 메모리 기반 아키텍처를 사용하여 효율적이지만, 주로 외관 (appearance) 특징에 의존합니다. 카메라 시점이 급격히 변하거나 (large viewpoint changes), 객체가 가려졌다가 다시 나타날 때 (occlusion/re-appearance) 객체 식별을 실패하거나 마스크가 드리프트하는 문제가 발생합니다.
3D 기반 방법 (예: Mask3D, SAM3D): 3D 일관성을 확보하지만, 카메라 포즈 (pose), 깊이 맵 (depth maps), 3D 재구성 파이프라인 등 고비용의 전처리와 명시적인 3D 입력을 필요로 합니다. 이는 실시간 애플리케이션이나 카메라 포즈가 없는 일반적인 비디오에는 적용하기 어렵습니다.
핵심 문제: 카메라 포즈나 3D 지상 진실 (Ground Truth) 없이도, RGB 입력만으로 시점 변화에 강인한 (viewpoint-robust) 3D 일관성을 가진 객체 추적을 가능하게 하는 방법은 무엇인가?
2. 방법론 (Methodology)
저자들은 3AM을 제안하며, 이는 SAM2 의 외관 특징과 MUSt3R 의 3D 기하학적 특징을 융합하여 학습 시간 (training-time) 에만 3D 정보를 활용하고 추론 (inference) 시에는 RGB 만으로 작동하는 경량화된 프레임워크입니다.
2.1 아키텍처 (Architecture)
이중 특징 스트림 (Dual Feature Streams):
SAM2 Vision Encoder: 프레임의 외관 특징 (2D appearance features) 을 추출합니다.
MUSt3R: 멀티뷰 일관성 (multi-view consistency) 을 학습한 3D 재구성 모델로, 프레임의 기하학적 특징 (geometry-aware features) 을 추출합니다. MUSt3R 은 명시적인 3D 좌표를 출력하지 않고도 특징 공간에서 3D 대응 관계를 인코딩합니다.
특징 융합기 (Feature Merger):
SAM2 의 2D 특징과 MUSt3R 의 다중 레벨 (multi-level) 3D 특징을 융합합니다.
크로스 어텐션 (Cross-Attention): MUSt3R 의 얕은 층 (시맨틱 정보 풍부) 과 깊은 층 (기하학적 구조 풍부) 에서 샘플링된 특징들을 순차적으로 통합하여 기하학적 대응 관계를 정제합니다.
합성곱 (Convolutional Refinement): 융합된 특징에 SAM2 의 2D 특징을 다시 결합하여 세밀한 공간적 디테일을 복원합니다.
결과적으로 생성된 **기하학적 일관성이 있는 특징 (Geometry-consistent features)**은 메모리 어텐션 모듈을 통해 프레임 간 객체 식별에 활용됩니다.
2.2 시야각 인식 샘플링 전략 (Field-of-View Aware Sampling)
학습 과정에서 객체의 3D 위치 일관성을 효과적으로 학습하기 위해 새로운 샘플링 전략을 도입했습니다.
문제점: 무작위 샘플링은 동일한 객체라도 공간적으로 멀리 떨어진 부분 (예: 소파의 좌측과 우측) 을 포함할 수 있어, 3D 위치 일관성 학습을 방해합니다.
해결책: 기준 프레임 (reference frame) 의 카메라 프러스텀 (frustum) 내에 후보 프레임의 객체 마스크가 투영된 3D 점들이 일정 비율 이상 포함되는 경우에만 해당 프레임을 학습 데이터로 선택합니다. 이는 객체의 물리적 영역이 겹치는 시점들만 학습하게 하여 기하학적 일관성을 강화합니다.
2.3 동적 객체 폴백 (Dynamic Object Fallback)
기하학적 일관성에 의존하는 3AM 은 객체 자체가 변형되거나 급격히 움직이는 경우 실패할 수 있습니다. 이를 해결하기 위해:
객체의 운동량을 감지하여, 동적인 객체가 감지되면 원래의 SAM2 파이프라인으로 자동 전환 (fallback) 하는 메커니즘을 도입했습니다.
이는 시퀀스 단위 (sequence-level) 로 결정되며, 메모리 뱅크의 일관성을 해치지 않도록 설계되었습니다.
3. 주요 기여 (Key Contributions)
2D 추적과 3D 일관성 간의 간극 해소: 2D 외관 특징만으로는 시점 변화에 취약하고, 기존 3D 방법은 입력 요구사항이 무겁다는 문제를 해결했습니다. 3AM 은 추론 시 3D 입력 없이도 3D 일관성을 달성합니다.
3D 인식 특징 통합 프레임워크: MUSt3R 의 기하학적 특징과 SAM2 의 외관 특징을 융합하는 경량화 된 Feature Merger 와, 3D 대응 관계 학습을 위한 시야각 인식 (FOV-aware) 학습 전략을 제안했습니다.
범용성 및 성능: 강성 (rigid) 객체와 비강성 (non-rigid) 객체 모두에 적응 가능한 프레임워크를 제공하며, 기존 VOS 방법론보다 월등한 성능을 입증했습니다.
4. 실험 결과 (Results)
저자들은 ScanNet++, Replica 와 같은 광시야각 (wide-baseline) 운동이 포함된 데이터셋에서 3AM 을 평가했습니다.
ScanNet++ (Selected Subset):
IoU: 90.6% (SAM2Long 대비 +15.9%p 향상)
Tracking Recall: 71.7% (SAM2Long 대비 +30.4%p 향상)
객체가 사라졌다가 다시 나타나는 (re-appearance) 상황과 큰 시점 변화에서 가장 뛰어난 성능을 보였습니다.
Replica 데이터셋:
IoU 81.19%, Tracking Recall 63.81%로 SAM2 및 SAM2Long, DAM4SAM 을 모두 상회했습니다.
3D 인스턴스 분할 (3D Instance Segmentation):
ScanNet200 에서 3D 지상 진실 없이도 3AM 을 통해 2D 마스크를 3D 로 투영하여 인스턴스 분할을 수행한 결과, AP 47.3 을 기록하며 온라인 (online) 방법 중 최고 성능을 달성했습니다.
비교: SegMASt3R 과 같은 2-view 매칭 방법보다도 3AM 이 2-view 매칭 제한 조건에서도 더 높은 성능을 보였습니다.
5. 의의 및 결론 (Significance & Conclusion)
실용성: 카메라 포즈, 깊이 센서, 3D 재구성 등 복잡한 전처리 없이 **RGB 비디오와 사용자 프롬프트 (점, 박스, 마스크)**만으로 강력한 3D 일관성 추적이 가능합니다. 이는 로봇 공학, 증강현실 (AR), 자율주행 등 실시간 응용 분야에 매우 중요합니다.
패러다임 전환: 3D 일관성을 얻기 위해 명시적인 3D 모델링이 필수적이라는 기존 관념을 깨고, 2D 비디오 데이터에서 3D 기하학적 일관성을 학습할 수 있음을 증명했습니다.
효율성: 학습 시에만 3D 정보를 활용하고 추론 시에는 경량화된 2D 프레임워크를 유지하여, 기존 SAM2 기반 방법들의 효율성을 유지하면서 성능을 획기적으로 개선했습니다.
요약하자면, 3AM은 비디오 객체 분할 분야에서 "시점 변화에 강인한 3D 일관성"과 "실시간 추론의 효율성"을 동시에 달성한 획기적인 모델입니다.