기술 요약: SAM 2++: 임의의 세분성으로 모든 대상 추적

1. 문제 제기

비디오 추적은 역사적으로 대상의 세분성 (granularity) 에 따라 독립적인 하위 작업으로 분열되어 왔습니다: 경계상자를 사용하는 단일 대상 추적 (SOT), 픽셀 단위 마스크를 사용하는 비디오 객체 분할 (VOS), 그리고 정밀한 키포인트를 사용하는 포인트 추적 (PT) 입니다. 이러한 작업들은 시간에 따른 대상 상태 추정을 목표로 한다는 공통점을 공유하지만, 중복된 설계와 제한된 일반화를 가진 전문화된 모델들을 초래했습니다. 기존의 통합 비전 모델들은 백본을 공유하곤 하지만 작업별 인터페이스를 유지하거나 특정 세분성 (예: 포인트 추적) 을 무시하여, 추적 상태에 대한 진정한 통합 표현을 확립하지 못했습니다. furthermore, 마스크, 상자, 포인트에 대한 동시 주석이 제공되는 데이터셋의 부재는 통합 추적 프레임워크의 학습과 평가를 방해합니다.

2. 방법론: SAM 2++

저자들은 프롬프트 인코딩, 출력 디코딩, 메모리 표현의 통합된 설계를 통해 임의의 세분성 (마스크, 상자, 포인트) 으로 대상을 추적할 수 있도록 Segment Anything Model 2(SAM 2) 를 확장한 통합 프레임워크인 **SAM 2++**를 제안합니다.

2.1 통합 작업 입력 및 출력

• 작업별 프롬프트: 일관되지 않은 입력 세분성을 처리하기 위해, 이 프레임워크는 원래 SAM 2 프롬프트 인코더를 유지하면서 특정 프롬프트를 도입합니다.
  • 마스크: 이진 마스크 ($I_{mask}$) 를 사용합니다.
  • 상자: 경계상자 좌표 ($I_{box}$) 를 사용합니다.
  • 포인트: 디코더의 출력과 메모리 인코더의 입력과 일관된 형태로 포인트를 강조하는 가우시안 마스크($G_{point}$) 와 결합된 포인트 좌표 ($I_{point}$) 를 사용합니다. 이는 더 나은 표현을 위해 단순한 이진 마스크를 대체합니다. 이 가우시안의 반경과 시그마는 수렴을 용이하게 하기 위해 학습 중에 점진적으로 감소합니다.
• 통합 디코더: SAM 2 마스크 디코더를 확장한 이 구성 요소는 모든 작업에 대해 통합된 마스크 형식의 사전 출력을 생성합니다.
  • SOT: 단순한 외곽 상자 유도에서 발생하는 부정확성을 피하기 위해, 마스크 출력으로부터 경계상자의 위치와 크기를 명시적으로 최적화하는 **코너 기반 헤드 (CornHead)**가 추가됩니다.
  • PT: 포인트 좌표는 학습 중에는 기울기 흐름을 보장하기 위해 소프트-argmax 연산을, 추론 중에는 표준 argmax를 사용하여 마스크 출력으로부터 유도됩니다. 이는 포인트 예측을 가우시안 프롬프트 및 메모리 소스와 정렬시킵니다.

2.2 작업 적응형 메모리 메커니즘

핵심 혁신은 서로 다른 추적 세분성이 고유한 메모리 요구 사항을 가진다는 관찰에 기반합니다. 메모리 모듈에서 전체 파라미터를 공유하면 성능이 저하되는데, 이는 단일 메모리 표현이 마스크의 정밀한 분할 요구, 상자의 coarse 국소화 요구, 그리고 포인트의 특정 가우시안 특성을 동시에 충족할 수 없기 때문입니다.

• 분리 (Decoupling): 이 프레임워크는 공유된 추적 파이프라인을 유지하면서 메모리 구성 요소를 분리합니다.
  • 메모리 인코더: 각 작업 (마스크, 상자, 포인트) 은 독립적인 컨볼루션 메모리 인코더 사본을 갖습니다.
  • 메모리 어텐션: 각 작업은 트랜스포머 기반 메모리 어텐션을 위한 독립적인 LoRA (Low-Rank Adaptation) 모듈을 갖습니다.
• 결과: 이 설계는 모델이 공유된 메모리 표현 구조를 유지하면서도 각 세분성의 특정 상태 의미에 적응할 수 있게 하여, 간섭을 방지하고 작업 간 상호 촉진을 가능하게 합니다.

2.3 학습 전략

이 모델은 3 가지 작업에 대해 번갈아 가며 샘플링하는 전략 (마스크:상자:포인트 확률 1:4:5) 으로 공동 학습됩니다. 학습 과정에는 다음이 포함됩니다:

• 상호작용 프롬프트: 마스크 및 상자 작업의 경우, 모델은 정답 (ground-truth) 과 노이즈가 있거나 상호작용적인 입력 (예: 노이즈가 있는 상자, 긍정적 클릭) 을 모두 지원합니다.
• 수정 프레임: 상호작용 시나리오의 경우, 모델은 거짓 양성/음성 영역에서 수정 포인트를 샘플링하여 예측을 반복적으로 정제합니다.
• 손실 함수: 마스크를 위한 Focal 및 Dice 손실의 조합, (코너 헤드를 통한) 상자를 위한 IoU 및 L1 손실, 그리고 포인트를 위한 L1 거리 손실이 사용됩니다. 가려짐 (Occlusion) 예측은 대상의 가시성과 관계없이 교차 엔트로피를 통해 감독됩니다.

3. 주요 기여

3.1 SAM 2++ 프레임워크

본 논문은 단일 아키텍처 내에서 임의의 세분성 (마스크, 상자, 포인트) 으로 대상을 추적할 수 있는 최초의 통합 프레임워크를 제안합니다. 이는 다음을 통해 달성됩니다:

• 다양한 입력을 일반 임베딩에 매핑하는 작업별 프롬프트.
• 출력을 표준화하는 통합 디코더.
• 파라미터 공유와 작업별 상태 의미 사이의 균형을 맞추는 작업 적응형 메모리 메커니즘.

3.2 Tracking-Any-Granularity (TAG) 데이터셋

통합 학습 및 평가를 지원하기 위해 저자들은 6,000 개의 비디오와 220 만 프레임을 포함하는 대규모 비디오 추적 데이터셋인 TAG를 구축했습니다.

• 주석: 동일한 비디오 시퀀스에 대해 세 가지 세분성 (분할 마스크, 경계상자, 키포인트) 에 대한 고품질 주석을 제공합니다.
• 데이터 엔진: 이 데이터셋은 수동 주석과 모델 지원 완료를 결합한 단계별 데이터 엔진을 사용하여 생성되었습니다.
  • 1 단계: 모든 프레임에 대한 수동 주석 (1,000 개 비디오).
  • 2 단계 및 3 단계: 중간 프레임을 위한 모델-인-루프 (model-in-the-loop) 완료를 위해 희소 프레임 (10 번째 및 20 번째마다) 에 대한 수동 주석과 함께, 품질을 보장하기 위해 역방향 추적 및 융합 전략을 활용합니다.
• 범위: 이 데이터셋은 다양한 장면, 해상도, 그리고 모션 블러, 가려짐, 변형과 같은 도전적인 속성을 다룹니다.

4. 실험 결과

다수의 벤치마크에 걸친 포괄적인 실험은 SAM 2++ 가 세 가지 작업 모두에서 새로운 최첨단 (SOTA) 성능을 달성함을 보여줍니다:

• 비디오 객체 분할 (VOS): YouTubeVOS, MOSE, LVOS-v2, BURST 등 벤치마크에서 XMem, DEVA, Cutie 와 같은 전문 모델들을 능가합니다.
• 단일 대상 추적 (SOT): TrackingNet, GOT-10k, VastTrack 에서 OSTrack, ARTrack, HIPTrack 과 같은 전용 추적기들을 능가합니다. 특히, SOT 에서 일반적으로 사용되는 사전 자르기 (pre-cropping) 전략 없이 종단간 통합 추적기로 이러한 성과를 달성했습니다.
• 포인트 추적: BADJA, Perception Test, TAP-Vid 에서 CoTracker3, TAPTR 과 같은 오프라인 및 수정된 온라인 추적기들을 능가합니다. 키포인트 데이터로 학습되었음에도 불구하고 임의의 포인트 추적에 대한 강력한 일반화를 보여줍니다.
• 통합 성능: 이 모델은 Unicorn, UNINEXT, MITS 와 같은 다른 통합 비전 모델들 및 이전의 통합 추적 시도 (TAG) 를 일관되게 능가하여, 작업 적응형 메모리와 통합 표현의 유효성을 검증합니다.

5. 중요성 및 주장

본 논문은 SAM 2++ 가 상이한 추적 패러다임 간의 간극을 연결하는 통합되고 견고한 추적 프레임워크를 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 통합: 서로 다른 세분성을 가진 추적 작업들이 성능을 희생하지 않고 단일 메모리 매칭 패러다임 하에 통합될 수 있음을 보여주어, 작업별 설계의 필요성에 도전합니다.
2. 일반화: 다양한 TAG 데이터셋에서 학습하고 작업 적응형 메모리를 활용함으로써, 모델은 작업 간에 일반화되는 견고한 표현을 학습하며, 종종 작업별 데이터로 학습된 전문 모델들을 능가합니다.
3. 자원 제공: TAG 데이터셋의 도입은 통합 추적에 대한 미래 연구를 위한 중요한 자원을 제공하며, 대규모 다중 세분성 벤치마크를 최초로 제공합니다.
4. 실용적 유용성: 기반 모델로서 SAM 2++ 는 추적 응용 프로그램과 자동 주석 모두를 위한 다목적 도구로 기능하며, 서로 다른 추적 세분성 간 전환 비용을 줄입니다.

저자들은 현재 버전이 언어 또는 오디오 참조를 지원하지 않으며, 분리된 메모리 파라미터가 단일 작업에 의해 감독되어 이러한 특정 구성 요소에 대한 다중 작업 학습의 이점이 제한된다는 한계를 인정합니다. 그러나 이 프레임워크는 범용 비디오 추적 기반 모델로 나아가는 중요한 걸음을 나타냅니다.