기술 요약: ViewSAM

문제 정의

본 논문은 자연어 설명으로 지정된 여러 객체를 동기화된 카메라 뷰 간에 국소화하고 추적하면서 전역적으로 일관된 신원을 유지하는 작업인 **크로스-뷰 레퍼링 멀티-오브젝트 추적 (Cross-view Referring Multi-Object Tracking, CRMOT)**을 다룹니다. 기존 CRMOT 방법들은 강력한 성능을 달성하지만, 고비용의 밀집 프레임 단위 공간 주석과 크로스-뷰 신원 대응 관계를 요구하는 완전 감독 학습 패러다임에 크게 의존합니다. 이러한 의존성은 CRMOT 의 오픈 월드 장면으로의 확장성을 저해합니다.

저자들은 **약감독 크로스-뷰 레퍼링 멀티-오브젝트 추적 (Weakly Supervised Cross-view Referring Multi-Object Tracking, WSCRMOT)**을 탐구할 것을 제안합니다. 여기서 훈련 데이터는 공간적 바운딩 박스, 크로스-뷰 ID, 또는 레퍼링 표현이 결여된 거친 객체 카테고리 레이블과 원시 멀티-뷰 비디오로만 구성됩니다. 예비 실증 연구는 SAM2 및 SAM3 와 같은 기반 모델을 이 작업에 직접 적용하는 것이 다음과 같은 이유로 실패함을 보여줍니다:

1. 의미 이해 부족: 장기 추적을 위한 복잡한 레퍼링 표현을 해석하는 데 어려움이 있습니다.
2. 추적 편향: 특히 가려짐 상황에서 텍스트 프롬프트와 부분적으로 일치하는 방해 요소 (distractors) 로 모델이 편향됩니다.
3. 신원 불일치: 외관 및 운동의 큰 변화로 인해 뷰 간 전역 신원을 유지하지 못합니다.

방법론

저자들은 기반 모델을 의사 레이블 생성기로 재사용하고, 뷰 인식 크로스-모달 시맨틱스를 학습하기 위한 새로운 아키텍처인 ViewSAM을 도입하는 2 단계 프레임워크를 제안합니다.

1 단계: 크로스-뷰 의사 레이블 생성

명시적인 공간 및 신원 레이블이 없으므로, 프레임워크는 SAM3 와 멀티모달 대규모 언어 모델 (MLLM) 을 사용하여 고품질 의사 레이블을 생성합니다.

• 친화도 기반 크로스-뷰 재프롬프팅 (Affinity-guided Cross-view Re-prompting): SAM3 는 먼저 객체 카테고리 레이블로 프롬프트되어 단일 뷰 트랙릿을 생성합니다. 그런 다음 친화도 기반 전략이 이러한 트랙릿을 뷰 간에 연관시킵니다. 이는 트랙릿 수준의 임베딩을 계산하고 앵커와 가장 높은 친화도를 가진 후보를 선택합니다. 이러한 연관성을 정제하고 가려짐이나 방해 요소로 인한 노이즈를 수정하기 위해 양방향 재프롬프팅 메커니즘이 사용됩니다. 이는 집계된 신원 프로토타입을 사용하여 SAM3 추적을 전방 및 후방 시간 방향으로 재초기화하여 정제된 크로스-뷰 단일 객체 궤적을 생성합니다.
• LLM 기반 레퍼링 수준 그룹화: 정제된 궤적은 MLLM(Qwen3-VL-8B) 에 의해 처리되어 속성 중심 설명 (색상, 옷차림 등 포착) 을 생성합니다. 유사한 의미 설명을 가진 궤적은 동일한 레퍼링 표현 아래 그룹화되어 최종 CRMOT 의사 레이블을 형성합니다.

2 단계: ViewSAM 아키텍처

ViewSAM 은 SAM2 백본을 기반으로 구축된 CRMOT 모델로, 약 10% 의 추가 학습 가능 파라미터를 통해 명시적으로 뷰 인식 크로스-모달 시맨틱스를 모델링하도록 강화되었습니다.

• 뷰 조건부 크로스-모달 정렬 (View-conditioned Cross-modal Alignment, VC-CMA): 이 모듈은 뷰에 따라 변하는 시각적 관측치와 뷰 불변의 텍스트 표현 간의 간극을 연결합니다. 이는 시각 및 텍스트 특징과 **뷰 조건부 크로스 어텐션 (View-conditioned Cross Attention, VCCA)**을 통해 상호작용하는 학습 가능한 동적 뷰 토큰을 도입합니다. 이를 통해 모델은 뷰별 사전 지식을 고려하면서 시각 및 텍스트 모달리티를 공동으로 추론하여 레퍼링 표현을 이해할 수 있습니다.
• 후보 생성기 (Candidate Generator): SAM2 를 단일 객체에서 멀티-오브젝트 추적으로 확장하는 이 모듈은 마스크 디코딩을 안내하기 위해 박스 프롬프트를 생성합니다. 이는 APTM 에서 증류되어 ID-무관 단일 뷰 의사 레이블로 훈련됩니다.
• 편향 인식 재보정 (Bias-aware Recalibration, BAR): 메모리 기반 디코딩이 방해 요소로 편향되는 추적 편향을 완화하기 위해, BAR 는 메모리 기반 예측과 메모리 없는 특징을 비교합니다. 학습 가능한 토큰이 예측 신뢰도를 평가하고, 모델은 두 예측을 적응적으로 융합하여 레퍼링 표현과 일치하는 객체에 초점을 맞춥니다.
• 일관성 기반 크로스-뷰 추적 헤드 (Consistency-guided Cross-view Tracking Head, CGCT): 이 모듈은 트랙릿 표현을 공유된 뷰 불변 공간으로 투영합니다. 이는 동적 뷰 토큰을 활용하여 특징을 조절하고, 명시적인 크로스-뷰 신원 감독 없이 카메라 간 신원 정렬을 강제하기 위해 일관성 기반 목적 함수(뷰 내 및 뷰 간 일관성 손실) 를 사용합니다.

주요 기여

1. 최초의 약감독 프레임워크: 본 논문은 밀집 주석에 대한 의존성을 크게 줄이는 최초의 WSCRMOT 프레임워크를 제안하여, 이 설정에서 향후 연구를 위한 기준선을 확립합니다.
2. 친화도 기반 재프롬프팅 전략: 크로스-뷰 친화도를 모델링하고 궤적을 반복적으로 정제하여 신뢰할 수 있는 크로스-뷰 의사 레이블을 생성하는 새로운 방법입니다.
3. ViewSAM 모델: 명시적으로 뷰 인식 크로스-모달 시맨틱스를 모델링하는 SAM2 기반 모델입니다. 약 10% 의 추가 파라미터만으로 강력한 레퍼링 이해와 일관된 크로스-뷰 추적을 달성합니다.
4. 최첨단 성능: 광범위한 실험을 통해 ViewSAM 이 약감독 하에서 최첨단 (SOTA) 성능을 달성하며, 완전 감독 방법과의 성능 격차를 크게 좁혔음을 보여줍니다.

실험 결과

이 프레임워크는 CVR-IDF1(신원 일관성) 및 CVR-MA(매칭 정확도) 지표를 사용하여 도메인 내 및 도메인 간 설정 모두에서 CRTrack 벤치마크에서 평가되었습니다.

• 약감독 성능: ViewSAM 은 SAM2 및 SAM3 를 클러스터링에 맞게 적용한 것을 포함한 다른 제로샷 및 약감독 접근법보다 상당한 차이로 우월한 성능을 보였습니다 (예: 도메인 내 평가에서 CVR-IDF1 +3.36, CVR-MA +3.55).
• 완전 감독 방법과의 비교: ViewSAM 은 CRTracker 와 같은 완전 감독 방법과 경쟁력 있는 성능을 유지했습니다. 특히 ViewSAM 의 완전 감독 변형이 성능 한계를 더욱 끌어올렸으며, 이는 뷰 인식 설계의 일반화 가능성을 확인시켜 주었습니다.
• 절차 제거 연구 (Ablation Studies): 주요 구성 요소 (VC-CMA, Candidate Generator, BAR, 또는 CGCT) 를 제거하면 성능이 크게 저하되어, 뷰 조건부 정렬, 편향 재보정, 일관성 기반 추정의 필요성을 입증했습니다.
• 의사 레이블 품질: 친화도 기반 연관 및 양방향 재프롬프팅 전략이 의사 레이블 품질을 극적으로 향상시켜 더 높은 추적 정확도로 이어짐이 입증되었습니다.

중요성 및 주장

본 논문은 밀집된 공간 또는 신원 주석 없이 고품질 추적을 달성할 수 있음을 보여줌으로써 약감독 CRMOT에 대한 견고한 기준선을 확립했다고 주장합니다. 기반 모델을 의사 레이블 생성기로 활용하고, 뷰 변이를 노이즈가 아닌 학습 가능한 조건으로 취급하는 전문 아키텍처를 도입함으로써, 이 연구는 풍부한 약레이블 데이터로부터 확장 가능한 학습을 가능하게 합니다. 저자들은 미세한 주석 수집이 prohibitively expensive(부담스럽게 비쌈) 한 다중 카메라 인식 시스템 (예: 지능형 감시, embodied AI) 에서 그들의 접근 방식이 자연스럽게 응용됨을 강조합니다. 이 작업은 연구 커뮤니티가 이를 기반으로 발전시킬 수 있도록 의도된 연구 기여로서 arXiv:2605.02638v1 프리런트로 제시되었습니다.