💻 computer science

SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking

SENTRY는 SAM2 기반 시각적 트래커를 강화하기 위해 신뢰도 중심의 메모리 업데이트를 이웃 인지적이고 순환 일관된 검증으로 대체함으로써, 재학습 없이도 드리프트를 방지하고 여러 벤치마크에서 새로운 최첨단 성능을 달구하는 학습이 필요 없는 플러그 앤 플레이 모듈이다.

원저자: Mohamad Alansari, Yonathan Michael, Hasan AlMarzouqi, Muzammal Naseer, Naoufel Werghi, Sajid Javed

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohamad Alansari, Yonathan Michael, Hasan AlMarzouqi, Muzammal Naseer, Naoufel Werghi, Sajid Javed

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "과하게 자신만만한" 추적기

당신이 북적이고 혼란스러운 콘서트장에서 특정 친구를 따라가고 있다고 상mid해보세요. 당신은 1초마다 친구의 사진을 찍는 카메라를 가지고 있습니다.

현재의 최첨단 기술(SAM2라고 불리는)은 매우 똑똑하지만 약간 과하게 자신만만한 사진가와 같습니다. 사진을 찍을 때마다 그는 이미지를 보고 이렇게 말합니다. "저기 있는 흐릿한 덩어리가 네 친구일 확률이 99%야!" 그리고는 다음 초에 친구를 더 잘 찾기 위해 그 추측을 즉시 자신의 "메모리 로그"에 기록합니다.

문제점:
때때로 친구가 키 큰 사람에 의해 가려지거나(폐쇄), 매우 빠르게 뛰거나(급격한 움직임), 혹은 친구와 똑같이 생긴 사람 옆에 서 있을 때(방해 요소)가 있습니다. 이런 순간에 사진가는 혼란에 빠집니다. 그는 실수로 낯선 사람의 흐릿한 덩어리를 붙잡고는, *"저게 네 친구야!"*라고 메모리 로그에 적어버릴 수 있습니다.

일단 잘못된 추측이 메모리 로그에 들어가면, 추적기는 고착됩니다. 친구 대신 낯선 사람을 따라가기 시작하는 것이죠. 이를 **"드리프트(drift, 표류)"**라고 합니다. 이 논문은 이러한 현상이 발생하는 주요 원인이 시스템이 자신의 추측이 시간이 지남에 따라 타당한지 재확인하지 않고, 자신의 "신뢰도 점수"를 너무 믿어버리기 때문이라고 주장합니다.

해결책: SENTRY (The "Fact-Checker")

저자들은 SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory의 약자인 SENTRY를 소개합니다.

SENTRY를 사진가와 메모리 로그 사이에 서 있는 엄격한 팩트 체크 전문가 또는 보안 요원이라고 생각해보세요. 그의 역할은 사진을 찍는 것이 아니라, 사진이 파일로 저장되기 전에 검토하는 것입니다.

SENTRY가 작동하는 방식은 다음과 같습니다.

1. 옵션 수집 (The "Hypothesis Pool")

사진가의 단 하나의 "최선의 추측"만을 가져가는 대신, SENTRY는 *"잠깐, 몇 가지 가능성을 살펴보자"*라고 말합니다.

사진가의 상위 추측들을 모읍니다.
또한 이미지에서 다른 잠재적 후보들(예: 다른 각도에서 보기)을 함께 가져옵니다.
심지어 백업 플랜도 있습니다. 만약 카메라가 완전히 보이지 않는 상황이라면, 친구의 마지막 알려진 속도와 방향을 바탕으로 친구가 있어야 할 위치를 추측하는 간단한 물리 계산기(칼만 필터)를 사용합니다.

2. "시간 여행" 테스트 (Backtracking)

이 부분이 영리한 부분입니다. SENTRY는 어떤 추측이라도 메모리 로그에 넣기 전에 시뮬레이션을 실행합니다.

하나의 후보 추측(예: "저 덩어리가 정말 친구인가?")을 가져와서 시스템에 비디오를 몇 초 전으로 되감기 하라고 요청합니다.
그리고 그 특정 덩어리를 시간을 거슬러 올라가며 추적해 봅니다.
논리: 만약 그 덩어리가 진짜 친구라면, 몇 초 전에도 논리적인 위치에 있었을 것이고 매끄러운 경로를 따라 움직였을 것입니다. 만약 그 덩어가 제멋대로 튀거나 사라진다면, 그것은 가짜입니다.

3. "군중 확인" (Neighbor Awareness)

SENTRY는 또한 친구 근처에 있는 사람들(이웃/방해 요소)도 계속 주시합니다.

만약 어떤 후보 덩어리가 군중 속의 낯선 사람과 똑같이 움직이기 시작하면, SENTRY는 이를 경고합니다.
SENTRY는 선택된 덩어리가 낯선 사람이 아닌, 친구의 최근 이력과 동기화되어 움직이고 있는지 확인하기 위해 매칭 시스템(댄스 파트너 확인과 같은)을 사용합니다.

4. 최종 결정

"시간 여행 테스트"와 "군중 확인"을 모두 통과한 후보만이 메모리 로그에 기록됩니다. 만약 적절한 것이 없다면, SENTRY는 맹목적으로 추측하는 대신 단순한 물리 백업 플랜을 사용합니다.

이것이 왜 중요한가 (결과)

이 논문은 이 "팩트 체크" 기능을 9가지 서로 다른 비디오 데이터셋(짧은 클립부터 매우 길고 어려운 시퀀스까지)에 걸쳐 5가지 버전의 추적 시스템에 테스트했습니다.

재학습 불필요: SENTRY는 "플러그 앤 플레이(plug-and-play)" 모듈입니다. AI에게 보는 법을 다시 가르칠 필요 없이, 기존 시스템에 이 팩트 체크 모듈을 추가하기만 하면 됩니다.
더 나은 정확도: 잘못된 추측이 메모리에 들어가는 것을 막음으로써, 추적기의 드리프트 현상을 멈췄습니다. 사람들이 가려지거나, 빠르게 움직이거나, 닮은 꼴에 둘러싸여 있을 때도 목표를 놓치지 않고 유지했습니다.
새로운 기록: SENTRY를 탑재한 시스템은 여러 주요 추적 벤치마크에서 새로운 "SOTA(State-of-the-Art, 최고 수준)" 기록을 세웠으며, 이는 현재 객체를 놓치지 않고 따라가는 데 있어 가장 뛰어난 성능을 가졌음을 의미합니다.
충분한 속도: 이러한 추가적인 검사 과정에도 불구하고, 시스템은 여전히 실시간 사용이 가능할 정도로 빠르게 작동합니다(강력한 컴퓨터에서 초당 약 33프레임). 이는 라이브 비디오 애플리케이션에 충분한 속도입니다.

요약 비유

기존 방식: 시험을 볼 때 첫 번째로 "맞다"고 느껴지는 답을 바로 적어 내려가며, 자신의 답을 절대 검토하지 않는 학생. 만약 하나라도 틀리면, 그 오류를 바탕으로 계속해서 실수를 저지르게 됩니다.
SENTRY 방식: 몇 가지 가능한 답을 적어둔 뒤, 어떤 것이 사실에 부합하는지 교과서를 통해 확인하고(시간 되감기), 최종 답안을 제출하기 전에 스터디 버디(이웃 확인)에게 확인을 받는 학생.

이 논문은 이처럼 "쓰기 전에 확인하는" 간단한 단계를 추가함으로써, 완전히 새로운 시스템을 처음부터 만들 필요 없이 시각적 추적기를 훨씬 더 신뢰할 수 있게 만들 수 있다는 결론을 내립니다.

기술 요약: SENTRY

문제 정의
메모리 아키텍처, 특히 Segment Anything Model 2(SAM2)를 활용하는 메모리 기반의 시각적 객체 추적(VOT) 시스템은 시간적 일관성(temporal coherence)을 유지하는 데 강력한 능력을 입증해 왔습니다. 그러나 저자들은 기존 SAM2 기반 트래커에서 발생하는 결정적인 실패 모드를 식별했습니다: 바로 **신뢰도 기반의 마스크 선택(confidence-only mask selection)**입니다. 표준 SAM2 작동 방식에서는 예측된 IoU(Intersection over Union)가 가장 높은 마스크를 선택하여 메모리 뱅크에 기록하며, 이 과정에서 단기적인 시간적 일관성을 검증하지 않습니다.

본 논문은 까다로운 조건—구체적으로 폐쇄(occlusion), 급격한 비선형 운동, 그리고 방해 요소(distractor)의 존재—하에서 높은 신뢰도 점수가 신뢰할 수 없다는 점을 지적합니다. 오직 순간적인 신뢰도에만 의존하여 마스크를 선택하면 메모리 뱅크에 잘못된 항목이 입력되게 되며, 이는 결과적으로 오류를 전파하고 **드리프트(drift, 대상의 정체성 상실)**를 유발합니다. 기존의 확장 방식들은 모션 필터링이나 방해 요소 체크를 통해 이를 완화하려고 시도하지만, 복잡한 장면이나 비선형 궤적 하에서는 실패하는 휴리스틱에 의존하는 경우가 많으며, 메모리 업데이트를 확정하기 전에 시간적 일관성을 체계적으로 검증하지 못합니다.

방법론: SENTRY
이를 해결하기 위해 저자들은 SENTRY(SAM2-Enhanced Neighbor-Aware and Temporally Reasoned memorY)를 제안합니다. 이는 학습이 필요 없는(training-free) 플러그 앤 플레이(plug-and-play) 모듈로, '쓰기 전 정제(refine-before-write)' 메커니즘으로서 작동합니다. SENTRY는 기본 트래커의 백본 아키텍처나 메모리 구조를 수정하지 않고, 대신 메모리 업데이트 결정 프로세스를 가로챕니다.

SENTRY의 핵심 워크플로우는 세 단계로 구성됩니다:

후보 마스크 생성 (Candidate Mask Generation):
단일 디코더 출력에 의존하는 대신, SENTRY는 프레임당 다양한 가설 집합을 수집합니다:
- 디코더 가설 (Decoder Hypotheses): IoU 및 폐쇄 점수에 의해 필터링된 SAM2 디코더의 세 가지 후보 마스크.
- AMG 제안 (AMG Proposals): 관련성을 보장하기 위해 첫 번째 프레임 템플릿과의 코사인 유사도로 필터링된, 대상 불가지론적(target-agnostic) 제안들(Automatic Mask Generation, AMG로부터 추출).
- 칼만 사전 정보 (Kalman Prior): 외형 정보가 실패하는 심각한 폐쇄 상황에서 주로 사용되는, 등가속도 칼만 필터로부터 유도된 모션 전용 폴백(fallback) 마스크.
- 필터링 (Filtration): 중복된 가설들을 바운딩 박스 공간에서의 Soft-NMS를 사용하여 억제함으로써, 압축되고 다양한 후보 집합을 생성합니다.
이웃 인지 순환 일관성 추론 (Neighbor-Aware Cycle-Consistent Reasoning):
각 후보 마스크는 메모리에 기록되기 전, 단기적인 시간적 타당성을 평가받습니다:
- 역방향 전파 (Backward Propagation): 각 후보는 이전 $\tau$ 프레임(기본값 $\tau=10$ )을 재분할(re-segment)하기 위한 프롬프트로 사용되어 역방향 트랙렛(backward tracklet)을 생성합니다.
- 이웃 트랙렛 풀 (Neighbor Tracklet Pool): SENTRY는 최근의 방해 요소(이전 단계에서 타당했으나 선택되지 않은 마스크들)를 나타내는 "이웃" 트랙렛 풀을 유지합니다.
- 순환 일관성 매칭 (Cycle-Consistent Matching): 후보들의 역방향 트랙렛은 순방향으로 정렬된 타겟 궤적 및 이웃 트랙렛들과 비교됩니다. 이 과정에서 이분 매칭 알고리즘(헝가리안 알고리즘)을 사용하여, 궤적이 방해 요소와 일치하는 후보에는 페널티를 부여하고, 타겟의 최근 운동과 순환 일관성을 유지하는 후보에는 가산점을 부여합니다.
메모리 업데이트 (Memory Update):
시간적 일관성 점수(타겟 궤적과의 유사도)가 가장 높은 후보가 선택됩니다. 만약 어떤 후보도 신뢰도 임계값을 충족하지 못하면, 시스템은 칼만 사전 정보(Kalman prior)로 폴백합니다. 선택된 마스크는 표준적인 신뢰도 기반 선택을 대체하여 메모리 뱅크에 기록됩니다.

주요 기여

쓰기 전 정제 메커니즘 (Refine-Before-Write Mechanism): SAM2 기반 트래커에서 모든 메모리 업데이트 전에 단기적 시간적 일관성을 강제하는, 학습이 필요 없는 모듈인 SENTRY를 도입했습니다. 이는 패러다임을 "신뢰도 기반 선택"에서 "일관성 검증 기반 승인"으로 전환합니다.
통합 전 스케일 평가 (Unified All-Scale Evaluation): 본 논문은 다섯 가지 오픈 소스 SAM2 기반 트래커(SAM2, SAMURAI, DAM4SAM, SAMITE, HiM2SAM)를 네 가지 모델 규모(T, S, B, L)와 아홉 가지 벤치마크에 걸쳐 종합적이고 재현 가능한 방식으로 재평가한 최초의 연구입니다. 이는 기존 보고의 공백을 메우고 일관된 베이스라인을 구축합니다.
제로샷 SOTA 성능 (Zero-Shot SOTA Performance): SENTRY의 통합은 기본 모델을 재학습시키지 않고도 여러 벤치마크에서 새로운 최첨단(SOTA) 제로샷 결과를 달rag합니다.

실험 결과
SENTRY는 다섯 가지 베이스라인에 통합되어 아홉 가지 데이터셋(LaSOT, LaSOText, TNL2K, GOT-10k, TrackingNet, VOT20, VOT22, VOTS24, DiDi)에서 평가되었습니다.

성능 향상: SENTRY는 모든 규모와 데이터셋에서 일관된 개선을 보여줍니다.
- LaSOT: SENTRY-D4S(DAM4SAM에 적용된 SENTRY)는 베이스라인 대비 성공도(Success, S)에서 1.6%, 정규화된 정밀도(Normalized Precision, NP)에서 1.7%의 이득을 얻었습니다.
- LaSOText: SENTRY-D4S는 S에서 1.5%, P에서 2.2%를 개선하며 새로운 SOTA를 기록했습니다.
- TNL2K: SENTRY-SR(SAMURAI에 적용된 SENTRY)은 가장 극적인 개선을 보였는데, 이는 SAMURAI의 선형 칼만 필터가 실패하는 비선형 운동을 SENTRY가 효과적으로 처리했기 때문이며, 성공도에서 17.8%의 이득을 얻었습니다.
- VOT/DiDi: SENTRY 변형 모델들은 VOT20, VOT22, VOTS24, DiDi에서 새로운 SOTA 점수를 달성했으며, 드리트로 인한 리셋 이벤트를 줄임으로써 강건성(Robustness, Rob)과 정확도(Accuracy, Acc)를 크게 향상시켰습니다.
효율성: 추가적인 추론 단계에도 불구하고, SENTRY는 실시간 성능을 유지합니다. NVIDIA A100 GPU에서 SENTRY가 적용된 SAM2-L 버전은 32.8 FPS로 동작하며(베이스라인의 44.0 FPS 대비), 약 25%의 오버헤드만을 발생시킵니다. 메모리 점유율은 VRAM 기준 0.4~0.6 GB만 증가합니다.
절제 연구 (Ablation Studies): 저자들은 각 구성 요소(디코더 가설, AMG 제안, Soft-NMS, 칼만 사전 정보, 이웃 풀)가 성능에 점진적으로 기여함을 입증했습니다. 특히 이웃 풀은 방해 요소와 일치하는 궤적에 페널티를 부여함으로써 복잡한 장면에서 드리프트를 방지하는 데 결정적인 역할을 하는 것으로 나타났습니다.

의의 및 주장
본 논문은 SENTRY가 쓰기 인터페이스에서 시간적 타당성을 강제함으로써 메모리 증강 추적의 드리프트 문제를 해결하는 통합 솔루션을 제공한다고 주장합니다. 저자들은 다음을 강조합니다:

개선은 SAM2 내부 구조가 아닌 검증된 메모리 쓰기에서 비롯되며, 이는 이 접근 방식이 다른 메모리 기반 트래커에도 일반화될 수 있음을 시사합니다.
시간적 일관성은 단순히 현재 프레임의 예측 문제가 아니라, 명시적인 **메모리 승인 결정(memory-admission decision)**으로 취급됩니다.
이 방법은 재학습, 아키텍처 변경, 또는 과도한 계산 비용 없이도 강건성을 달성하여, 기존 VOT 시스템을 위한 실용적인 "플러그 앤 플레이" 향상 도구로서 기능합니다.

결과에 따르면, 메모리 증강 추적에 있어서 메모리 업데이트 메커니즘의 신뢰성이 백본이나 메모리 뱅크 자체의 용량보다 더 중요한 병목 구간임을 알 수 있습니다.