EdgeDAM: Real-time Object Tracking for Mobile Devices

EdgeDAM 은 모바일 기기의 제한된 자원 내에서 실시간으로 작동하면서도 가림과 방해물 간섭에 강인한 단일 객체 추적을 가능하게 하기 위해, 이중 버퍼 방해물 인식 메모리와 신뢰도 기반 스위칭 전략을 도입한 경량 감지 기반 추적 프레임워크를 제안합니다.

핵심

🎬 상황: 혼잡한 광장에서의 '친구 찾기' 게임

상상해 보세요. 당신이 아주 시끄럽고 사람이 가득 찬 광장에 서 있습니다. 당신은 친구를 찾아야 합니다. 하지만 문제는 다음과 같습니다.

1. 친구가 자주 가려집니다: 다른 사람들이 친구 앞을 지나가거나, 기둥 뒤에 숨습니다 (가림 현상).
2. 유사한 방해꾼이 많습니다: 친구와 옷차림이 똑같은 다른 사람들도 많습니다 (방해꾼).
3. 시간과 에너지가 부족합니다: 당신은 스마트폰을 들고 있어서, 무거운 컴퓨터처럼 생각할 시간이 없습니다.

기존의 기술들은 이 두 가지 극단 중 하나에 갇혀 있었습니다.

• 방식 A (무거운 거인): 친구의 얼굴을 아주 정밀하게 분석하고, 과거의 모든 기억을 떠올리며 친구를 찾습니다. 정확도는 높지만, 머리가 너무 무거워서 스마트폰에서는 너무 느려서 실시간으로 따라갈 수 없습니다. (비유: 고가의 슈퍼컴퓨터를 들고 광장을 뛰어다니는 것)
• 방식 B (빠른 스프린터): 아주 가볍고 빠르게 움직입니다. 하지만 친구가 가려지거나 옷이 비슷한 사람이 나타나면, 순간적으로 친구를 잃어버리고 엉뚱한 사람을 쫓아다닙니다. (비유: 눈이 나빠서 친구를 놓치기 쉬운 빠른 달리기 선수)

🚀 EdgeDAM 의 해결책: "똑똑하고 가벼운 감시병"

EdgeDAM 은 이 두 가지 문제를 모두 해결하는 새로운 전략을 제안합니다. 마치 **"현명한 감시병"**처럼 작동합니다.

1. 두 개의 특별한 메모리 장 (Dual-Buffer Memory)

감시병은 친구를 기억하기 위해 두 개의 다른 메모리 장을 사용합니다.

• 최근 기억장 (RAM - Recent-Aware Memory):
  • 역할: "방금 전까지 친구가 어디 있었지?"를 기억합니다.
  • 비유: 친구가 가려졌을 때, "아, 방금 저기 있었어!"라고 바로 떠올려서 친구가 다시 나타날 준비를 합니다. 하지만 친구와 옷이 비슷한 방해꾼이 끼어들면, "아니, 저건 친구가 아니야. 크기와 모양이 달라!"라고 기하학적 규칙으로 바로 걸러냅니다.
• 방해꾼 해결장 (DRM - Distractor-Resolving Memory):
  • 역할: "친구의 진짜 특징"을 오래 기억합니다.
  • 비유: 친구가 완전히 가려져서 몇 초 동안 보이지 않아도, "친구는 파란 모자를 쓰고 있고 키가 작아"라는 핵심 특징을 기억하고 있습니다. 친구가 다시 나타났을 때, "아! 저게 진짜 친구야!"라고 찾아냅니다. 동시에 "옷이 비슷한 저 사람은 친구가 아니야"라고 방해꾼을 벌하여 다시 선택하지 못하게 막습니다.

2. "잠시 멈춤" 전략 (Held-Box Stabilization)

친구가 완전히 가려져서 어디로 갔는지 모를 때, 감시병은 당황하지 않습니다.

• 비유: "아, 친구가 저기서 사라졌구나. 당황해서 엉뚱한 사람을 쫓지 말고, 마지막으로 봤던 위치를 잠시 유지하면서 그 범위를 조금 넓혀서 기다려보자."
• 이렇게 잠시 멈추고 범위를 넓혀두면, 방해꾼이 친구인 척 다가와도 "아직 확실하지 않아"라고 판단하여 실수를 막습니다.

3. 자동 전환 시스템 (Confidence-Driven Switching)

• 감시병은 스스로를 점검합니다. "내가 친구를 잘 보고 있나? 아니면 친구를 잃어버렸나?"
• 잘 보고 있을 때: 가볍게 빠르게 움직입니다 (YOLO 검출기 + CSRT 추적기).
• 친구를 잃었을 때: 즉시 "메모리 장"을 열어 친구를 찾아냅니다.
• 이 전환이 너무 무겁지 않아서 스마트폰에서도 **초당 25 프레임 (FPS)**이라는 빠른 속도로 작동합니다. (영화처럼 매끄럽게!)

---

📱 왜 이것이 중요한가요?

이 기술은 아이폰 15 같은 모바일 기기에서도 실시간으로 작동합니다.

• 기존의 무거운 기술들: 2~8 프레임 (느림, 끊김).
• 기존의 가벼운 기술들: 10~15 프레임 (빠름, 하지만 친구를 잃음).
• EdgeDAM: 25 프레임 (매우 빠름) + 친구를 절대 잃지 않음.

🏆 결과: 얼마나 잘 하나요?

이 기술은 여러 가지 어려운 테스트 (가림, 방해꾼, 빠른 움직임) 에서 기존 최고의 기술들보다 훨씬 좋은 성적을 냈습니다.

• 방해꾼이 많은 상황: 88.2% 의 정확도로 친구를 찾았습니다. (기존 최고 기술보다 훨씬 높음)
• 가림 상황: 친구가 완전히 가려져도 다시 찾아내는 능력이 탁월합니다.

💡 결론

EdgeDAM 은 **"무거운 컴퓨터 없이도, 스마트폰으로 친구를 잃지 않고 빠르게 쫓아다니는 마법"**을 보여줍니다. 복잡한 수학이나 무거운 메모리 대신, **간단한 규칙 (크기, 모양, 색상)**과 똑똑한 메모리 관리를 통해 현실 세계의 혼란 속에서도 정확한 추적을 가능하게 합니다.

이제 스마트폰 카메라로 친구를 찍으면, 친구가 다른 사람 뒤에 숨거나 옷이 비슷한 사람이 지나가도 카메라가 친구를 놓치지 않고 계속 따라갈 수 있게 될 것입니다!

기술 요약

1. 문제 정의 (Problem Statement)

모바일 및 엣지 (Edge) 디바이스에서의 단일 객체 추적 (SOT) 은 가려짐 (occlusion), 방해물 (distractor) 간섭, 빠른 운동 상황에서 정확한 타겟 위치 추정이 요구되는 중요한 과제입니다. 그러나 기존 최첨단 (SOTA) 방법론들은 다음과 같은 두 가지 주요 한계를 가지고 있습니다:

• 고성능 메모리 기반 추적기의 비효율성: SAM2.1++ 나 SAMURAI 와 같은 최신 모델은 분할 (segmentation) 기반의 메모리 메커니즘과 어텐션 (attention) 을 사용하여 방해물에 강인하지만, 고해상도 특징 맵 전파와 밀집한 크로스-어텐션 계산으로 인해 막대한 연산 부하를 발생시킵니다. 이로 인해 모바일 환경에서는 실시간 (Real-time) 처리가 불가능하며 (2~8 FPS), 엣지 디바이스 배포에 적합하지 않습니다.
• 가벼운 추적기의 취약성: EdgeTAM 나 OSTrack 과 같은 경량 추적기는 높은 처리 속도 (10~15 FPS) 를 유지하지만, 시각적으로 유사한 방해물이 나타나거나 가려짐이 발생하면 추적 드리프트 (drift) 가 발생하여 신뢰도가 급격히 떨어집니다.

현재까지 가려짐과 방해물에 대한 강인함 (Robustness) 과 엣지 디바이스에서의 실시간 효율성 (Efficiency) 을 동시에 달성하면서 분할 (segmentation) 지도나 대규모 사전 학습 인코더에 의존하지 않는 방법은 존재하지 않았습니다.

2. 제안 방법론 (Methodology: EdgeDAM)

저자들은 EdgeDAM을 제안하며, 이는 모바일 및 엣지 디바이스에 최적화된 경량 검출 기반 (detection-guided) 단일 객체 추적 프레임워크입니다. 핵심 아이디어는 분할 마스크 대신 경계 상자 (Bounding Box) 수준에서 방해물 인식 메모리를 재구성하는 것입니다.

주요 구성 요소

1. 검출기 기반 파이프라인:

   • YOLOv11s 기반 검출기: 모든 객체 카테고리를 단일 클래스로 통합하여 범주 무관 (category-agnostic) 추적을 가능하게 합니다.
   • CSRT 추적기: 검출 사이의 객체 궤적을 전파하는 경량 상관 필터 추적기를 사용합니다.
   • ROI (관심 영역) 크롭: 안정적인 추적 시 전체 프레임 대신 현재 추정치 주변의 ROI 만을 검출기에 입력하여 연산 비용을 절감합니다.

2. 방해물 인식 메모리 (Distractor-Aware Memory, DAM):
   기존 SAM2 기반의 DAM 을 경량화하고 재설계한 이중 버퍼 (Dual-Buffer) 구조를 도입했습니다.

   • Recent-Aware Memory (RAM): 최근의 검증된 타겟 상태를 저장합니다. IoU(교차합집합) 와 영역 일관성 (area-consistency) 게이트를 사용하여 기하학적으로 일관된 후보만 RAM 에 추가하여 방해물이 최근 타겟 모델을 오염시키는 것을 방지합니다.
   • Distractor-Resolving Memory (DRM): 가려짐 후 복구를 위한 안정적인 외관 앵커 (anchor) 를 저장합니다. RAM 의 일련의 설명자가 외관적으로 일관될 때만 DRM 으로 승격됩니다.
   • 경량 설명자: 심층 특징 추출 대신 HSV 색상 히스토그램과 회색조 패치를 결합한 경량 설명자를 사용하여 메모리 및 연산 비용을 대폭 줄였습니다.

3. 신뢰도 기반 스위칭 및 Held-Box 안정화:

   • 스위칭 메커니즘: CSRT 의 신뢰도 (Peak-to-Sidelobe Ratio) 가 낮거나 점프 (jump) 가 발생하면 검출기 및 DAM 기반 재식별 (re-identification) 로 전환됩니다.
   • Held-Box (유지 상자): 가려짐이 감지되면 (여러 개의 높은 신뢰도 검출이 겹칠 때), 추적기는 즉시 실패하지 않고 현재 위치를 유지하면서 크기를 확장합니다. 이는 방해물 오염을 억제하고, DRM 기반 점수 매기기를 통해 올바른 타겟이 재등장할 때까지 추적의 연속성을 유지합니다.
   • 부정적 은행 (Negative Bank): 가려짐 동안 겹치는 검출들을 방해물 후보로 저장하여 복구 시 해당 후보들의 점수를 패널티 처리합니다.

3. 주요 기여 (Key Contributions)

1. 경계 상자 기반 DAM: 분할 마스크나 어텐션 레이어 없이 기하학적 게이팅을 통해 검증된 타겟 상태와 방해물 가설을 분리하는 경량 메모리 구조를 제안했습니다.
2. 강인한 복구 메커니즘: 가려짐 동안 방해물 오염을 억제하고 DRM 기반 점수 매기기를 통해 신뢰할 수 있는 재식별을 가능하게 하는 '신뢰도 기반 스위칭' 및 'Held-Box' 메커니즘을 도입했습니다.
3. 실시간 엣지 배포 프레임워크: 단일 클래스 YOLO 백본을 사용하여 iPhone 15 Pro Max 에서 초당 25 프레임 (FPS) 의 실시간 성능을 달성하면서도 5 개의 벤치마크에서 높은 정확도를 유지했습니다.

4. 실험 결과 (Results)

EdgeDAM 은 DiDi, VOT2020/2022, LaSOT, LaSOText, GOT-10k 등 5 개의 벤치마크에서 평가되었습니다.

• DiDi 벤치마크 (방해물 중심):
  • 정확도 (IoU): 0.882 (SAM2.1++ 대비 +15.5% 향상).
  • 강인성 (Robustness): 0.973 (SAM2.1++ 대비 +2.9% 향상).
  • 전체 품질 지표 (Quality) 에서 0.926 을 기록하며 모든 기존 모델을 압도했습니다.
• VOT 벤치마크:
  • VOT2020: EAO 0.849 (기존 SOTA 대비 +12.0% 향상).
  • VOT2022: EAO 0.790 (VOT2022 우승자 MSAOT 대비 우수).
• 범주 무관 및 일반화 성능:
  • LaSOT/LaSOText: AUC 0.895 / 0.641 로, 카테고리 간 일반화 능력이 뛰어납니다.
  • GOT-10k: AO 0.831 로, 오픈 월드 환경에서도 높은 성능을 보입니다.
• 효율성:
  • iPhone 15 Pro Max 에서 25 FPS 달성.
  • 모델 파라미터 수: 9.4M (SAM2.1++ 의 224M 대비 압도적으로 경량).
  • 기존 SOTA 모델들 (SAM2.1++, SAMURAI 등) 이 2~8 FPS 에 머무르는 것과 대조적입니다.

5. 의의 및 결론 (Significance)

EdgeDAM 은 강인함 (Robustness) 과 효율성 (Efficiency) 의 트레이드오프를 해결한 획기적인 접근법입니다.

• 기술적 혁신: 고비용인 분할 마스크 전파와 글로벌 어텐션 없이도, 기하학적 게이팅과 경량 외관 설명자만으로 가려짐과 방해물에 강인한 추적이 가능함을 증명했습니다.
• 실용적 가치: 모바일 및 엣지 디바이스 (iPhone 등) 에서 실시간으로 고품질 추적을 가능하게 하여, 자율 주행, 보안 감시, 모바일 AR 등 리소스가 제한된 환경에서의 실제 적용 가능성을 크게 높였습니다.
• 미래 전망: 단일 객체 추적에서 다중 객체 추적 및 3D 추적, 그리고 비전 - 언어 모델 (VLM) 통합으로의 확장을 목표로 하고 있습니다.

결론적으로 EdgeDAM 은 "무거운 메모리 기반 설계"와 "가벼우나 취약한 설계" 사이의 간극을 메우는, 실제 배포 가능한 실시간 객체 추적의 새로운 표준을 제시합니다.