Moving Like a Human: Ego-Motion-Normalized Temporal Signatures for Real-Time Aerial Person Tracking on Milliwatt-Class Hardware

기술 요약: 실시간 항공 인물 추적을 위한 EMTS-Det

문제 정의
본 논문은 소비자용 및 산업용 드론, 특히 밀리와트급 연산 예산(예: Raspberry Pi Zero 2W)을 가진 하드웨어를 대상으로 하는 "팔로 미(follow-me)" 인물 추적의 과제를 다룹니다. 이 문제는 세 가지 동시 제약 조건으로 정의됩니다:

1. 작은 타겟 크기: 일반적인 추적 거리에서 인물은 640×512 프레임 내에서 단 10~60 픽셀만을 차지하며, 이는 단일 프레임의 외형 특징을 모호하게 만들고 배경 클러터와 구별하기 어렵게 만듭니다.
2. 격렬한 자가 운동(Ego-Motion): 250g 미만의 드론 기체는 소비자용 짐벌보다 빠른 바람의 돌풍으로 인해 격렬한 움직임을 경험하며, 이로 인해 급격한 카메라 태도 변화가 발생합니다.
3. 심각한 연산 제한: 이 등급의 컴패니언 컴퓨터는 오직 2~4 effective int8 GFLOP/s만을 제공합니다. YOLOv8n(약 8.7 GFLOPs)과 같은 표준 검출기는 약 2 FPS로 동작하는 반면, 더 빠르고 작은 모델(예: MobileNet-SSD)은 작은 객체를 정확하게 검출하는 데 실패합니다.

저자들은 누락된 증거가 외형이 아니라 **시간적 운동(temporal motion)**이라고 주장합니다. 이는 학습을 통해 추출하는 것이 아니라 분석적으로 추출되어야 하는데, 가용 FLOP 예산이 자가 운동 불변성과 작은 객체의 외형을 동시에 학습할 수 있는 수준이 아니기 때문입니다.

방법론: EMTS-Det 파이프라인
제안된 시스템인 EMTS-Det(Ego-Motion-normalized Temporal Signature Detection)은 약 100 MFLOPs/frame 예산에 맞도록 설계된 5단계 파이프라인입니다.

• 단계 A: 자가 운동 추정: 희소 Lucas-Kanade 트래킹과 RANSAC을 사용하여 카메라의 프레임 간 움직임을 4-DoF 유사 변환(평행 이동, 회전, 스케일)으로 추정합니다. 텍스처가 부족한 장면의 경우 위상 상관(phase correlation)으로 대체됩니다.
• 단계 B: 입력 표현: 추정된 변환에 의해 이전 프레임이 워핑(warping)되어 세 가지 입력 채널을 생성합니다:
  1. 휘도 ($L_t$): 현재의 그레이스케일 프레임.
  2. 잔차 운동 크기 ($R_t$): 현재 프레임과 워핑된 이전 프레임 사이의 차이의 크기(가우시안 평활화 적용).
  3. 부호 있는 시간 차이 ($D_t$): 현재 프레임과 워핑된 이전 프레임 사이의 원시 차이.
     결정적으로, 이 표현 방식은 자가 운동을 분석적으로 제거하여, 운동 채널의 밝은 픽셀이 독립적으로 움직이는 객체에만 대응하도록 보장합니다.
• 단계 C: 마이크로 검출기(Micro-Detector): 21,941개의 파라미터(7.6 MFLOPs/frame)를 가진 상태 비저장(stateless), 앵커 프리(anchor-free) 검출기입니다. 깊이 분리형 백본(depthwise-separable backbone)을 사용하여 중심 히트맵, 박스 기하 구조 및 8-D 재식별 임베딩을 출력합니다. 네트워크는 의도적으로 상태 비저장(stateless) 방식으로 설계되었습니다. 시간적 증거는 학습된 시간적 레이어가 아닌, 입력 채널에 의해 완전히 제공됩니다.
• 단계 D: 타겟 고정 추적: 등속도 칼만 필터(constant-velocity Kalman filter)가 안정화된 좌표계(누적된 자가 운동에 의해 변환된 좌표)에서 작동합니다. 이를 통해 카메라 흔들림이 타겟의 운동 모델이 아닌 좌표 변환에 영향을 미치도록 합니다. 연관(association)에는 마할라노비스 거리(Mahalanobis distance)와 임베딩 유사성을 사용하는 이중 키 게이트를 사용합니다.
• 단계 E: 시간적 시그니처 검증: 8,289개의 파라미터를 가진 1-D CNN이 8프레임마다 트랙을 검증합니다. 이는 16프레임 시퀀스의 광학 흐름 기술자(ROI flow)를 분석하여, 객체가 인간의 관절 움직임(예: 전신 이동 대비 다리의 보행 주파수 진동)과 함께 움직이는지 확인합니다.

학습 전략
특정 작동 지점(10~60 px 타겟 및 격렬한 자가 운동)에 대한 밀집된 라벨이 있는 공개 데이터셋이 부족하기 때문에, 저자들은 **합성-운동 커리큘럼(synthetic-motion curriculum)**을 채택합니다:

• Tier 1: 실제 드론 영상에 합성하여 현실적인 자가 운동을 보장하기 위해 Blender에서 렌더링되고 합성된 관절 움직임이 있는 인간 배우.
• Tier 2: 시뮬레이션된 드론 움직임과 보행 프록시를 적용하여 의사-비디오(pseudo-video)로 변환된 정적 항공 이미지(Vis-Drone).
• 하드 네거티브(Hard Negatives): 시스템이 가짜 양성(false positives)을 거부하도록 훈련하기 위해, 실제 배치 환경(흔들리는 식생, 그림자 등)에서 사람 없는 클립을 사용합니다.
• 핵심 제약: 모든 합성 클립은 배포된 단계 A/B 코드를 통과하여 운동 채널을 생성하므로, 훈련/배포 간의 분포 차이를 제거합니다.

주요 기여 및 결과

1. 학습된 시간적 메커니즘보다 입력 표현 중시: 입력 채널이 자가 운동이 정규화된 운동 증거를 전달할 때, 학습된 시간적 모듈(예: Temporal Shift Modules)을 추가하면 정확도가 감소함을 본 논문은 입증합니다. 배포된 검출기는 분석적 운동 채널이 이미 필요한 단기적 시간적 증거를 제공하므로 상태 비저장(stateless)입니다.
2. 양자화 캘리브레이션 실패: 저자들은 int8 배포 시 발생하는 두 가지 조용한 캘리브레이션 실패를 기록하고 수정했습니다:
   • 이동 평균 범위 추정: 표준 이동 평균 캘리브레이션은 회귀 헤드(박스 크기)의 드문 대규모 활성화를 상쇄하여 정확도를 절반으로 떨어뜨립니다. 최솟값-최댓값(Min-max) 캘리브레이션이 필요합니다.
   • 상태 기반 그래프 캘리브레이션: 캐시된 상태를 가진 스트리밍 네트워크의 경우, 제로 초기화된 캐시로 캘리브레이션을 수행하면 정상 상태의 시간적 정보를 잘라버립니다. 캘리브레이션 중에 **전파된 캐시 상태(propagated cache states)**를 사용해야 합니다.
3. 일반화 대 과적합: 학습 시 보지 못한 실제 이미지인 held-out VisDrone-DET 분할 데이터셋에서, 배포된 EMTS-Det은 0.444 AP25를 달달성한 반면, 동일한 학습 혼합물에 미세 조정된 YOLOv8n은 0.103 AP25로 떨어졌습니다. 이는 외형 기반 모델은 합성 훈련 도메인에 과적합되는 반면, 운동 기반 표현은 실제 환경 조건에 효과적으로 일반화됨을 나타냅니다.
4. 밀리와트급 하드웨어에서의 성능:
   • Raspberry Pi Zero 2W에서 전체 파이프라인은 0.462 AP25와 0.714 recall로 31.85 FPS(프레임당 31.4ms)로 실행됩니다.
   • 반면, 동일한 하드웨어에서 YOLOv8n은 1.95 FPS로 실행되며 0.172 AP25를 기록합니다.
   • 시스템은 57초의 현장 시퀀스에서 폐쇄(occlusion) 후에도 재고정(re-lock)이 전혀 없이 **97.9%의 잠금 재현율(lock recall)**을 달성했습니다.

의의 및 주장
본 논문은 밀리와트급 하드웨어에서 고정밀 항공 추적이 현대적 검출기를 축소하는 것이 아니라, 문제를 재정의함으로써 가능하다는 점을 주장합니다: 즉, 자가 운동을 분석적으로 제거하고 네트워크에 사전 계산된 운동 증거를 제시하는 것입니다. 이는 학습 부하를 아주 작고 상태 비저장인 검출기와 경량화된 검증기로 줄여줍니다.

저자들은 시간적 증거는 학습된 시간적 메커니즘이 아니라 입력 표현에 속해야 한다고 강조합니다. 이 접근 방식은 외형 기반 모델이 실패하는 실제 데이터에서도 시스템이 효과적으로 전이될 수 있도록 하며, 상태 기반 및 회귀 중심 네트워크를 int8로 배포할 때 발생하는 표준 캘리브레이션 파이프라인이 놓치는 조용한 실패 모드에 대한 중요한 지침을 제공합니다.

인정된 한계점
저자들은 열 행동(thermal behavior)에 대한 단계별 온디바이스 프로파일링이 아직 진행 중이며, 합성 벤치가 훈련과 생성 과정을 공유한다는 점(held-out 실제 데이터로 완화됨), 그리고 타겟이 장시간 정지해 있을 경우 시스템 성능이 저하된다는 점(운동 채널의 결핍)을 언급했습니다. 또한, 검증기의 보행 모델은 걷기 사이클에 대해 훈련되었으며 기어가는 동작이나 짐을 많이 실은 보행에 대해서는 테스트되지 않았습니다.