Perception-to-Pursuit: Track-Centric Temporal Reasoning for Open-World Drone Detection and Autonomous Chasing

이 논문은 드론 탐지 및 추적을 위한 '지각 - 추격 (P2P)' 프레임워크를 제안하여, 기존 추적 방법의 물리적 추격 불가능성을 해결하고 Intercept Success Rate (ISR) 지표를 통해 현실적인 추격 가능성과 궤적 예측 정확도를 동시에 크게 향상시켰음을 보여줍니다.

핵심

🚁 핵심 비유: "예측하는 사람 vs 쫓아잡는 사람"

상상해 보세요. 누군가 드론을 쫓는 게임에서 예측자와 추적자가 있다고 칩시다.

1. 기존 기술 (예측자):

   • "저 드론이 10 초 뒤엔 저기 (A 지점) 에 있을 거야!"라고 정확히 맞힙니다.
   • 하지만 문제는, **추적자 (우리 드론)**가 A 지점에 도달하려면 초인적인 힘으로 날아가야 한다는 점입니다.
   • 마치 "저 사람이 1 초 뒤에 저기 있을 거야. 네가 그걸 잡으려면 제트팩을 타고 날아야 해"라고 말하는 것과 같습니다.
   • 결과: 예측은 정확하지만, 잡을 수 없습니다. (논문에 따르면 99.9% 의 경우 잡을 수 없는 엉뚱한 예측을 합니다.)

2. 이 논문의 기술 (P2P - "지각에서 추격까지"):

   • "저 드론이 10 초 뒤엔 저기 (A 지점) 에 있을 거야. 그리고 네가 그걸 잡을 수 있을 만큼 날아가면 돼."라고 말합니다.
   • 단순히 "어디에 있을지"만 보는 게 아니라, **"내가 그걸 잡을 수 있는 물리적인 한계"**를 고려해서 미래를 예측합니다.
   • 결과: 예측도 정확하고, 실제로 잡을 수 있는 계획을 세울 수 있습니다.

---

🧠 이 기술이 어떻게 작동할까요? (3 가지 핵심)

1. "드론의 몸짓"을 읽는 8 가지 언어 (Motion Tokens)

기존 기술은 드론이 찍힌 **사진 (이미지)**만 보고 "저게 드론이네"라고 판단했습니다. 하지만 이 기술은 드론이 어떻게 움직이는지에 집중합니다.

• 마치 무용수의 춤을 보며 다음 동작을 예측하는 것과 같습니다.
• 드론의 속도, 가속도, 크기 변화, 움직임의 부드러움 등 8 가지 핵심 신호를 모아서 "이 드론은 지금 급하게 피하려는 중이야" 혹은 "서서히 접근하고 있어"라고 파악합니다.
• 이걸 **8 차원 토큰 (작은 정보 덩어리)**이라고 부릅니다.

2. "시간을 읽는 AI" (Temporal Transformer)

단순히 "지금 이 순간"만 보는 게 아니라, 지난 12 초 동안의 움직임 흐름을 통째로 분석합니다.

• 비유: 축구 경기에서 선수가 공을 차기 직전, 다리를 어떻게 흔들고 시선을 어디에 두는지 과거의 흐름을 봐야 다음 동작을 알 수 있죠.
• 이 AI 는 과거 12 프레임 (약 0.5 초) 의 흐름을 분석해 드론이 어디로 도망칠지, 어떻게 피할지를 미리 계산합니다.

3. "잡을 수 있는가?"를 측정하는 새로운 점수 (ISR)

기존에는 "예측이 얼마나 정확한가 (오차)"만 점수를 매겼습니다. 하지만 이 논문은 **"이 예측대로 따라가면 잡을 수 있는가?"**를 점수화했습니다.

• ISR (Intercept Success Rate, 요격 성공률): 이 점수가 높을수록 우리 드론이 물리적으로 그 위치를 따라잡을 수 있다는 뜻입니다.
• 결과: 기존 기술은 점수가 0.001 (거의 0) 이었지만, 이 기술은 0.597 (약 60%) 로 597 배나 뛰었습니다.

---

📊 놀라운 성과 (숫자로 보는 차이)

이 논문은 실제 드론 데이터 226 개로 실험했습니다.

• 예측 정확도: 기존 기술보다 77% 더 정확해졌습니다. (드론이 어디로 갈지 훨씬 잘 맞춥니다.)
• 추격 가능성: 기존 기술은 100 번 예측하면 99.9 번은 "잡을 수 없는 엉뚱한 곳"을 말했지만, 이 기술은 60% 는 실제로 잡을 수 있는 곳을 예측했습니다.
• 드론 구별: 드론인지 아닌지 구별하는 정확도는 **100%**였습니다. (드론의 모양을 보지 않고, 움직임만 봐도 100% 맞췄습니다!)
• 속도: 초당 323 번 계산을 할 수 있어, 실시간으로 드론을 쫓아낼 수 있습니다.

---

💡 왜 이 연구가 중요할까요?

이 연구는 **"예측이 정확하다고 해서 무조건 좋은 건 아니다"**라는 중요한 교훈을 줍니다.

• 기존의 문제: "그 사람이 저기 갈 거야"라고 정확히 말해줘도, 우리가 그걸 잡을 수 없으면 소용이 없습니다.
• 이 연구의 해결책: "우리가 잡을 수 있는 범위 안에서" 미래를 예측해야 진짜 도움이 된다는 것을 증명했습니다.

한 줄 요약:

"이 기술은 드론이 어디로 갈지만 예측하는 게 아니라, 우리가 그걸 잡을 수 있도록 현실적인 계획을 세워주는 '현명한 추격자'입니다."

이 기술은 군대나 경찰이 불법 드론을 막을 때, 혹은 드론이 서로 충돌하지 않게 할 때 아주 유용하게 쓰일 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 드론 탐지 및 추적 시스템은 예측 정확도에 집중하지만, 추격의 실현 가능성 (Pursuit Feasibility) 을 고려하지 않는 치명적인 간극이 존재합니다.

• 현실적 한계: 기존 최첨단 추적 방법들은 과거 데이터를 기준으로 볼 때 예측이 정확할 수 있으나, 추격기 (Interceptor) 의 물리적 제약 (최대 속도, 가속도 한계) 을 고려하지 않아 실제로는 도달 불가능한 궤적을 예측하는 경우가 빈번합니다.
• 핵심 문제: 저자들은 실험을 통해 기존 방법론이 생성하는 예측 궤적의 99.9% 가 추격기의 물리적 한계로 인해 도달 불가능함을 발견했습니다. 이는 자율 추격 시스템의 실용성을 근본적으로 제한합니다.
• 목표: 단순한 궤적 예측을 넘어, 추격기가 물리적으로 도달할 수 있는 (Kinematically Feasible) 행동 가능한 추격 계획을 수립할 수 있는 예측을 제공하는 것입니다.

2. 방법론 (Methodology)

저자들은 Perception-to-Pursuit (P2P) 라는 새로운 프레임워크를 제안하며, 탐지 (Perception) 에서 추격 계획 (Pursuit Planning) 까지 이어지는 파이프라인을 통합합니다.

2.1. 모션 토큰 표현 (Motion Token Representation)

원시 바운딩 박스 (Bounding Box) 의 공간적 중복 정보를 제거하고, 드론의 운동 역학을 효율적으로 인코딩하기 위해 8 차원 모션 토큰을 도입했습니다.

• 구성 요소: 위치 $(x, y)$, 속도 $(v_x, v_y)$, 가속도 $(a_x, a_y)$, 스케일 $(s)$, 궤적 부드러움 (Smoothness, $\sigma$).
• 장점: 수천 개의 픽셀 대신 8 차원 벡터로 압축되어 실시간 처리가 가능하며, 각 차원이 물리적 의미를 갖는 해석 가능한 (Interpretable) 표현입니다.

2.2. 시간적 추론 아키텍처 (Temporal Transformer)

• 구조: 12 프레임의 모션 토큰 시퀀스를 입력으로 받는 인과적 (Causal) Transformer를 사용합니다.
• 동작: 자기 주의 (Self-attention) 메커니즘을 통해 과거의 운동 패턴 (속도, 가속도 변화 등) 을 분석하여 미래의 행동과 궤적을 예측합니다.
• 멀티태스크 학습: 단일 모델이 다음 4 가지 작업을 동시에 수행하도록 설계되었습니다.
  1. 드론 분류 (Drone Classification)
  2. 행동 분류 (Behavior: hover, loiter, approach, evade 등)
  3. 의도 점수 (Intent: 기동 공격성)
  4. 미래 궤적 예측 (Trajectory)

2.3. 새로운 평가 지표: Intercept Success Rate (ISR)

예측의 정확도뿐만 아니라 추격 가능성을 정량화하기 위해 새로운 지표인 ISR을 제안했습니다.

• 정의: 실제 추격기 제약 조건 (최대 속도 $v_{max}=15m/s$, 최대 가속도 $a_{max}=5m/s^2$) 하에서, 예측된 지점에 도달할 수 있는 시간 ($t_{reach}$) 이 예측 시간 범위 내인 경우를 성공으로 간주합니다.
• 계산: 'Bang-bang' 최적 제어 이론을 기반으로 최소 도달 시간을 계산하여, 예측된 궤적이 물리적으로 실현 가능한지 여부를 0~1 사이의 확률로 나타냅니다.

3. 주요 기여 (Key Contributions)

1. 추격 인식형 시간적 추론: 외관 (Appearance) 에 의존하지 않고, 운동 패턴 (Motion Patterns) 에 기반한 시간적 추론을 통해 오픈 월드 환경에서도 드론을 식별하고 실현 가능한 추격 궤적을 예측하는 프레임워크를 제시했습니다.
2. ISR 지표 도입: 추격의 실행 가능성 (Actionability) 을 직접 측정하는 새로운 메트릭을 제안하여, 기존 연구가 간과했던 '물리적 실현 가능성' 문제를 정량화했습니다.
3. 실증적 검증: Anti-UAV-RGBT 데이터셋 (226 개 실제 드론 시퀀스) 을 통해 기존 추적 기반 방법론 대비 압도적인 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

Anti-UAV-RGBT 테스트 세트 (8,092 개 예시) 에서의 주요 결과는 다음과 같습니다.

지표	설명	기존 추적 기반 (Baseline)	제안 방법 (P2P)	향상 폭
ADE (평균 변위 오차)	궤적 예측 정확도	122.83 픽셀	28.12 픽셀	77% 개선
ISR (추격 성공률)	실현 가능성	0.001 (99.9% 실패)	0.597	597 배 향상
Accuracy (분류 정확도)	드론 식별 능력	0.000	1.000 (100%)	완전한 식별

• 추적 가능성: 기존 방법은 예측의 99.9% 가 물리적으로 도달 불가능했으나, P2P 는 약 60% 의 예측에서 실현 가능한 추격 계획을 수립할 수 있었습니다.
• 오픈 월드 식별: 외관 특징 없이 운동 패턴만으로 드론을 100% 정확도로 분류하여, 새로운 객체 클래스에 대한 일반화 능력을 입증했습니다.
• 실시간 성능: NVIDIA T4 GPU 에서 323 FPS로 실시간 추격 애플리케이션 요구사항을 충족합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 자율 드론 대항 시스템 분야에서 지각 (Perception) 과 행동 (Action) 간의 간극을 해소하는 중요한 이정표입니다.

• 패러다임 전환: 단순히 "어디에 있을 것인가"를 예측하는 것을 넘어, "어디까지 도달할 수 있는가"를 고려한 실용적 예측의 중요성을 강조합니다.
• 운동 패턴의 우위: 외관 특징이 없어도 운동 패턴 (속도, 가속도, 행동 의도) 만으로도 객체 식별과 미래 행동 예측이 가능함을 보여주어, 오픈 월드 환경에서의 강건한 시스템 설계에 새로운 방향을 제시합니다.
• 범용성: 드론 추격뿐만 아니라, 물리적 제약이 있는 모든 자율 주행 및 로봇 제어 분야에서 '실행 가능한 예측'의 필요성을 시사합니다.

결론적으로, P2P 는 시간적 추론을 통해 운동 패턴을 분석함으로써 정확한 예측과 동시에 물리적으로 실현 가능한 추격 계획을 가능하게 하는 원칙적이고 종단간 (End-to-End) 인 접근법을 제시했습니다.