TaPD: Temporal-adaptive Progressive Distillation for Observation-Adaptive Trajectory Forecasting in Autonomous Driving

이 논문은 가변적인 관측 길이를 가진 자율주행 환경에서 과거 데이터의 누락을 보충하고 장기적 운동 패턴을 지식 증류로 전이하는 'TaPD' 프레임워크를 제안하여, 특히 짧은 관측 데이터에서도 기존 방법들보다 뛰어난 궤적 예측 성능을 달성함을 보여줍니다.

핵심

🚗 1. 문제 상황: "눈이 가려진 운전사"

자율주행차는 주변 상황을 보고 "앞차가 앞으로 갈지, 뒤로 갈지"를 예측합니다. 보통은 충분한 시간 동안의 과거 데이터 (예: 5 초 전부터 현재까지) 를 보고 예측합니다.

하지만 실제 도로에서는 상황이 다릅니다.

• 가림막 (Oclusion): 큰 트럭 뒤에 숨어서 보행자가 갑자기 튀어나올 수 있습니다.
• 센서 한계: 차량이 갑자기 나타났을 때, 과거 데이터가 1 초밖에 없을 수도 있습니다.

기존의 AI 는 **"과거 데이터가 짧으면 예측이 엉망이 된다"**는 치명적인 약점이 있습니다. 마치 운전면허 시험에서 "과거 5 초의 주행 기록만 보고 다음 3 초를 예측하라"고 했을 때, 기록이 1 초뿐이면 AI 는 당황해서 엉뚱한 방향으로 차를 몰아갈 수 있는 것입니다.

---

💡 2. 해결책: TaPD (타이밍에 맞춰 적응하는 두 명의 조력자)

이 논문은 TaPD라는 새로운 시스템을 제안합니다. 이 시스템은 **두 명의 조력자 (모듈)**가 협력하여 짧은 정보로도 정확한 예측을 하도록 도와줍니다.

🧠 조력자 1: "OAF" (유연한 예지꾼)

• 역할: 어떤 길이의 과거 데이터가 들어와도 예측을 해내는 주요 예측기입니다.
• 비유: 이 친구는 **"지식 전수"**를 잘합니다.
  • 보통은 긴 시간의 데이터를 가진 '선생님' (Long-horizon Teacher) 이 있습니다.
  • 데이터가 짧은 '학생' (Short-horizon Student) 이 있을 때, 선생님이 가진 풍부한 경험 (차량이 어떻게 움직이는지, 도로의 흐름 등) 을 지식 증류 (Distillation) 기술을 통해 학생에게 가르쳐 줍니다.
  • 효과: 학생은 과거 데이터가 짧더라도, 선생님의 지식을 빌려와서 마치 긴 데이터를 본 것처럼 풍부한 맥락을 이해하게 됩니다.

🕵️‍♂️ 조력자 2: "TBM" (시간 여행하는 추리꾼)

• 역할: OAF 가 아무리 지식을 전수해도, 정보가 너무 부족하면 (예: 1 초밖에 안 남음) 한계가 있습니다. 이때 TBM이 나섭니다.
• 비유: 이 친구는 **"잃어버린 과거를 복원하는 추리꾼"**입니다.
  • "아, 이 보행자는 트럭 뒤에서 튀어나왔구나. 그럼 트럭이 지나가기 전, 이 보행자는 어디에 있었을까? 어떻게 움직였을까?"라고 **상상 (복원)**합니다.
  • 실제로 보이지 않는 과거의 1~2 초를 AI 가 직접 만들어서 채워줍니다 (Backfilling).
  • 효과: 이제 OAF 는 "빈손"으로 예측하는 게 아니라, TBM 이 채워준 풍부한 과거 기록을 보고 예측을 하므로 훨씬 정확해집니다.

---

🤝 3. 두 조력자의 협력 방식 (3 단계 훈련)

이 두 친구가 서로 방해하지 않고 최고의 실력을 발휘하도록 3 단계 훈련을 거칩니다.

1. 1 단계 (OAF 준비): 실제 운전 데이터로 OAF 가 먼저 "운전 패턴"을 배우고, 긴 데이터와 짧은 데이터 사이의 차이를 줄이는 법을 익힙니다.
2. 2 단계 (TBM 준비): TBM 이 혼자서 "잃어버린 과거를 어떻게 복원할지" 연습합니다. (이때 OAF 는 잠자고 있습니다.)
3. 3 단계 (함께 일하기): TBM 이 만든 "가상의 과거 기록"을 OAF 에게 주면서, OAF 가 이를 이용해 최종 예측을 하도록 미세하게 조정합니다.

---

🏆 4. 결과: 왜 이것이 혁신적인가?

• 어떤 상황에서도 강함: 과거 데이터가 5 초든, 1 초든, 10 초든 모든 상황에서 기존 기술보다 훨씬 정확하게 예측합니다.
• 플러그 앤 플레이 (Plug-and-Play): 이 기술은 기존 자율주행 AI 모델에 별도의 복잡한 수정 없이도 쉽게 붙여서 쓸 수 있습니다. 마치 스마트폰에 새로운 앱을 설치하듯 간단합니다.
• 실제 효과: 실험 결과, 아주 짧은 데이터 (1 초 미만) 를 받았을 때 기존 기술은 예측이 크게 빗나갔지만, TaPD 는 거의 완벽하게 예측했습니다.

📝 요약

이 논문은 "자율주행차가 눈이 가려지거나 정보가 부족할 때, 잃어버린 과거를 상상해 채우고 (TBM), 긴 시간의 경험을 짧은 시간에 전수받아 (OAF) 정확한 미래를 예측하는" 똑똑한 시스템을 만들었습니다.

이는 마치 운전면허 시험에서 과거 기록이 짧아도, 선배 운전사의 경험과 추리력을 빌려와서 마치 긴 기록을 본 것처럼 안전하게 운전하는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Definition)

자율주행에서 궤적 예측 (Trajectory Prediction) 은 주변 차량, 보행자 등의 미래 운동을 예측하여 안전한 경로 계획을 수립하는 데 필수적입니다. 그러나 기존 학습 기반 예측 모델들은 대부분 고정된 길이 (Fixed-length) 의 관측 역사 (Observation History) 를 가정하고 훈련됩니다.

실제 도로 환경에서는 다음과 같은 이유로 관측 데이터의 길이가 가변적이거나 극단적으로 짧아질 수 있습니다:

• 가림 (Occlusion): 다른 차량이나 장애물에 의해 보행자나 차량이 일시적으로 가려짐.
• 센서 범위 제한: 센서의 감지 범위를 벗어난 영역에서 갑자기 나타나는 에이전트.
• 불완전한 관측: 프레임 손실이나 늦은 진입 (Late entry).

이러한 상황에서 기존 모델은 짧은 관측 역사 (Truncated Trajectories) 를 입력으로 받을 경우, 운동 맥락 (Motion Context) 이 부족하여 성능이 급격히 저하되고 안전 위험이 증가합니다. 이를 해결하기 위해 각 관측 길이마다 별도의 모델을 훈련하는 방식 (Isolated Training) 은 파라미터 중복과 유지보수 비용이 과다하다는 단점이 있습니다.

2. 제안 방법론: TaPD (Temporal-adaptive Progressive Distillation)

저자들은 TaPD라는 통합적이고 플러그 앤 플레이 (Plug-and-play) 가능한 프레임워크를 제안합니다. TaPD 는 가변적인 관측 길이 하에서도 견고한 성능을 내기 위해 두 가지 상호 보완적인 모듈로 구성됩니다.

A. 관측 적응형 예측기 (Observation-Adaptive Forecaster, OAF)

• 목표: 단일 네트워크 내에서 임의의 관측 길이를 처리하며, 짧은 입력에서도 풍부한 운동 패턴 지식을 활용하여 미래 궤적을 예측합니다.
• 핵심 메커니즘:
  1. 교차 길이 파라미터 공유 (Cross-length Parameter Sharing): 모든 관측 길이에 대해 인코더와 디코더의 핵심 파라미터를 공유하여 별도의 모델을 훈련할 필요를 없애고 효율성을 높입니다. (단, 길이별 분포 차이를 흡수하기 위해 LayerNorm 파라미터는 길이별로 독립적으로 유지합니다.)
  2. 점진적 지식 증류 (Progressive Knowledge Distillation, PKD): 긴 관측 역사 (Teacher) 에서 짧은 관측 역사 (Student) 로 운동 패턴 지식을 전이합니다.
     • 계층적 정렬: 매우 짧은 입력을 직접 전체 길이와 정렬하는 대신, 인접한 길이 ($\tau$와 $\tau+1$) 간에 점진적으로 특징을 정렬하여 최적화 안정성을 높입니다.
     • 코사인 어닐링 (Cosine-annealed) 가중치: 훈련 초기에는 궤적 예측 감독 (Supervision) 에 집중하고, 훈련이 진행됨에 따라 특징 정렬 (Feature Alignment) 의 가중치를 점차 높여 학습 안정성을 확보합니다.
  3. 전체 에이전트 컨텍스트 활용: 예측 대상 (AOI) 뿐만 아니라 주변 모든 에이전트의 특징을 증류에 활용하여, 부분 관측 상황에서도 상호작용 정보를 보완합니다.

B. 시간적 백필링 모듈 (Temporal Backfilling Module, TBM)

• 목표: OAF 의 특징 기반 정렬만으로는 복원하기 어려운 관측되지 않은 과거 상태 (예: 가림 전 속도, 방향성 등) 를 명시적으로 재구성합니다.
• 작동 원리:
  • 짧은 관측 역사 ($X_\tau$) 와 HD 맵을 입력받아, 관측되지 않은 과거 구간 ($\tilde{X}_C$) 을 생성합니다.
  • 생성된 과거 데이터와 실제 관측 데이터를 연결하여 표준화된 전체 길이 ($\hat{X}_H$) 의 맥락이 풍부한 입력을 OAF 에 제공합니다.
  • 이는 단순히 특징을 맞추는 것을 넘어, 궤적 고유의 사전 지식 (Prior) 을 명시적으로 복구하여 OAF 의 예측 능력을 극대화합니다.

C. 훈련 전략 (Decoupled Pretrain-Reconstruct-Finetune Protocol)

두 모듈 간의 상호 간섭을 방지하고 최적의 성능을 얻기 위해 3 단계 훈련 프로토콜을 사용합니다:

1. OAF 사전 훈련 (Pretrain): 실제 데이터로 OAF 를 훈련하여 강력한 예측 사전 지식과 교차 길이 일반화 능력을 학습합니다.
2. TBM 독립 훈련 (Independent Train): OAF 와 분리하여 TBM 을 훈련시켜 고충실도 (High-fidelity) 의 백필링 데이터를 생성합니다.
3. OAF 파인튜닝 (Finetune): TBM 을 고정 (Freeze) 하고, TBM 에 의해 완성된 입력 데이터로 OAF 를 파인튜닝합니다. 이 단계에서는 PKD 손실을 제거하고 예측 손실만 최적화하여 실제 운동 패턴을 유지하면서 완성된 입력에 적응시킵니다.

3. 주요 기여 (Key Contributions)

1. TaPD 프레임워크 제안: 가변적이고 극단적으로 짧은 관측 역사에서도 견고한 궤적 예측을 위한 통합 듀얼 모듈 프레임워크를 제안했습니다.
2. OAF 모듈 설계: 파라미터 공유와 점진적 지식 증류 (PKD) 를 통해 별도의 모델 없이 긴 역사에서 짧은 역사로 지식을 효율적으로 전이하며, 코사인 어닐링 스케줄링으로 학습 안정성을 확보했습니다.
3. TBM 모듈 제안: 극단적으로 잘린 입력에서 특징 정렬만으로는 복원 불가능한 궤적 고유의 과거 상태를 명시적으로 재구성하여 OAF 를 강화합니다.
4. 효율적인 훈련 프로토콜: '사전 훈련 - 재구성 - 파인튜닝' 프로토콜을 개발하여 실제 운동 패턴을 보존하면서도 완성된 입력에 적응하는 방법을 제시했습니다.

4. 실험 결과 (Results)

Argoverse 1 및 Argoverse 2 데이터셋에서 광범위한 실험을 수행했습니다.

• 가변 길이 예측 성능:
  • TaPD 는 모든 관측 길이 (10Ts 에서 50Ts 까지) 에서 기존 최강의 베이스라인 (DTO, FLN, LaKD, CLLS 등) 을 일관되게 능가했습니다.
  • 특히 극단적으로 짧은 입력 (예: Argoverse 2 의 10Ts, Argoverse 1 의 5Ts) 에서 성능 향상이 두드러졌습니다. (예: Argoverse 2 10Ts 에서 minFDE6 가 1.533(Ori) → 1.203(TaPD) 로 대폭 개선).
  • 짧은 역사와 전체 역사 간의 성능 격차를 크게 줄였습니다.
• 고정 길이 기준 성능:
  • 가변 길이 예측에 특화되었음에도 불구하고, 표준 고정 길이 (Full-length) 평가에서도 SOTA(State-of-the-Art) 수준의 성능을 기록했습니다. (Argoverse 2 에서 minADE6 0.59, MR6 0.13 달성).
• 플러그 앤 플레이 가능성:
  • HiVT 와 같은 기존 예측 모델에 TaPD 를 적용했을 때도 모든 길이에서 성능이 향상되어, 기존 파이프라인에 쉽게 통합 가능함을 입증했습니다.
• 효율성:
  • 추가적인 파라미터와 계산 비용이 다소 증가하지만, 실시간 inference(약 88ms) 가 가능할 정도로 경량화된 설계를 유지했습니다.

5. 의의 및 결론 (Significance)

TaPD 는 자율주행 시스템이 실제 도로 환경에서 발생하는 불완전한 관측 (Partial Observability) 문제를 해결하는 데 중요한 기여를 합니다.

• 실용성: 센서 가림이나 제한된 감지 범위와 같은 실제 시나리오에서 예측 신뢰도를 높여 안전성을 강화합니다.
• 기술적 혁신: 단순히 데이터를 보정하는 것을 넘어, "지식 증류"와 "명시적 과거 재구성"을 결합하여 정보 부족 (Information Deficit) 문제를 근본적으로 해결하는 새로운 패러다임을 제시했습니다.
• 확장성: 플러그 앤 플레이 방식으로 다양한 예측 아키텍처에 적용 가능하여, 향후 자율주행 스택의 표준 구성 요소로 자리 잡을 잠재력이 있습니다.

결론적으로, TaPD 는 가변적인 관측 조건 하에서도 강건하고 정확한 궤적 예측을 가능하게 하여, 자율주행 차량의 안전한 계획 및 제어에 필수적인 기술적 진전을 이루었습니다.