Recover to Predict: Progressive Retrospective Learning for Variable-Length Trajectory Prediction

이 논문은 불완전한 관측 데이터에서도 정확한 궤적 예측을 가능하게 하기 위해, 누락된 정보를 점진적으로 복원하는 '점진적 회고 학습 (Progressive Retrospective Learning)' 프레임워크를 제안합니다.

핵심

🚗 핵심 문제: "반쪽짜리 정보"로 미래를 읽는 것

자율주행 차는 앞차의 과거 5 초간 움직임을 보고, 앞으로 6 초간 어디로 갈지 예측합니다. 하지만 현실은 완벽하지 않습니다.

• 상황 A: 앞차가 갑자기 내 차의 시야 (카메라) 에 들어왔습니다. (과거 데이터가 5 초가 아니라 1 초밖에 없습니다.)
• 상황 B: 앞차가 다른 차에 가려서 잠시 사라졌다가 다시 나타났습니다. (과거 데이터가 끊겨 있습니다.)

기존 기술들은 "완벽한 5 초 데이터"를 기준으로 훈련되어 있어서, 정보가 부족하면 예측이 엉망이 됩니다. 마치 5 분짜리 영화를 보고 줄거리를 예측하라고 했는데, 1 분짜리 클립만 주고 "이 영화가 어떻게 끝날지 맞춰봐"라고 하는 것과 비슷합니다.

💡 해결책: "PRF(점진적 회고 학습)"

이 논문은 PRF(Progressive Retrospective Framework) 라는 새로운 방법을 제안합니다. 이를 쉽게 비유하자면 **"조금씩 과거를 되돌아보며 정보를 채워 넣는 훈련"**입니다.

1. 한 번에 다 채우지 말고, 계단식으로 올라가세요 (Progressive Retrospective)

기존 방법은 "1 초짜리 데이터를 보고 바로 5 초짜리 데이터처럼 만들어라"라고 시켰습니다. 정보 차이가 너무 커서 머리가 터진 상태죠.
PRF 는 계단을 이용합니다.

• 1 초 데이터 → 2 초 데이터로 채우기
• 2 초 데이터 → 3 초 데이터로 채우기
• ...
• 4 초 데이터 → 5 초 데이터로 채우기

이렇게 작은 단계로 하나씩 정보를 보충하면, AI 가 훨씬 쉽게 "과거의 빈칸"을 채울 수 있습니다.

2. 두 명의 조력자: "정리꾼 (RDM)"과 "복원사 (RPM)"

이 계단식 훈련을 도와주는 두 가지 도구가 있습니다.

• RDM (회고 증류 모듈) = "요리사 (정리꾼)"

  • 역할: 부족한 정보 (1 초 데이터) 를 가지고, 마치 5 초 데이터를 다 본 것처럼 핵심 특징만 추출해냅니다.
  • 비유: 1 분짜리 뉴스만 보고도 "오늘의 핵심 이슈"를 요약해내는 편집자처럼, 중요한 정보만 남기고 나머지는 추론으로 채웁니다.

• RPM (회고 예측 모듈) = "시간 여행사 (복원사)"

  • 역할: 정리꾼이 추출한 특징을 바탕으로, 실제로 사라진 과거 시간 (빈칸) 을 상상해서 다시 만들어냅니다.
  • 비유: "이 사람이 지금 오른쪽으로 가고 있으니, 1 초 전에는 아마 왼쪽을 보고 있었겠지?"라고 추론해서 잃어버린 과거 장면을 그려냅니다.
  • 중요한 점: 이 장치는 실제 운전할 때는 작동하지 않습니다. 오직 훈련할 때만 "과거를 복원하는 연습"을 시켜서 AI 의 머리를 단련시키는 역할만 합니다.

3. RSTS (롤링 스타트 훈련) = "한 번의 영화로 여러 번 연습하기"

기존에는 긴 영상 (50 초) 을 한 번만 잘라서 훈련했습니다. 하지만 PRF 는 한 번의 영상에서 시작점을 계속 바꿔가며 여러 개의 훈련 데이터를 만듭니다.

• 비유: 긴 영화를 볼 때, 처음부터 끝까지 보는 것뿐만 아니라 "중간 10 분부터 끝까지", "30 분부터 끝까지" 등 시작점을 바꿔가며 여러 번 연습하는 것입니다. 이렇게 하면 적은 데이터로도 AI 가 훨씬 똑똑해집니다.

---

🏆 왜 이것이 중요한가요?

1. 안전성 향상: 앞차가 갑자기 나타나거나 가려져도, 자율주행 차가 당황하지 않고 정확한 예측을 할 수 있어 사고 위험이 줄어듭니다.
2. 효율성: 별도의 모델을 여러 개 만들지 않아도 됩니다. 하나의 모델이 어떤 상황 (짧은 정보든 긴 정보든) 이든 잘 처리합니다.
3. 성능: 실험 결과, 기존 최고 기술 (State-of-the-art) 보다 훨씬 정확한 예측을 보여주었습니다.

📝 한 줄 요약

"정보 부족으로 앞차의 움직임을 예측하기 어려울 때, PRF 는 AI 에게 '작은 단계로 과거를 하나씩 되돌아보며 빈칸을 채우는 연습'을 시켜, 마치 모든 정보를 다 가진 것처럼 정확하게 미래를 예측하게 합니다."

이 기술은 자율주행차가 복잡한 도시 환경에서도 더 안전하고 똑똑하게 운전할 수 있는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 시스템에서 궤적 예측 (Trajectory Prediction) 은 안전한 경로 계획과 충돌 방지를 위해 필수적입니다. 기존 연구들은 주로 고정된 길이의 완전한 관측 데이터를 입력으로 가정하고 예측 정확도를 최적화해 왔습니다.

그러나 실제 도로 환경에서는 다음과 같은 이유로 가변 길이 (Variable-length) 의 불완전한 관측 데이터가 빈번하게 발생합니다:

• 차량이 자차량 (Ego vehicle) 의 감지 범위 (Perception range) 에 새로 진입할 때.
• 가림 (Occlusion) 이나 추적 오류로 인해 차량이 잠시 손실된 후 다시 감지될 때.

이러한 불완전한 데이터 (짧은 관측 구간) 를 기존 고정 길이 모델에 직접 입력하면, 정보의 큰 격차 (Information gap) 로 인해 예측 성능이 급격히 저하됩니다. 기존 해결책인 'Isolated Training (IT, 각 길이별 별도 모델 학습)'은 연산 및 메모리 오버헤드가 크고, '단일 매핑 (One-shot mapping)' 방식은 짧은 관측 구간에서 정확한 표현을 학습하기 어렵다는 한계가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 **점진적 회고 학습 프레임워크 (Progressive Retrospective Framework, PRF)**를 제안합니다. 이는 불완전한 관측 데이터를 완전한 관측 데이터의 특징 (Feature) 에 점진적으로 정렬 (Align) 하는 방식입니다.

핵심 구성 요소:

1. 점진적 회고 프레임워크 (PRF):

   • 불완전한 관측을 한 번에 완전한 관측으로 매핑하는 대신, **연속된 회고 단위 (Retrospective Units)**를 통해 단계적으로 특징을 정렬합니다.
   • 각 단계는 관측 길이를 $\Delta T$만큼 늘려가며, 짧은 관측을 조금씩 더 긴 관측으로 복원합니다. 이는 학습 난이도를 낮추고 정보 격차를 줄입니다.

2. 회고 단위 (Retrospective Unit) 의 구성:

   • 회고 증류 모듈 (RDM, Retrospective Distillation Module):
     • 불완전한 관측의 특징을 더 긴 관측의 특징으로 증류 (Distill) 합니다.
     • 공유된 인코더 (Shared Encoder) 에서 추출된 특징 간의 충돌을 피하기 위해 잔차 기반 증류 (Residual-based Distillation) 전략을 사용합니다. 즉, 누락된 시간 구간의 특징을 학습 가능한 잔차 (Residual) 로 모델링하여 기존 특징에 더합니다.
   • 회고 예측 모듈 (RPM, Retrospective Prediction Module):
     • RDM 에서 증류된 특징을 사용하여 누락된 과거 시간 구간 ($\Delta T$) 을 복원합니다.
     • Decoupled Query 전략을 사용합니다:
       • Anchor-Free Mode Queries: 다중 모드 (Multimodal) 의 초기 궤적 제안 (Proposal) 생성.
       • Anchor-Based State Queries: 제안된 궤적을 기준 (Anchor) 으로 하여 시간적 역동성을 학습하고 정교화 (Refinement).
     • Mamba 구조를 사용하여 상태 쿼리의 시간적 의존성을 모델링합니다.
     • RPM 은 학습 시 RDM 에 대한 암시적 감독 (Implicit Supervision) 을 제공하며, 추론 시에는 비활성화되어 추가 비용이 발생하지 않습니다.

3. 롤링 스타트 학습 전략 (RSTS, Rolling-Start Training Strategy):

   • 하나의 시퀀스에서 여러 개의 학습 샘플을 생성하여 데이터 효율성을 극대화합니다.
   • 예를 들어, 길이가 50 인 시퀀스로부터 길이가 40, 30, 20 인 관측 구간들을 시작점으로 하여 다양한 길이의 학습 데이터를 생성합니다.
   • 이는 짧은 관측 구간일수록 더 많은 학습 데이터가 필요하다는 직관과 일치하며, 데이터 활용도를 높입니다.

3. 주요 기여 (Key Contributions)

1. PRF 설계: 가변 길이 예측을 위해 불완전한 관측을 완전한 관측에 점진적으로 정렬하는 새로운 프레임워크를 제안했습니다.
2. RDM 및 RPM 모듈: 특징 증류와 누락된 과거 궤적 복원을 수행하는 전용 모듈을 설계하여 학습 난이도를 낮추고 성능을 향상시켰습니다.
3. RSTS 전략: 단일 시퀀스에서 다중 샘플을 생성하여 데이터 효율성을 높이는 학습 전략을 도입했습니다.
4. SOTA 성능 달성: Argoverse 2 및 Argoverse 1 데이터셋에서 광범위한 실험을 통해, 기존 방법들 (DTO, FLN, LaKD 등) 보다 우수한 성능을 입증하고 표준 벤치마크에서도 최상위 (State-of-the-Art) 결과를 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: Argoverse 2 (6 개 도시, 25 만 개 시나리오) 및 Argoverse 1 (마이애미/피츠버그, 32 만 개 시나리오).
• 성능 비교:
  • 가변 길이 예측: 짧은 관측 구간 (예: 10 스텝) 에서 기존 최첨단 방법 (DeMo, QCNet 등) 과 비교해 mADE6 및 mFDE6 지표에서 압도적인 개선을 보였습니다. 특히 관측 길이가 짧을수록 성능 격차가 커지는 기존 방법들의 한계를 극복했습니다.
  • 표준 길이 예측: 완전한 관측 데이터를 사용할 때도 PRF 를 적용한 모델 (DeMo-PRF) 은 Argoverse 2 및 1 리더보드에서 SOTA 성능을 기록했습니다.
• Ablation Study:
  • RDM 과 RPM 을 모두 사용할 때 가장 큰 성능 향상이 있었습니다.
  • 점진적 증류 (Progressive Distillation) 가 직접 매핑 (Direct Distillation) 보다 짧은 관측 구간에서 훨씬 효과적이었으며, t-SNE 시각화를 통해 특징 공간의 정렬이 더 잘됨을 확인했습니다.
  • RSTS 를 적용함으로써 데이터 효율성이 크게 향상되었습니다.
• 추론 효율성: PRF 는 학습 시에만 추가 모듈이 사용되며, 추론 시에는 RDM/RPM 이 비활성화되므로 추가적인 계산 비용이 거의 발생하지 않습니다. (관측 길이가 짧아질 때 약간의 지연 시간 증가가 있으나, 예측 정확도 향상에 비해 수용 가능한 수준입니다.)

5. 의의 및 결론 (Significance)

이 논문은 자율주행 환경에서 흔히 발생하는 불완전한 관측 데이터에 대한 강력한 해결책을 제시합니다.

• 실용성: 기존 모델 (Plug-and-play) 에 쉽게 통합할 수 있어 적용이 용이합니다.
• 효율성: 별도의 모델을 여러 개 학습할 필요가 없으며 (IT 방식 대비), 단일 모델로 모든 길이의 입력을 처리할 수 있습니다.
• 성능: 정보 격차가 큰 짧은 관측 구간에서도 높은 예측 정확도를 보장하여, 자율주행 차량의 안전성과 계획 (Planning) 능력을 크게 향상시킵니다.

결론적으로, PRF 는 가변 길이 궤적 예측 문제를 '회복 (Recover)'을 통해 '예측 (Predict)'하는 새로운 패러다임을 제시하며, 실제 도로 환경에서의 자율주행 기술 발전에 중요한 기여를 합니다.