TPK: Trustworthy Trajectory Prediction Integrating Prior Knowledge For Interpretability and Kinematic Feasibility

이 논문은 자율주행의 신뢰성을 높이기 위해 차량, 보행자, 자전거 등 모든 교통 참여자의 상호작용 및 운동학적 사전 지식을 통합하고, DG-SFM 규칙 기반 점수를 통해 상호작용의 해석 가능성을 높이며 물리적으로 실행 가능한 궤적 예측을 가능하게 하는 TPK 모델을 제안합니다.

핵심

이 논문은 **'자율주행차가 주변 상황을 얼마나 똑똑하고 안전하게 예측할 수 있을까?'**라는 질문에 답하는 연구입니다.

기존의 인공지능(AI)은 엄청난 데이터를 보고 학습해서 길에서 차나 사람이 어떻게 움직일지 예측하는 데는 매우 능숙했습니다. 하지만 문제는 **"예측이 물리적으로 불가능하거나, 인간의 상식과 맞지 않을 때"**입니다. 마치 "사람이 벽을 뚫고 지나가거나, 차가 갑자기 90 도 회전해서 날아다니는" 같은 엉뚱한 예상을 할 수도 있다는 뜻이죠.

이 논문은 **"정확함"보다 "믿을 수 있음 (Trustworthiness)"**에 초점을 맞춰, AI 의 예측을 더 안전하고 이해하기 쉽게 만드는 방법을 제안합니다.

핵심 내용을 요리책에 비유해서 설명해 드릴게요.

---

🍳 요리책 비유: "맛있는 요리 vs 안전한 요리"

기존의 AI 모델은 요리 실력이 뛰어난 요리사입니다. 수많은 레시피 (데이터) 를 보고 맛을 내는 법을 배웠죠. 하지만 이 요리사는 가끔 "소금 10 킬로그램을 넣는" 식으로 물리적으로 불가능한 요리를 하거나, **"사람이 싫어하는 이상한 조합"**을 만들어내기도 합니다.

이 논문은 이 요리사에게 **두 가지 새로운 규칙 (지식)**을 추가해서, 비록 맛은 약간 덜할지라도 절대 독이 없는 안전한 요리를 만들게 하자는 것입니다.

1. 첫 번째 규칙: "주변 상황을 제대로 보는 눈" (상호작용 예측)

• 문제점: 기존 AI 는 길에서 차가 오는데, 뒤에서 아주 멀리서 오는 차를 너무 중요하게 여기고, 바로 앞의 위험한 차는 무시하는 경우가 있었습니다. 마치 사람이 뒤에서 다가오는 사기꾼은 못 보고, 멀리서 웃고 있는 사람만 보고 웃는 것과 같습니다.
• 해결책 (DG-SFM): 연구진은 AI 에게 **"사람의 직관 (상식)"**을 가르쳤습니다.
  • "앞에서 빠르게 다가오는 차는 위험하니까 주목해야 해!"
  • "뒤에 주차된 차는 그냥 지나가면 되니까 무시해도 돼."
  • 이걸 DG-SFM이라는 새로운 규칙으로 만들었습니다.
• 효과: AI 가 왜 그렇게 예측했는지 인간이 이해할 수 있게 되었습니다. "아, 이 차가 위험해서 피하는구나"라고 설명이 가능해지니, 운전자가 AI 를 더 신뢰하게 됩니다.

2. 두 번째 규칙: "물리 법칙을 지키는 몸" (운동 가능성)

• 문제점: AI 가 예측한 길은 차가 갑자기 90 도 회전하거나, 사람이 1 초에 100m 를 뛰는 것처럼 물리적으로 불가능한 경우가 많았습니다. 마치 요리사가 "불에 타지 않는 빵"을 만드는 것처럼 불가능한 일을 시도하는 셈이죠.
• 해결책 (운동학적 모델): AI 가 차나 사람의 움직임을 예측할 때, 물리 법칙 (가속도, 회전 반경 등) 을 어기지 못하게 막아주는 장치를 달았습니다.
  • 차와 자전거: 이미 잘 알려진 '자전거 모델'을 사용했습니다.
  • 보행자 (사람): 사람 걷는 방식은 복잡해서 기존 모델이 잘 맞지 않았습니다. 그래서 연구진은 **새로운 '더블 적분기 모델'**을 개발했습니다. 이는 사람이 가속하고 속도를 조절하는 자연스러운 움직임을 가장 잘 따라잡는 방법입니다.
• 효과: AI 가 예측한 길은 차가 날아다니지 않고, 사람이 벽을 뚫지 않습니다. 실제 도로에서 실행 가능한 안전한 길만 예측하게 됩니다.

---

📊 실험 결과: "완벽함 vs 안전함"

연구진은 이 새로운 방법을 'Argoverse 2'라는 거대한 교통 데이터로 테스트했습니다.

1. 믿을 수 있는 예측: AI 가 "위험하다"고 생각한 상황과 실제 위험한 상황이 일치하는 비율이 높아졌습니다. 즉, AI 가 "왜 그렇게 생각했는지"를 설명할 수 있게 되어 신뢰도가 올라갔습니다.
2. 불가능한 길 제거: 기존 AI 는 예측한 길 중 88% 가 물리적으로 불가능한 경우가 있었지만, 이 새로운 모델은 **0%**로 만들었습니다.
3. 약간의 트레이드오프: 물리 법칙을 지키다 보니, 아주 미세하게는 "정확도 (숫자 점수)"가 조금 떨어지기도 했습니다. 하지만 "불가능하고 위험한 예측"을 아예 없애버린 것이 훨씬 더 중요합니다.

💡 결론

이 논문은 자율주행차의 미래를 위해 **"완벽한 점수"보다 "안전하고 설명 가능한 예측"**이 더 중요하다고 말합니다.

• 기존 AI: "나는 100 점짜리 예측을 했지만, 차가 벽을 뚫고 지나갈 수도 있어."
• 이 논문의 AI: "나는 98 점짜리 예측을 했지만, 물리 법칙을 지키고 인간의 상식과도 일치해서 절대 위험하지 않아."

결국, 우리는 자율주행차가 매우 똑똑할 뿐만 아니라, 우리가 이해할 수 있고 믿을 수 있는 친구가 되어야 한다는 메시지를 전달합니다.

기술 요약

1. 문제 정의 (Problem)

자율주행에서 궤적 예측 (Trajectory Prediction) 은 주변 도로 사용자의 움직임을 예측하여 안전한 주행 경로를 계획하는 핵심 기술입니다. 그러나 기존 심층 학습 (Deep Learning) 기반 모델들은 다음과 같은 신뢰성 (Trustworthiness) 문제를 안고 있습니다:

• 물리적 비현실성: 학습 데이터의 노이즈나 비현실적인 표본 (Ground Truth) 을 학습하여, 물리 법칙 (가속도, 곡률 등) 을 위반하는 궤적을 예측할 수 있습니다.
• 해석 불가능성 (Uninterpretability): 모델이 왜 특정 에이전트 (보행자, 차량 등) 에 주의를 기울였는지 그 이유를 인간이 이해하기 어렵습니다. 예를 들어, 실제 상황과 무관한 후방 차량에 높은 가중치를 두는 등 인간의 직관과 배치된 예측을 할 수 있습니다.
• 혼합 교통 환경의 부재: 기존 연구는 주로 보행자용 상호작용 모델이나 차량용 운동학 모델을 별도로 다루어, 차량, 보행자, 자전거가 공존하는 혼합 교통 환경에 일반화되지 못했습니다.

2. 제안 방법론 (Methodology)

저자들은 HPTR(Hierarchical Transformer) 을 백본 (Backbone) 으로 사용하여, **상호작용 사전 지식 (Interaction Prior)**과 **운동학 제약 (Kinematic Constraints)**을 통합한 새로운 아키텍처를 제안합니다.

A. 해석 가능한 인코더 (Interpretable Encoder)

• 클래스별 에이전트 간 상호작용 레이어 (Class-Specific Agent-to-Agent Layer): 차량, 보행자, 자전거 등 에이전트 클래스별로 별도의 상호작용 레이어를 두어, 각 클래스의 고유한 행동 패턴을 전문적으로 학습하도록 설계했습니다.
• DG-SFM (Directed-Gradient Social Force Model):
  • 기존 SFM(Social Force Model) 은 방향성을 고려하지 않아 앞/뒤 에이전트를 동일하게 처리하는 한계가 있었습니다.
  • 제안된 DG-SFM은 에이전트의 이동 방향과 속도를 고려하여 '개인 공간 (Personal Space)' 내의 위험도를 계산합니다. 접근 속도가 빠르거나 충돌 위험이 높은 에이전트에 높은 상호작용 중요도 (Interaction Importance Score) 를 부여합니다.
• 사전 지식 통합 방법 비교:
  • MnR (Multiply-and-Renormalize): 예측된 어텐션 점수와 사전 지식 점수를 곱하고 정규화합니다.
  • GnL (Gating-and-Loss): 게이트 메커니즘을 통해 사전 지식과 학습된 어텐션 사이의 가중치를 동적으로 조절하며, KL 발산 (Kullback-Leibler Divergence) 손실 함수를 추가하여 네트워크가 사전 지식을 무시하지 않도록 유도합니다. 실험 결과 GnL이 더 높은 해석 가능성을 보였습니다.

B. 실현 가능한 디코더 (Feasible Decoder)

• 클래스별 운동학 레이어 (Class-Specific Kinematic Layers):
  • 차량 및 자전거: 계산 효율성이 높고 매개변수 추정이 불필요한 Unicycle 모델을 사용합니다.
  • 보행자 (Novel Contribution): 기존 단일 적분기 (Single Integrator) 는 가속도 제약을 무시하고, Unicycle 모델은 보행자의 유연한 움직임을 제한합니다. 저자들은 Double Integrator 모델 (x, y 축 가속도를 제어 입력으로 사용) 을 제안했습니다. 이 모델은 가속도 한계를 준수하면서도 보행자의 유연한 방향 전환을 가능하게 하여 가장 현실적인 결과를 제공합니다.
• 제약 조건 적용: 네트워크가 출력한 제어 입력 (가속도, 조향 각도 등) 에 물리적 한계 (최대 가속도, 최대 속도 등) 를 적용하여, 물리적으로 불가능한 궤적이 생성되지 않도록 보장합니다.

3. 주요 기여 (Key Contributions)

1. 혼합 교통 환경용 새로운 상호작용 사전 지식 (DG-SFM): 모든 에이전트 클래스 (차량, 보행자, 자전거) 에 적용 가능하며, 인간의 직관과 부합하는 방향성 기반 상호작용 중요도 점수를 제공합니다.
2. 해석 가능성 향상: 제안된 DG-SFM 을 어텐션 메커니즘에 통합 (특히 GnL 방식) 하여, 모델의 예측이 인간의 직관과 얼마나 일치하는지 정량적으로 평가하고 해석할 수 있게 했습니다.
3. 운동학적 실현 가능성 보장: 모든 에이전트 클래스에 맞춤형 운동학 레이어를 도입했으며, 특히 보행자용 Double Integrator 모델을 제안하여 물리 법칙을 위반하지 않는 궤적 예측을 보장합니다.

4. 실험 결과 (Results)

Argoverse 2 데이터셋을 사용하여 HPTR 을 베이스라인으로 비교 평가했습니다.

• 해석 가능성 (Interpretability):
  • DG-SFM 기반의 어텐션 점수와 모델의 예측 오차 (minADE) 사이에 강한 상관관계가 발견되었습니다. 즉, 사전 지식과 어텐션 분리가 클수록 예측이 틀릴 확률이 높다는 것을 의미하며, 이는 모델의 신뢰성을 모니터링하는 지표로 활용 가능합니다.
  • GnL 통합 방식이 MnR 보다 더 높은 상관관계를 보였습니다.
• 실현 가능성 (Feasibility):
  • 기존 HPTR 모델은 88% 의 궤적에서 물리적 비현실성 (가속도/곡률 초과) 을 보였습니다.
  • 제안된 모델은 0% 의 비현실적 궤적을 생성하여 물리 법칙을 완벽하게 준수합니다.
  • 보행자 모델 비교에서 Double Integrator가 단일 적분기나 Unicycle 모델보다 현실적인 궤적 재현 (Reproduction) 에 가장 우수했습니다.
• 정확도 (Accuracy):
  • 운동학 제약으로 인해 정확도 지표 (minFDE 등) 는 기존 HPTR 보다 약간 감소했습니다.
  • 그러나 이는 데이터셋 자체에 포함된 물리적으로 불가능한 노이즈를 학습하지 않았기 때문이며, 약간의 정확도 하락을 감수하더라도 물리적으로 실현 가능하고 해석 가능한 예측을 제공하는 것이 자율주행의 실용적 배포에 더 중요함을 강조합니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 궤적 예측 분야에서 단순한 정확도 향상을 넘어 **신뢰성 (Trustworthiness)**을 확보하는 새로운 패러다임을 제시합니다.

• 안전성 강화: 물리적으로 불가능한 궤적을 제거하여 안전 시스템의 신뢰도를 높입니다.
• 인간 - AI 협업: 모델의 의사결정 근거 (어텐션) 를 인간이 이해할 수 있도록 만들어, 예외 상황에서의 안전 운전자의 개입이나 시스템 검증에 기여합니다.
• 일반화: 차량, 보행자, 자전거를 아우르는 통합된 프레임워크를 제공하여 복잡한 도시 교통 환경에서의 적용 가능성을 높였습니다.

결론적으로, TPK 는 데이터 기반 모델의 한계를 보완하고, 물리 법칙과 인간 직관을 통합함으로써 실제 자율주행 시스템에 배포 가능한 신뢰할 수 있는 예측 모델의 토대를 마련했습니다.