ECAM: A Contrastive Learning Approach to Avoid Environmental Collision in Trajectory Forecasting

이 논문은 기존 궤적 예측 모델에 통합되어 환경적 충돌을 방지하는 능력을 크게 향상시키는 대비 학습 기반의 ECAM(환경 충돌 회피 모듈) 을 제안하고 ETH/UCY 데이터셋을 통해 그 유효성을 입증합니다.

핵심

🚶‍♂️ 핵심 아이디어: "눈이 먼 로봇"에서 "주변을 잘 보는 로봇"으로

상상해 보세요. 자율주행 자동차나 로봇이 길을 걷는 사람들을 예측해야 한다고 가정해 봅시다.
기존의 최신 AI 모델들은 **"사람들이 어디로 갈지"**는 아주 잘 예측했습니다. 하지만 치명적인 단점이 하나 있었습니다. 바로 **"벽이나 장애물은 무시하고 통과해 버린다"**는 점입니다.

비유: 마치 눈이 가려진 채로 길을 걷는 사람처럼요. "저기 저 친구가 가니까 나도 저쪽으로 가자"라고 생각해서 길을 잘 예측하지만, 정작 앞에 있는 기둥이나 벽은 보지 못하고 그대로 들이받는 꼴이죠.

이 논문은 이런 실수를 막기 위해 ECAM이라는 새로운 장치를 제안합니다. 이 장치는 AI 모델이 **"장애물을 피하는 법"**을 스스로 배우도록 도와줍니다.

---

🛠️ ECAM 은 어떻게 작동할까요? (두 가지 비밀 무기)

ECAM 은 AI 를 훈련시킬 때만 사용하는 '특별한 코치' 역할을 합니다. 두 가지 핵심 기술을 섞어서 작동합니다.

1. MapNCE: "위험 구역 찾기 게임" (대조 학습)

이 기술은 AI 에게 **"안전한 길"**과 **"위험한 길"**을 구분하는 게임을 시킵니다.

• 게임 규칙: AI 는 사람이 실제로 걸어갈 길 (안전한 길) 을 보고, 주변에 있는 장애물 (벽, 기둥 등) 바로 옆의 위험한 길들을 비교합니다.
• 학습 방식: "이 길은 안전해! (O)"라고 알려주고, "저기 벽 바로 옆은 위험해! (X)"라고 가르칩니다.
• 효과: AI 는 단순히 "사람이 어디로 갈지"만 외우는 게 아니라, **"어디로 가면 안 되는지"**를 머릿속에 지도처럼 그려서 기억하게 됩니다.

비유: 마치 비행기 조종사 훈련과 같습니다. 조종사는 실제 비행 경로뿐만 아니라, "이곳은 산이 있어서 절대 날아갈 수 없다"는 위험 구역도 함께 학습해야 합니다. ECAM 은 AI 에게 그 '위험 구역 지도'를 스스로 그리게 해주는 것입니다.

2. EnvColLoss: "부딪히면 벌점 주기" (환경 충돌 손실)

게임만으로는 부족할 수 있습니다. 그래서 두 번째로 벌칙을 줍니다.

• 규칙: AI 가 예측한 10 개의 미래 경로 중, 하나라도 벽에 부딪히는 경로가 있으면 AI 는 큰 벌점을 받습니다.
• 효과: AI 는 "아, 부딪히는 경로를 만들면 점수가 깎이네? 그럼 아예 부딪히지 않는 경로만 만들어야겠다"라고 생각하게 됩니다.

비유: 축구 경기에서 골키퍼가 공을 막는 것과 비슷합니다. 단순히 공이 어디로 날아갈지 예측하는 게 아니라, "공이 골대에 들어가는 순간 게임 오버"라는 규칙이 있기 때문에, 골키퍼는 부지런히 공을 막아내려고 노력하게 됩니다.

---

🚀 이 기술이 가져온 변화

저자들은 이 ECAM 을 기존에 가장 잘하는 AI 모델들 (Diffusion, Transformer 등) 에 붙여봤습니다. 결과는 놀라웠습니다.

1. 충돌 감소 폭탄: 기존 모델들이 보행자나 장애물과 부딪히는 비율이 약 40~50%나 줄어든 것입니다.
   • 예전: 100 번 중 10 번은 벽에 부딪혔음.
   • 이제: 100 번 중 4~5 번만 부딪힘. (거의 안 부딪힘!)
2. 정확도 유지: "벽을 피하라고 했으니, 사람 이동 경로 예측이 엉망이 되지 않았을까?" 걱정하실 수 있습니다. 하지만 예측 정확도는 거의 변하지 않았습니다.
   • 비유: "길을 잘 찾으면서도, 돌부리에 걸리지 않게 걷는 법을 배운 것"입니다.

💡 왜 이것이 중요한가요?

자율주행차나 로봇이 사람을 예측할 때, **"정확한 위치"**도 중요하지만 **"안전하게 부딪히지 않는 것"**이 훨씬 더 중요합니다.

• 기존: "사람이 저기 갈 거야" (하지만 그 길에 벽이 있어서 부딪힘) → 치명적 사고
• ECAM 적용 후: "사람이 저기 갈 거야. 근데 그 길에 벽이 있으니 다른 길로 우회해서 예측하자" → 안전한 주행

📝 한 줄 요약

이 논문은 **"AI 가 길을 예측할 때, 벽이나 장애물을 무시하지 않고 자연스럽게 피할 수 있도록 가르쳐주는 새로운 교육 방법 (ECAM)"**을 제안했습니다. 덕분에 자율주행차와 로봇이 더 안전하고 현실적인 행동을 할 수 있게 되었습니다.

이 기술은 훈련할 때만 쓰이고, 실제 작동할 때는 추가적인 계산 부담 없이 바로 적용할 수 있어 매우 실용적입니다.

기술 요약

1. 문제 정의 (Problem)

보행자 궤적 예측 (Trajectory Forecasting) 은 자율 주행, 로봇 공학, 감시 시스템 등 다양한 분야에서 핵심적인 역할을 합니다. 기존 연구들은 보행자 간의 사회적 상호작용, 다중 모드 예측 (다양한 미래 경로), 개인의 의도 등을 모델링하는 데 주력해 왔습니다.

그러나 **환경적 맥락 (Environmental Context)**에 대한 고려가 부족하여, 예측된 궤적이 실제 장애물 (건물, 벽, 가드레일 등) 과 충돌하는 문제가 자주 발생합니다. 기존 방법론들은 환경 정보를 활용하더라도 충돌 회피를 명시적으로 학습하지 않거나, 계산 비용이 많이 들거나, 수동으로 설계된 규칙에 의존하는 한계가 있었습니다. 따라서 효율적이고 확장 가능한 방식으로 환경과의 충돌을 방지하는 학습 메커니즘이 필요합니다.

2. 제안 방법론: ECAM (Environmental Collision Avoidance Module)

저자들은 기존 궤적 예측 모델에 통합 가능한 플러그인 모듈인 ECAM을 제안합니다. ECAM 은 학습 시간 (Training time) 에만 사용되며 추론 (Inference) 시에는 추가적인 계산 오버헤드가 발생하지 않습니다. ECAM 은 크게 두 가지 핵심 구성 요소로 이루어져 있습니다.

가. MapNCE (Map Noise-Contrastive Estimation)

• 목적: 모델이 보행자의 실제 미래 궤적과 장애물 주변의 충돌 위험 구역 (Negative samples) 을 구별할 수 있도록 지도 (Map) 정보를 인코딩합니다.
• 구조:
  • Query Encoder: 기존 모델의 은닉 표현 (Hidden representation) 을 쿼리 벡터로 변환합니다.
  • Key Encoder: 양의 샘플 (실제 미래 위치 + 작은 가우시안 노이즈) 과 음의 샘플 (장애물 경계선 근처에서 생성된 위치) 을 키 벡터로 변환합니다.
  • 학습 방식: 자기지도 학습 (Self-supervised) 기반의 대비 학습 (Contrastive Learning) 을 수행합니다. 모델은 쿼리 벡터와 양의 샘플 키 벡터 간의 유사도를 최대화하고, 음의 샘플 (장애물 근처) 키 벡터와의 유사도를 최소화하도록 학습됩니다.
• 샘플링 전략: 장애물 컨투어 (Contour) 를 기반으로 음의 샘플을 자동 생성하여, 모델이 장애물 근처를 피해야 함을 명시적으로 학습시킵니다.

나. Environmental Collision Loss (EnvColLoss)

• 목적: 생성된 모든 예측 궤적 샘플이 장애물과 충돌하지 않도록 직접적으로 패널티를 부과합니다.
• 동작: 기존 다중 모드 예측에서 주로 사용되는 'Variety Loss'는 가장 좋은 (Best-of-N) 궤적에만 그라디언트를 전파하지만, EnvColLoss 는 모든 충돌하는 궤적에 대해 평균 제곱 오차 (MSE) 를 계산하여 패널티를 줍니다.
• 효과: 이를 통해 모델은 단일 최적 경로뿐만 아니라 생성된 모든 가능한 경로에서 환경 충돌을 피하도록 학습됩니다.

3. 주요 기여 (Key Contributions)

1. 대비 학습 기반의 충돌 회피 모듈: 사회적 상호작용뿐만 아니라 환경적 제약 (장애물) 을 명시적으로 학습하기 위해 MapNCE 와 EnvColLoss 를 결합한 새로운 모듈을 제안했습니다.
2. 범용성 및 효율성: ECAM 은 학습 시에만 작동하며, 기존 궤적 예측 모델 (Diffusion, Transformer, GCN 등) 에 쉽게 통합할 수 있어 추론 시 계산 비용이 증가하지 않습니다.
3. 성능 입증: ETH/UCY 데이터셋을 통해 다양한 최신 모델 (SingularTrajectory, EigenTrajectory-AgentFormer, EigenTrajectory-SGCN) 에 ECAM 을 적용했을 때, 충돌률이 획기적으로 감소함을 정량적 및 정성적으로 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: ETH/UCY (ETH, Hotel, Univ, Zara1, Zara2) 5 개 장면을 사용한 Leave-one-out 방식 평가.
• 주요 지표:
  • ADE/FDE (평균/최종 변위 오차): ECAM 적용 시 예측 정확도 (ADE/FDE) 는 1~4cm 수준으로 미세하게 감소했으나, 여전히 경쟁력 있는 수준을 유지했습니다.
  • ECFL (Environment Collision-Free Likelihood): 충돌이 없는 궤적의 비율을 나타내는 지표로, ECAM 적용 시 모든 모델에서 크게 향상되었습니다.
• 충돌 감소율:
  • 기존 최신 모델들의 충돌 발생률을 약 40~50% 감소시켰습니다.
  • 특히 Diffusion 기반 모델인 SingularTrajectory + ECAM은 평균 ECFL 점수 **96.06%**를 기록하며 가장 우수한 성능을 보였습니다.
  • Graph Convolution 기반 모델 (E-SGCN) 의 경우 충돌률이 약 43% 감소했습니다.
• 정성적 분석: 시각적 결과 (Fig. 1, Fig. 3) 에서 ECAM 이 적용된 모델은 장애물을 명확히 피하는 자연스러운 궤적을 생성하는 반면, 기존 모델은 장애물과 겹치는 예측을 하는 경우가 많았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 우선: 자율 주행이나 로봇 공학과 같은 안전이 중요한 응용 분야에서는 예측 정확도 (ADE/FDE) 의 미세한 손실보다 충돌 회피가 훨씬 더 중요합니다. ECAM 은 이러한 안전 요구사항을 충족시키는 실용적인 솔루션을 제공합니다.
• 학습 메커니즘의 혁신: 단순히 "올바른" 경로만 학습하는 것을 넘어, "피해야 할" 공간 (장애물) 을 대비 학습을 통해 명시적으로 가르침으로써 모델의 공간 추론 능력을 강화했습니다.
• 향후 과제: 현재 ECAM 은 정적 장애물 (Static obstacles) 만 고려하고 있으나, 향후 차량 등 **동적 장애물 (Dynamic obstacles)**을 처리할 수 있도록 확장하고, 충돌 회피와 예측 정확도 간의 균형을 더 정교하게 맞추기 위한 커리큘럼 학습 (Curriculum Learning) 등의 연구가 필요하다고 제안합니다.

이 논문은 궤적 예측 분야에서 환경적 안전성을 확보하기 위한 새로운 패러다임을 제시하며, 실제 배포 가능한 안전 시스템 개발에 중요한 기여를 하고 있습니다.