A Spatio-temporal Graph Network Allowing Incomplete Trajectory Input for Pedestrian Trajectory Prediction

이 논문은 과거 관측 데이터가 불완전한 보행자의 미래 궤적도 예측할 수 있도록 환경 내 정적 장애물을 노드로 포함하고 클러스터링을 적용한 시공간 그래프 네트워크 STGN-IT 를 제안하여 기존 알고리즘의 한계를 극복하고 예측 정확도를 향상시켰음을 보여줍니다.

핵심

이 논문은 **" Robots 가 사람을 만나고 피할 때, 사람이 잠시 시야에서 사라져도 길을 잘 예측하는 새로운 방법"**을 소개합니다.

기존의 로봇 기술은 "사람이 한 번이라도 시야에서 사라지면 (예: 다른 사람 뒤에 가려지거나), 그 사람의 움직임을 더 이상 예측하지 않고 무시했다"는 큰 약점이 있었습니다. 이 논문은 그 문제를 해결하기 위해 STGN-IT라는 새로운 시스템을 개발했습니다.

이 복잡한 기술 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎬 비유: "눈이 가려진 배우를 위한 최고의 감독"

상상해 보세요. 한 무대 (도로) 에서 여러 배우 (보행자) 들이 춤을 추고 있습니다. 로봇은 이 무대를 지켜보며 "다음에 누가 어디로 갈까?"를 예측해야 합니다.

1. 기존 방법의 문제점: "눈이 가려지면 사라진 줄 안다"

기존의 로봇 (알고리즘) 은 마치 완벽한 기억력을 가진 감독처럼 행동했습니다. 하지만 한 가지 치명적인 단점이 있었습니다.

• 상황: 배우 A 가 다른 배우 뒤에 잠시 가려져서 무대 위에서 보이지 않게 됩니다.
• 기존 로봇의 반응: "어? 배우 A 가 사라졌네? 아, 그 사람은 이제 무대에 없는 거야. 무시해!"
• 결과: 로봇은 배우 A 가 다시 나타났을 때, 그가 어디로 갈지 전혀 모릅니다. 만약 로봇이 배우 A 의 앞으로 지나가려 한다면, 충돌 사고가 날 수 있습니다.

2. 이 논문의 해결책 (STGN-IT): "가려져도 기억하는 천재 감독"

이 논문이 제안한 STGN-IT는 조금 다릅니다. 배우가 잠시 가려져도 "아, 저 사람은 지금 저 뒤에 숨어 있는 거야"라고 기억합니다.

• 비유 1: "빈자리 표시 (Pad Mode)"

  • 기존 방식은 배우가 사라지면 빈자리를 지워버렸지만, STGN-IT 는 **"여기 배우가 있었지만 지금은 안 보여요"**라고 빈자리에 표시를 해둡니다.
  • 마치 연극 대본에 "배우 A, 잠시 가림"이라고 적어두는 것과 같습니다. 그래서 로봇은 그 배우가 다시 나타날 때, 그가 어디로 갈지 계속 예측할 수 있습니다.

• 비유 2: "벽과 장애물을 친구로 만들기"

  • 로봇은 사람뿐만 아니라 주변의 벽, 기둥, 장애물도 함께 고려합니다.
  • STGN-IT 는 무대 위의 장애물을 마치 **"다른 배우"**처럼 취급합니다. "아, 저 벽이 있으면 사람은 그쪽으로 갈 수 없겠지?"라고 생각해서, 사람과 장애물의 관계를 그래프 (연결고리) 로 그려냅니다.
  • 한 번 예측, 두 번 예측: 로봇은 먼저 "사람이 어디로 갈까?"를 대략적으로 예측한 뒤, "아, 그 길에 벽이 있네?"라고 생각해서 다시 한번 더 정확하게 예측합니다. (이게 논문에서 말하는 '두 번의 예측'입니다.)

• 비유 3: "친구끼리 모여 앉기 (클러스터링)"

  • 무대 위의 사람들이 서로 대화하거나 영향을 주고받는 경우, 로봇은 그들을 가까이 앉게 만들어서 서로의 움직임을 잘 이해하도록 돕습니다.
  • 마치 영화관에서 친구들이 옆자리에 앉으면 대화가 잘 통하듯, 로봇도 서로 영향을 주는 사람들과 장애물을 가까이 배치해서 예측 정확도를 높입니다.

---

🚀 왜 이 기술이 중요한가요?

1. 안전한 로봇: 로봇이 사람을 만나고 피할 때, 사람이 잠시 가려져도 로봇이 "아, 저 사람 아직 여기 있어!"라고 생각하면 충돌을 막을 수 있습니다.
2. 실제 환경에 적합: 우리가 스마트폰 카메라나 로봇의 눈 (카메라) 으로 세상을 볼 때는 사람 뒤에 가려지는 경우가 많습니다. 하지만 기존 기술들은 이런 상황을 잘 처리하지 못했습니다. 이 기술은 **실제 로봇이 겪는 현실적인 문제 (가려짐)**를 해결합니다.
3. 더 정확한 예측: 실험 결과, 이 새로운 방법 (STGN-IT) 은 기존에 가장 잘하던 기술들보다도 사람이 가려져 있을 때 더 정확하게 다음 움직임을 예측했습니다.

💡 한 줄 요약

"사람이 잠시 시야에서 사라져도 로봇이 그 사람을 잊지 않고, 벽과 장애물까지 고려해서 안전하게 길을 예측해주는 똑똑한 시스템!"

이 기술은 앞으로 우리가 길거리에서 마주치는 자율주행 로봇이나 서비스 로봇이 사람들과 더 자연스럽게, 그리고 안전하게 공존할 수 있게 해줄 것입니다.

기술 요약

논문 개요

이 논문은 보행자 이동 궤적 예측 (Pedestrian Trajectory Prediction) 분야에서, 과거 관측 데이터가 일부 누락된 불완전한 궤적 (Incomplete Trajectory) 입력을 처리할 수 있는 새로운 스페이셜 - 타임 그래프 네트워크인 STGN-IT를 제안합니다. 기존 알고리즘들은 과거 프레임에서 보행자가 관측되지 않을 경우 예측을 중단하거나 성능이 급격히 저하되는 한계가 있었으며, 이를 해결하여 모바일 로봇의 안전한 내비게이션을 가능하게 하는 것이 핵심 목표입니다.

1. 문제 제기 (Problem Statement)

• 불완전한 궤적의 한계: 기존 대부분의 보행자 궤적 예측 알고리즘은 과거의 궤적 데이터가 완전해야만 미래 궤적을 예측합니다. 로봇이 보행자를 시야에서 잃거나 (가려짐), 센서 오류로 인해 특정 프레임에서 데이터가 누락되면, 해당 보행자의 미래 궤적 예측을 포기합니다.
• 탑뷰 vs 자기 중심 뷰 (Egocentric View): 기존 연구 (ETH, UCY 등) 는 탑뷰 (Top-down) 데이터를 주로 사용했으나, 실제 모바일 로봇은 자기 중심 뷰 (Egocentric view) 와 LIDAR 맵을 사용합니다. 탑뷰에서는 가려짐이 적지만, 로봇의 시점에서는 보행자가 자주 가려져 불완전한 궤적이 빈번하게 발생합니다.
• 현재의 대응 방식의 문제:
  • 필터링 모드 (Filtration Mode): 불완전한 궤적은 아예 예측하지 않음. (안전성 저하, 로봇 충돌 위험 증가)
  • 패딩 모드 (Pad Mode): 가려진 위치를 (0,0) 으로 채워 예측함. (알고리즘이 보행자가 (0,0) 으로 이동했다고 오해하여 성능 저하 발생)

2. 제안 방법론: STGN-IT

STGN-IT 는 불완전한 궤적 입력을 허용하고 환경 정보를 통합하여 예측 정확도를 높이는 2 단계 예측 파이프라인을 가집니다.

A. 핵심 구성 요소

1. 스페이셜 - 타임 그래프 (Spatio-temporal Graph) 구성:

   • 노드: 보행자 및 정적 장애물 (Obstacle) 의 위치와 속도 정보.
   • 엣지: 노드 간의 상관관계 (상대 위치, 상대 속도).
   • DBSCAN 클러스터링: 상호작용이 있는 노드들을 행렬 내에서 인접하게 배치하여 그래프 합성곱 네트워크 (GCN) 가 특징을 더 잘 추출하도록 최적화합니다.

2. 관측 상태 인코딩 (Observation State Encoding):

   • 보행자가 관측되지 않을 때 위치를 (0,0) 으로 채우더라도, 알고리즘이 이를 '실제 위치'와 '관측 불가'로 구분할 수 있도록 특수 인코딩 벡터 ($N_o^i, E_o^i$) 를 도입합니다.
   • 이를 통해 (0,0) 이 가려진 위치임을 명시적으로 알려주어, 알고리즘의 오해를 방지하고 성능 저하를 줄입니다.

3. 장애물 추가 모듈 (Obstacle Addition Module):

   • 점군 맵 (Point Cloud) → 점유 그리드 맵 (Occupancy Grid Map): 환경의 정적 장애물을 자동으로 생성합니다. (수동 라벨링 불필요)
   • 2 단계 예측 프로세스:
     • 1 차 예측: 환경 정보 없이 보행자 상호작용만으로 초기 궤적 예측.
     • 장애물 노드 추가: 1 차 예측된 궤적과 가까운 장애물을 그래프의 '노드'로 추가합니다.
     • 2 차 예측: 추가된 장애물 노드를 고려하여 최종 궤적을 예측함으로써, 장애물 회피 능력을 향상시킵니다.

4. 네트워크 구조:

   • GRU: 누락된 위치 정보를 이전 프레임 특징으로 보정 (Compensation).
   • STGCN (Spatio-Temporal Graph Convolution Network) & TECN (Time-Extrapolator CNN): 시공간적 특징 추출.
   • Bi-GRU & MLP: 최종 궤적 및 속도 예측.

3. 주요 기여 (Key Contributions)

1. 불완전한 궤적 입력 허용: 특수 인코딩 방법과 그래프 네트워크를 결합하여, 과거 데이터가 일부 누락된 보행자도 미래 궤적을 예측할 수 있게 함.
2. 환경 정보 통합: 점유 그리드 맵을 활용하여 정적 장애물을 그래프 노드로 포함, 로봇 내비게이션에 적합한 충돌 회피 예측 성능 향상.
3. 패딩 모드 (Pad Mode) 평가 제안: 로봇 내비게이션 관점에서 '필터링 모드'보다 '패딩 모드'가 더 안전하고 현실적임을 주장하며, 이 조건에서의 알고리즘 성능을 평가하는 기준을 제시.
4. 빠른 응답 시간: 기존 알고리즘이 3.2 초의 관측 데이터를 요구하는 반면, STGN-IT 는 최소 2 프레임 (약 1.2 초) 의 관측만으로도 예측이 가능하여 실시간성이 뛰어남.

4. 실험 결과 (Results)

• 데이터셋: STCrowd (STC) 데이터셋 사용. 불완전한 궤적 영향을 분석하기 위해 10% 의 샘플을 무작위 제거한 'STC-c' 데이터셋도 생성하여 평가.
• 비교 대상: Social-STGCNN, SGCN, STIGCN, GraphTERN 등 최신 SOTA 알고리즘.
• 성능 지표 (ADE/FDE):
  • STGN-IT는 모든 조건 (완전 궤적, 불완전 궤적, 불완전 궤적 + 환경 변화) 에서 가장 낮은 ADE 와 FDE를 기록했습니다.
  • 특히 불완전한 궤적 조건 ('p-p' 모드) 에서 다른 알고리즘들의 성능이 급격히 떨어지는 반면, STGN-IT 는 약 15% 미만의 성능 저하만 보이며 가장 안정적인 성능을 유지했습니다.
  • Ablation Study: 장애물 노드 추가, 관측 상태 인코딩, 클러스터링 과정 중 하나라도 제거될 경우 성능이 20% 이상 저하됨을 확인하여 각 모듈의 중요성을 입증했습니다.
• 정성적 분석:
  • GraphTERN 등 기존 모델은 가려진 보행자에 대해 예측을 포기하거나 (Robot 충돌 위험 증가), 장애물과 충돌하는 궤적을 예측함.
  • STGN-IT 는 가려진 보행자의 궤적을 부드럽게 예측하고, 정적 장애물 및 다른 보행자와의 상호작용을 고려하여 충돌을 회피하는 합리적인 궤적을 생성함.

5. 의의 및 결론 (Significance)

이 논문은 모바일 로봇이 인간과 공존하는 환경에서 시야 가림 (Occlusion) 으로 인한 데이터 손실에 강건한 궤적 예측 시스템을 제시했다는 점에서 의미가 큽니다.

• 실용성: 탑뷰 데이터가 아닌 실제 로봇의 시점 (Egocentric view) 에서 발생하는 불완전한 데이터를 효과적으로 처리하여, 로봇의 안전한 경로 계획 (Path Planning) 을 가능하게 합니다.
• 안전성: '필터링 모드' 대신 '패딩 모드'를 채택함으로써, 로봇이 보행자를 놓치지 않고 충돌 위험을 사전에 감지할 수 있게 합니다.
• 확장성: 점유 그리드 맵을 자동 생성하여 활용하므로, 수동 라벨링이 필요한 기존 방법보다 유연하고 확장성이 높습니다.

결론적으로 STGN-IT 는 불완전한 입력 데이터에서도 높은 정확도를 유지하며, 환경적 제약 (장애물) 을 고려한 정교한 예측을 가능하게 함으로써 차세대 인간 - 로봇 공존 내비게이션 시스템의 핵심 기술로 평가됩니다.