Robust Human Trajectory Prediction via Self-Supervised Skeleton Representation Learning

이 논문은 가려짐으로 인한 관절 누락에 강인한 자기지도 학습 기반의 마스킹 오토인코딩 사전 학습 모델을 도입하여, 기존 방법들보다 더 강인하고 정확한 인간 궤적 예측을 가능하게 하는 방법을 제안합니다.

핵심

🚶‍♂️ 1. 문제: "눈이 가려진 상태에서 길을 예측하다"

상상해 보세요. 당신이 길을 가다가 앞사람이 어디로 갈지 예측해야 한다고 칩시다.

• 기존 방법: 앞사람이 걸어가는 발자국 (궤적) 만 보고 "아, 저 사람은 직진할 거야"라고 추측합니다. 하지만 발자국만으로는 그 사람이 갑자기 멈출지, 돌아설지, 뛰어갈지 알기 어렵습니다.
• 새로운 시도 (기존 연구): 그래서 사람의 몸짓 (뼈대, 스켈레톤) 정보도 함께 봅니다. "오른손을 흔들고 있으니 오른쪽으로 갈 거야"라고 더 정확히 예측할 수 있게 됩니다.
• 현실의 문제: 하지만 실제 세상은 복잡합니다. 사람이 다른 사람 뒤에 가려지거나 (오염), 카메라가 흔들리면 팔이나 다리 같은 관절 정보가 뚝뚝 끊겨서 사라집니다. (예: "왼팔은 보이지 않아요...")
  • 이때 기존 AI 는 "아, 팔이 없네? 그럼 예측을 포기하거나 엉뚱한 길로 예측해 버려요."라고 합니다. 정보가 하나라도 빠지면 전체 예측이 무너져버리는 약점이 있습니다.

🛡️ 2. 해결책: "눈을 가린 채로 연습하는 '스켈레톤 훈련'"

저자들은 이 문제를 해결하기 위해 "자신만의 훈련 방법" 을 고안했습니다. 두 단계로 나뉩니다.

1 단계: "눈가리개 훈련" (자기지도 학습)

• 비유: 마치 눈가리개를 하고 퍼즐을 맞추는 훈련을 시키는 것과 같습니다.
• AI 에게 사람의 뼈대 정보를 줄 때, 일부 관절 (팔, 다리 등) 을 의도적으로 지워버립니다 (마스크).
• 그리고 AI 에게 "지워진 팔과 다리가 원래 어디 있었을지 맞춰봐!"라고 시킵니다.
• 이 과정을 반복하면 AI 는 "보이지 않는 부분도 주변 정보와 시간 흐름을 통해 추론할 수 있는 능력" 을 기릅니다. 마치 눈이 가려져도 몸의 균형을 유지하는 운동선수가 되는 것과 같습니다.

2 단계: "실전 투입" (예측 모델 적용)

• 이제 훈련을 마친 AI(뼈대 인코더) 를 실제 길 예측 모델에 붙입니다.
• 중요한 점: 이 AI 는 실제 정보가 끊겨도 흔들리지 않는 '튼튼한 뇌' 를 가지고 있습니다.
• 그래서 카메라에 사람이 가려져 팔이 안 보일지라도, "아, 이 사람은 원래 이런 몸짓을 하려던 거구나"라고 추론해서, 발자국 정보와 함께 정확한 미래 경로를 예측합니다.

🌟 3. 왜 이 방법이 특별한가요? (기존 방법과의 차이)

기존에는 "정보가 끊기면 그냥 끊긴 채로 예측하거나, 끊긴 부분을 채워서 (복원해서) 예측"하는 두 가지 방식이 있었습니다.

• 기존 방식 A (직접 적응): 끊긴 데이터로만 훈련해서 적응하게 합니다. → 단점: 정보가 다 있을 때 (맑은 날) 는 예측이 잘 안 됩니다. (너무 조심스러워져서)
• 기존 방식 B (복원 후 예측): 끊긴 팔을 먼저 AI 로 그려낸 뒤 예측합니다. → 단점: 그려낸 팔이 틀리면, 그 오류가 그대로 예측 결과에 전달됩니다. (잘못된 그림을 믿고 길을 잘못 예측)

이 논문의 방법 (Ours):

• 비유: "그림을 그리는 것"이 아니라, "그림을 보지 않아도 몸의 흐름을 이해하는 감각" 을 키운 것입니다.
• 끊긴 정보가 있어도 감각 (잠재 표현) 이 흔들리지 않기 때문에, 맑은 날에도 잘 예측하고, 가려진 날에도 잘 예측합니다. 양쪽 모두에서 최고의 성능을 냅니다.

📊 4. 결론: "튼튼한 감각이 만든 완벽한 예측"

이 연구는 "사람의 움직임을 예측할 때, 정보가 끊겨도 AI 가 당황하지 않도록 미리 훈련시켜라" 는 것을 증명했습니다.

• 결과: 실험에서 가려진 상황 (오염) 이 심해질수록 기존 방법들은 예측이 엉망이 되었지만, 이 방법은 맑은 날과 가린 날 모두에서 가장 정확했습니다.
• 핵심 메시지: 단순히 정보를 채우는 게 아니라, 정보의 핵심을 이해하는 '튼튼한 감각'을 학습시키는 것이 미래 예측의 핵심입니다.

한 줄 요약:

"눈이 가려져도 몸의 흐름을 읽을 수 있도록 훈련시킨 AI 가, 가려진 상황에서도 사람의 다음 행동을 가장 정확하게 예측합니다."

기술 요약

1. 문제 정의 (Problem)

자율 주행 및 비디오 감시와 같은 응용 분야에서 인간 궤적 예측 (Human Trajectory Prediction) 은 핵심 기술입니다. 기존 연구들은 과거 궤적 데이터만 사용하여 예측을 수행했으나, 이는 보행자의 의도 (방향 전환, 특징적인 운동 패턴 등) 를 파악하는 데 한계가 있었습니다. 이를 보완하기 위해 최근 연구들은 스켈레톤 (뼈대) 시퀀스를 보조 모달리티로 도입했습니다.

그러나 실제 환경에서는 가림 (Occlusion), 센서 오류, 신체 방향 변화 등으로 인해 스켈레톤의 일부 관절이 누락되거나 손상되는 경우가 빈번합니다. 이러한 불완전한 입력은 기존 모델의 예측 정확도를 급격히 저하시킵니다.

• 핵심 딜레마: 누락된 관절에 적응하도록 모델을 학습시키면 (Robustness 향상) 깨끗한 데이터에서의 예측 정확도가 떨어지고, 반대로 깨끗한 데이터에 최적화하면 누락된 데이터에 취약해지는 정확도 - 강건성 (Accuracy-Robustness) 트레이드오프가 존재합니다.

2. 제안 방법론 (Methodology)

저자들은 이 트레이드오프를 해결하기 위해 자기지도 학습 (Self-Supervised Learning) 기반의 2 단계 프레임워크를 제안합니다. 핵심 아이디어는 하류 예측기 (Downstream Predictor) 가 직접 불완전한 데이터에 적응하는 것이 아니라, 표현 학습 (Representation Learning) 단계에서 강건성을 확보하는 것입니다.

A. 1 단계: 자기지도 스켈레톤 표현 학습 (Self-Supervised Skeleton Representation Learning)

• 목표: 누락된 관절을 복원하는 능력을 학습하여, 부분 관측 상태에서도 안정적인 스켈레톤 표현 (Latent Representation) 을 추출하는 인코더를 구축합니다.
• 아키텍처: 비대칭 인코더 - 디코더 구조를 사용합니다.
  • 인코더: ST-GCN(Spatio-Temporal Graph Convolutional Network) 기반. 마스킹된 관절을 제외한 가시 관절과 시공간적 맥락을 기반으로 잠재 특징을 추출합니다.
  • 디코더: 경량 MLP 로 구성. 인코더의 잠재 표현으로부터 마스킹된 관절 좌표를 복원합니다.
• 마스킹 전략 (Masking Strategy): 실제 환경의 다양한 누락 패턴을 반영하기 위해 세 가지 전략을 적용합니다.
  1. Temporal Consistent Mask: 모든 프레임에서 동일한 관절을 마스킹 (장기 가림 시뮬레이션).
  2. Random Mask: 프레임마다 무작위 관절을 마스킹 (일시적 감지 실패 시뮬레이션).
  3. Body-Part Mask: 신체 부위 (상체, 하체, 좌우 팔 등) 단위로 관절을 마스킹 (심한 가림 시뮬레이션).
• 손실 함수: 마스킹된 관절 좌표와 원본 간의 MSE(Mean Squared Error) 를 최소화합니다.

B. 2 단계: 인간 궤적 예측 통합 (Integration into Trajectory Prediction)

• 기반 모델: Social-TransMotion 프레임워크를 사용합니다.
• 통합 방식:
  • 기존 모델의 선형 스켈레톤 임베딩 (Linear Pose Embedding) 을 사전 학습된 인코더 (Frozen Encoder) 로 대체합니다.
  • 궤적 임베딩은 그대로 유지하고, 스켈레톤 정보는 인코더를 통해 추출된 강건한 잠재 특징 (Latent Features) 으로만 입력됩니다.
  • 중요: 디코딩 단계에서 복원된 좌표를 직접 사용하는 것이 아니라, 인코더가 학습한 표현 (Representation) 자체를 예측기에 주입하여 재구성 오차가 예측에 전파되는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 강건한 궤적 예측을 위한 2 단계 프레임워크: 스켈레톤 표현 학습과 하류 예측을 명시적으로 분리하여, 누락된 입력에 대한 내성을 높이면서도 깨끗한 조건에서의 성능을 유지합니다.
2. 마스크 기반 자기지도 학습을 통한 표현 수준의 강건성: 단순한 재구성 작업을 넘어, 다양한 누락 패턴 하에서도 정보 손실이 적은 안정적인 스켈레톤 표현을 학습하는 것이 강건성의 핵심임을 입증했습니다.
3. 트레이드오프 해소: 기존 방법들이 겪던 "강건성 확보를 위한 정확도 희생" 문제를 해결하고, 부분 관측 상황에서도 스켈레톤 정보의 유용성을 보존함을 증명했습니다.

4. 실험 결과 (Results)

실험은 대규모 합성 데이터셋인 JTA (Joint Task and Action) 를 사용하며, 다양한 가림 (Occlusion) 시나리오에서 평가되었습니다.

• 성능 비교:
  • Clean(0.0) ~ Moderate(0.4) 누락 구간: 제안 방법 (Ours) 이 Baseline(Standard), Baseline(Reconstruction), Baseline(Corruption-trained) 대비 가장 낮은 ADE(평균 이동 오차) 및 FDE(최종 이동 오차) 를 기록했습니다.
  • Severe(0.6) 누락 구간: 다른 방법들과 경쟁력 있는 성능을 유지했습니다.
• 스켈레톤 의존성 분석:
  • 제안 방법은 스켈레톤 정보를 더 많이 활용 (Stronger Skeleton Reliance) 하지만, 오히려 누락 시 성능 저하가 적었습니다. 이는 스켈레톤 사용을 약화시킨 것이 아니라, 부분 관측 하에서도 유용한 스켈레톤 특징을 보존했기 때문입니다.
  • 기존 방법들은 누락 시 스켈레톤 의존도를 낮추거나, 재구성 오차가 예측기에 직접 전파되어 성능이 급격히 떨어졌습니다.
• 정성적 분석: 직선 경로뿐만 아니라 곡선 경로 (방향 전환이 필요한 상황) 에서도 제안 방법은 가림이 있더라도 보행자의 의도 (회전 경향) 를 잘 파악하여 정확한 궤적을 예측했습니다.

5. 의의 및 결론 (Significance)

이 연구는 스켈레톤 기반 궤적 예측 분야에서 실제 환경의 불완전한 데이터 (누락된 관절) 에 대한 해결책을 제시했습니다.

• 기술적 통찰: 강건성을 확보하기 위해 예측 모델 자체를 손상된 데이터에 적응시키는 대신, 표현 학습 (Representation Learning) 단계에서 마스킹된 데이터를 복원하는 자기지도 학습을 통해 내재적인 강건성을 부여하는 것이 더 효과적입니다.
• 실용성: 자율 주행 로봇의 경로 계획이나 감시 시스템과 같이 실제 환경의 노이즈와 가림이 빈번한 응용 분야에서, 높은 정확도와 강건성을 동시에 달성할 수 있는 실용적인 프레임워크를 제공합니다.
• 확장성: 제안된 사전 학습된 인코더는 다른 궤적 예측 모델에도 쉽게 적용 가능하며, coordinate completion(좌표 복원) 모듈과도 호환되어 추가적인 성능 향상을 기대할 수 있습니다.

요약하자면, 이 논문은 "불완전한 스켈레톤 데이터에서도 인간의 운동 의도를 정확하게 파악할 수 있는 강건한 표현을 학습하는 것" 이 궤적 예측의 핵심 과제임을 지적하고, 이를 해결하기 위한 자기지도 학습 기반의 새로운 아키텍처를 성공적으로 제안했습니다.