Context-free Self-Conditioned GAN for Trajectory Forecasting

이 논문은 2D 궤적의 다양한 행동 모드를 학습하기 위해 컨텍스트가 없는 자기 조건부 GAN 기반의 비지도 접근법을 제안하며, 인간 운동 및 도로 에이전트 데이터셋에서 기존 방법보다 우수한 궤적 예측 성능을 입증합니다.

핵심

이 논문은 **"사람이나 자동차가 앞으로 어떻게 움직일지 예측하는 기술"**을 더 똑똑하게 만드는 방법에 대한 연구입니다.

기존의 기술들은 주로 "주변 상황 (다른 사람, 신호등, 건물 등)"을 많이 보며 예측했지만, 이 연구는 "오직 움직이는 대상의 과거 발자국 (궤적) 만을 보고 미래를 예측하는" 새로운 방식을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "예측의 편견"과 "모드 붕괴"

상상해 보세요. 길거리에서 사람들이 걷는 모습을 예측하는 AI 가 있다고 칩시다.
대부분의 사람들은 정면으로 직진하거나 서로 마주 보며 지나갑니다. 하지만 가끔은 급하게 방향을 틀거나, 멈추거나, 이상하게 꺾는 사람들도 있죠.

기존 AI 는 데이터가 대부분 '직진'하는 사람들이라서, **"아, 다들 직진하니까 앞으로는 직진할 거야"**라고만 생각합니다. 이를 **'모드 붕괴 (Mode Collapse)'**라고 합니다. 즉, AI 가 가장 흔한 패턴만 보고 나머지 드문 패턴 (예: 갑자기 뛰는 사람, 뒤로 걷는 사람) 을 완전히 무시해 버리는 현상입니다.

2. 해결책: "스스로를 가르치는 스승 (Self-Conditioned GAN)"

이 연구팀은 AI 가 스스로 다양한 패턴을 찾아내게 하는 **'스스로 가르치는 스승'**을 만들었습니다.

• 비유: 미술관 큐레이터
  • 기존 AI 는 모든 그림을 '산수화'로만 분류하려 했습니다.
  • 이 연구팀의 AI 는 먼저 수천 장의 그림 (궤적 데이터) 을 보고, **스스로 "이건 급하게 도망가는 패턴이야", "이건 천천히 구경하는 패턴이야"**라고 그룹 (클러스터) 을 나눕니다.
  • 이때 중요한 건, **가장 드물고 예측하기 어려운 패턴 (예: 급하게 도망가는 경우)**을 특별히 주목한다는 점입니다.

3. 핵심 기술: "약한 고리를 강화하는 훈련"

이제 AI 가 다양한 그룹을 알아냈으니, 어떻게 예측 능력을 키울까요? 연구팀은 세 가지 훈련 방법을 제안했습니다.

• 비유: 약한 학생을 위한 특별 보충 수업
  • 보통 선생님은 전체 학생을 가르치다 보면, 성적이 좋은 학생 (흔한 직진 패턴) 에는 신경을 덜 쓰지만, 성적이 떨어지는 학생 (드문 패턴) 에는 더 많은 시간을 할애합니다.
  • 이 연구의 AI 도 마찬가지입니다. **"이 그룹은 예측하기 너무 어려우니, 이 부분에서 실수하지 않도록 더 열심히 공부해!"**라고 가중치 (점수) 를 높여 훈련시킵니다.
  • 이를 통해 AI 는 흔한 패턴뿐만 아니라, 드물고 위험한 상황에서도 잘 예측할 수 있게 됩니다.

4. 실험 결과: "사람과 자동차, 모두 잘 예측하다"

이 방법은 두 가지 데이터로 테스트했습니다.

1. 사람의 움직임 (THÖR 데이터): 공장에서 일하는 사람, 방문객, 검사관 등.
2. 도로의 차량 (Argoverse 데이터): 자율주행차, 일반 차, 보행자 등.

결과:

• 드문 경우 (예: 검사관이나 보행자) 에서는 기존 기술보다 훨씬 잘 예측했습니다. (기존 기술은 이런 드문 경우를 거의 무시했거든요.)
• 사람의 움직임 예측에서는 전체적으로 가장 좋은 성적을 냈습니다.
• 자동차 예측에서도 다른 방법들보다 훨씬 안정적이었습니다.

5. 결론: "왜 이 기술이 중요한가?"

이 기술은 **"주변 상황을 알 수 없는 상황"**에서도 유용합니다.
예를 들어, 카메라가 가려져서 주변을 볼 수 없거나, 데이터가 부족할 때 오직 **'그 사람의 과거 발자국'**만 보고도 **"아, 저 사람은 갑자기 방향을 틀겠구나"**라고 정확하게 예측할 수 있게 해줍니다.

한 줄 요약:

"이 연구는 AI 가 스스로 '흔한 행동'과 '드문 행동'을 구분해 내고, 특히 예측하기 어려운 드문 행동에 집중해서 훈련하게 함으로써, 사람과 자동차의 움직임을 더 똑똑하고 안전하게 예측하게 만들었습니다."

이 기술은 자율주행차가 보행자의 갑작스러운 행동에 대처하거나, 로봇이 사람과 안전하게 상호작용하는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 2D 공간에서의 궤적 예측 (Trajectory Forecasting) 은 감시 시스템, 자율 주행, 서비스 로봇 등 다양한 분야에서 중요한 과제입니다.
• 문제점:
  • 기존 연구들은 주로 사회적 상호작용이나 장면의 시각적 맥락 (Context-aware) 을 활용하지만, 본 논문은 맥락 정보 없이 (Context-free) 오직 관측된 궤적 정보만을 사용하여 예측하는 접근법을 취합니다. 이는 다양한 환경에서의 유연성을 확보하기 위함입니다.
  • 모드 붕괴 (Mode Collapse) 문제: 생성적 모델 (GAN 등) 은 데이터 분포에서 지배적인 행동 패턴 (Dominant modes) 만 학습하고, 상대적으로 드문 혹은 복잡한 행동 패턴 (Least dominant modes) 을 무시하는 경향이 있습니다. 이로 인해 예측의 다양성이 떨어지고, 소수 클래스에 대한 예측 성능이 저하됩니다.
• 목표: 관측된 궤적만으로 다양한 행동 모드 (Behavioral modes) 를 포착하고, 이를 통해 더 다양하고 균형 잡힌 궤적 예측기를 개발하는 것입니다.

2. 제안된 방법론 (Methodology)

본 논문은 자기 조건부 GAN (Self-Conditioned GAN) 을 기반으로 한 2 단계 접근법을 제시합니다.

A. 자기 조건부 GAN 을 통한 모드 학습 (Self-Conditioned GAN)

• 핵심 아이디어: 판별자 (Discriminator) 의 특징 공간 (Feature space) 에서 형성된 클러스터가 서로 다른 행동 모드를 나타낸다는 가정을 기반으로 합니다.
• 구조:
  1. GAN 학습: 생성기 (Generator, G) 와 판별기 (Discriminator, D) 를 적대적으로 학습시킵니다.
  2. 클러스터링: 판별기의 인코더 (Encoder) 에서 추출된 특징을 기반으로 K-평균 (K-Means) 등의 클러스터링 알고리즘을 적용하여 데이터의 다양한 모드 ($m$) 를 식별합니다.
  3. 자기 조건부 (Self-Conditioning): 식별된 클러스터 라벨 (모드) 을 생성기의 추가 조건으로 사용하여, 생성기가 특정 모드를 더 잘 학습하도록 유도합니다.
  • 참고: 판별기 인코더는 LSTM 또는 MLP 를 사용할 수 있으며, 안정성을 위해 MLP 를 선택했습니다.

B. 학습 설정 및 소프트 가정 (Soft Assumptions & Training Settings)

학습된 클러스터 정보를 활용하여 기존 GAN 의 학습 과정을 개선하는 3 가지 전략을 제안합니다. 이는 드문 모드 (Challenging subspaces) 의 학습을 강화하기 위함입니다.

1. 가중치 부여된 생성기 손실 (Weighted Generator Loss, wL2):
   • 클러스터 내 예측 오차 (ADE, FDE) 와 클러스터 크기 ($\#i / \#T$) 를 기반으로 가중치 ($\Lambda_i$) 를 계산합니다.
   • 예측이 어려운 (오차가 큰) 소수 클러스터 샘플에 대해 더 큰 패널티를 주어 생성기가 이러한 난이도 높은 모드를 학습하도록 강제합니다.
2. 가중치 부여된 배치 샘플러 (Weighted Batch Sampler, wB):
   • 다항 분포 (Multinomial distribution) 를 사용하여, 학습 시 드문 모드 (소수 클래스) 가 더 많이 샘플링되도록 배치를 구성합니다.
3. 혼합 전략 (wL2 + wB):
   • 위의 두 방법을 결합하여 적용합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 프레임워크: 생성 모델 (Generative Models) 에서 추출된 특징을 클러스터링하고, 이를 하류 작업 (Trajectory Forecasting) 의 학습 가이드라인으로 활용하는 최초의 프레임워크를 제안했습니다.
2. 맥락 없는 접근법: 추가적인 사회적/환경적 맥락 정보 없이 오직 궤적 데이터만으로 다양한 행동 모드를 학습하고 예측 성능을 향상시켰습니다.
3. 학습 전략 개선: 모드 붕괴 문제를 완화하고, 데이터 분포에서 소수인 (Least representative) 행동 패턴에 대한 예측 성능을 개선하기 위한 3 가지 학습 설정을 제시했습니다.
4. 데이터셋 및 도구: THÖR(인간 운동) 과 Argoverse(도로 에이전트) 데이터셋에서 실험을 수행했으며, THÖR 데이터셋 전처리를 위한 오픈소스 도구 (pythor-tools) 를 공개했습니다.

4. 실험 결과 (Results)

• 데이터셋:
  • THÖR: 산업 환경의 인간 운동 데이터 (방문객, 작업자, 검사관).
  • Argoverse: 도로 환경의 차량 및 보행자 데이터 (자율주행차, 일반 차량, 기타).
• 정량적 평가 (Quantitative Results):
  • 소수 클래스 성능 향상: 데이터셋에서 가장 대표성이 낮은 레이블 (예: THÖR 의 '검사관', Argoverse 의 '기타' 에이전트) 에 대해 기존 맥락 없는 방법 (LSTM, Vanilla GAN) 보다 ADE(평균 변위 오차) 와 FDE(최종 변위 오차) 가 크게 개선되었습니다.
  • 전체적 성능: THÖR 데이터셋에서는 전역적으로 (Globally) 가장 좋은 성능을 보였으며, Argoverse 데이터셋에서는 소수 클래스에서 우수한 성능을 보였습니다.
  • 클러스터 분석: 클러스터링을 통해 식별된 '어려운' 클러스터 (소수 샘플) 에서 제안된 방법 (wL2, wB) 이 베이스라인을 압도적으로 우세하게 수행함을 확인했습니다.
• 정성적 평가 (Qualitative Analysis):
  • 복잡한 궤적 (Complex tracks) 을 예측할 때 제안된 방법이 실제 궤적 (Ground Truth) 에 더 근접한 결과를 생성했습니다.
  • 클러스터별로 유사한 행동 패턴 (예: 특정 방향으로 이동하는 궤적, 길이가 다른 궤적 등) 이 그룹화되어 있음을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모드 붕괴 해결: GAN 기반 예측 모델의 고질적인 문제인 모드 붕괴를 완화하여, 데이터 분포의 모든 부분 (특히 드문 행동) 을 포괄적으로 학습할 수 있음을 입증했습니다.
• 범용성: 외부 맥락 정보 없이도 궤적 데이터 자체의 구조적 특징 (모드) 을 학습하여 예측 성능을 높일 수 있음을 보여줌으로써, 맥락 정보가 부족한 환경에서도 적용 가능한 강력한 모델을 제시했습니다.
• 향후 방향: 판별자의 특징 공간에서 추출된 비지도 레이블 (Unsupervised labels) 이 의미 있는 행동 모드를 잘 포착한다는 점을 확인함으로써, 향후 비지도 학습 기반의 운동 분석 및 예측 연구에 새로운 방향성을 제시했습니다.

이 논문은 자기 조건부 GAN을 궤적 예측에 적용하여 데이터의 불균형 문제를 해결하고 예측의 다양성과 정확성을 동시에 달성한 획기적인 연구로 평가됩니다.