Unveiling Transferability in Trajectory Prediction via Latent Scene Embeddings

기술 요약: 잠재 시나리오 임베딩을 통한 궤적 예측의 전이 가능성 규명

문제 정의
본 논문은 서로 다른 데이터셋 간에 궤적 예측 모델을 일반화하는 과제를 다룹니다. 딥러닝이 모션 예측 분야를 발전시켜 왔음에도 불구하고, 모델은 시나리오 레이아웃, 에이전트 행동, 센싱 모달리티(예: 카메라 vs 드론), 맵 구조의 상당한 차이로 인해 한 데이터셋에서 학습된 모델이 다른 데이터셋으로 일반화될 때 실패하는 경우가 많습니다. 거대 파운데이션 모델들이 다양한 데이터를 통합함으로써 전이 가능한 표현을 얻을 수 있음을 시사하고 있지만, 실질적인 제약(지연 시간, 연산량)과 저품질 또는 부적절한 데이터로 인한 성능 저하 위험은 보다 선택적인 접근 방식을 필요로 합니다. 핵심 문제는 시행착오를 통한 전수 실험 없이도 특정 타겟 도메인을 위한 사전 학습 또는 적응에 어떤 데이터셋이 적합한지를 결정하는 것입니다.

방법론
저자들은 궤적 데이터셋을 특징짓고 그 전이 가능성을 정량화하기 위해 공유된 잠재 공간(shared latent space)을 학습하는 프레임워크를 제안합니다.

1. 잠재 임베딩 모델 (Latent Embedding Model):

   • 아키텍처: 모든 24개 데이터셋에 대해 공동으로 학습되는 심층 인코더-디코더 모델입니다. 인코더는 입력 특징(에이전트 상태 및 선택적 맵 데이터)을 Graph-GRUs를 사용하여 노드 수준의 잠재 변수로 매핑합니다.
   • 학습 목적 함수: 모델은 관측된 입력 특징을 재구성하고 미래 상태를 예측하는 두 가지 상호 보완적인 태스크를 사용하여 최적화됩니다. 이를 통해 잠재 공간이 구조적 데이터 특성과 관련 예측 역학을 모두 포착하도록 보장합니다.
   • 정규화: 비교 가능성을 높이고 퇴화된 솔루션을 방지하기 위해 잠재 변수는 단위 구(unit sphere)의 표면에 구속됩니다.
   • 집계: 노드 수준의 임베딩은 시나리오 수준의 통계치(평균 및 공분산)로 집계됩니다. 이는 더욱 집계되어, 평균 벡터와 공분산 행렬(수치적 안정성을 위해 저차원 근사 및 지터링 적용)로 모델링된 다변량 가우시안 형태의 데이터셋 수준 분포를 정의합니다.

2. 전이 가능성 지표 (Transferability Metric):

   • 두 데이터셋 $D_i$와 $D_j$ 사이의 전이 가능성은 잠재 공간 내 각 가우시안 분포 간의 쿨백-라이블러 발산(Kullback–Leibler divergence)을 사용하여 정량화됩니다: $D_{KL}(D_i \| D_j)$.
   • 이 지표는 방향성(비대칭성)을 가지며, 소스 데이터셋이 타겟을 잘 근사할 수는 있지만 그 역은 성립하지 않을 수 있다는 점을 포착합니다.

3. 평가 프로토콜:

   • 프레임워크는 24개의 다양한 궤적 데이터셋(보행자, 차량, 혼합 교통을 포함하며 카메라, 드론, 계측 차량을 통해 수집됨)을 대상으로 평가되었습니다.
   • 제로샷 전이 (Zero-Shot Transfer): 베이스라인 예측기(QCNet)를 하나의 데이터셋에서 학습시킨 후, 적응 과정 없이 다른 데이터셋에서 평가합니다.
   • 미세 조정 (Fine-Tuning): 소스 데이터셋에서 사전 학습된 모델을 타겟 데이터셋에 미세 조정하여 적응 품질과 파괴적 망각(catastrophic forgetting)을 평가합니다.
   • 상관관계 분석: 잠재 거리의 예측력을 검증하기 위해 KL 발산 점수와 실제 성능 지표(minADE6) 간의 상관관계를 분석했습니다.

주요 기여

1. 데이터셋 수준의 표현 학습: 궤적 데이터셋을 표면적 통계가 아닌 분포적 기하학을 기반으로 비교할 수 있도록 공유 공간 내의 분포로 모델링하는 잠재 임베딩 프레임워크를 도입했습니다.
2. 방향성 확률적 척도: 비대칭적 전이 성공을 포착하기 위해 KL 발산 기반의 지표를 제안하였으며, 잠재 거리가 제로샷 및 미세 조정 성능을 모두 예측함을 입증했습니다.
3. 대규모 체계적 연구: 24개의 데이터셋과 552개의 전이 쌍을 포함하는 포괄적인 평가를 수행했습니다. 이 연구는 표준 벤치마크 성능을 향상시키는 저활용 데이터셋을 식별하고, 메타데이터만으로는 알 수 없는 구조적 관계(예: 드론 획득 데이터와 계측 차량 데이터 간의 관계)를 밝혀냈습니다.

결과

• 성능과의 상관관계: 본 연구는 KL 발산과 제로샷 전이 성능(minADE6) 사이에 강한 양의 상관관계($\rho = 0.811$)가 있음을 발견했습니다. 높은 발산 값은 일관되적으로 낮은 전이 성능을 예측했습니다.
• 미세 조정 및 망각: 잠재 거리는 미세 조정 중 발생하는 파괴적 망각의 정도 또한 예측했습니다. 작은 발산 값은 더 나은 적응 및 소스 지식의 손실 감소와 상관관계가 있었습니다.
• 가우시안 근사: KL 발산은 전이 가능성을 예측하는 데 있어 대안적인 유사도 측정 방식(L1, Wasserstein, MMD)보다 일관되게 우수한 성능을 보였으며, 이는 가우시안 모델링 가정을 경험적으로 정당화합니다.
• 잠재 차원: 어블레이션 연구 결과, 잠재 차원 $L=32$가 제로샷 예측을 위한 최적의 균형을 제공하는 반면, 더 큰 차원($L=128$)은 특정 태스크에서 수익 체감 또는 과적합 경향을 보였습니다.
• 데이터셋 관계: 잠재 공간은 WOMD, Argoverse, nuScenes가 뚜렷한 클러스터를 형성함을 보여주었으며, 특정 비대칭 관계(예: WOMD는 nuScenes로 잘 전이되지만 그 역은 그렇지 않음)를 드러냈습니다. 또한, 드론으로 획득한 데이터셋(예: inD, INTERACTION)이 계측 차량 데이터셋과 상당한 잠재적 유사성을 공유함을 강조하여 교차 도메인 전이 가능성을 시사했습니다.

의의
본 논문은 모션 예측을 위한 실질적이고 데이터 기반의 데이터셋 선택 메커니즘을 제공한다고 주장합니다. 잠재적 분포 기하학을 통해 전이 가능성을 정량화함으로써, 연구자들은 다음과 같은 작업을 수행할 수 있습니다:

• 모든 가능한 소스-타겟 쌍에 대해 모델을 직접 학습시키지 않고도 교차 데이터셋 일반화 성능을 예측합니다.
• 새로운 타겟 도메인을 위한 최적의 사전 학습 소스를 선택합니다.
• 인기 있는 벤치마크 성능을 높일 수 있는 저활용 데이터셋을 식별합니다.
• 단순한 도메인별 단서에 의존하는 대신 데이터 소스 간의 구조적 관계를 이해함으로써, 더욱 견고하고 일반화 가능한 예측 시스템 구축을 향해 나아갑니다.

본 연구는 궤적 예측의 전이 가능성이 학습된 잠재 표현을 통해 예측될 수 있음을 결론지으며, 이는 자율 주행 및 로보틱스 분야에서 파운데이션 모델과 전이 학습 전략의 효율적인 개발을 위한 토대를 제공합니다.