TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

기술 요약: TrajTok: 궤적 표현 학습을 위한 적응형 공간 토큰화

문제 제기
연속적이고 잡음이 많으며 불규칙하게 샘플링된 특성을 가진 원시 GPS 궤적 데이터로부터 일반화 가능한 표현을 학습하는 것은 어렵습니다. 기존 기반 모델 및 지리 표현 학습 패러다임은 종종 고정된 크기의 그리드 이산화에 의존합니다. 이 접근법은 근본적인 트레이드오프를 제시합니다: 고해상도 그리드는 견고한 임베딩을 학습하기에 충분한 GPS 방문 횟수가 부족한 셀을 생성하는 반면, 저해상도 그리드는 내부 단편화로 인해 이질적인 지역 이동 패턴을 단일 토큰으로 병합하는 문제를 겪습니다. 또한, 전통적인 방법들은 경직된 맵 매칭 전처리 없이 기하학적 경로 구조와 운동학적 운동 역학을 동시에 포착하는 데 어려움을 겪습니다.

방법론
저자들은 원시 GPS 궤적을 적응형 공간 토큰화를 통해 이산 토큰으로 변환하고, 인수화된 트랜스포머 아키텍처를 통해 표현을 학습하는 궤적 인코더 프레임워크인 TrajTok을 제안합니다.

1. 적응형 공간 토큰화:
   고정된 그리드 대신 TrajTok 은 H3 시스템을 사용하여 다중 해상도 육각형 어휘를 구성합니다. 어휘는 계층적으로 구축됩니다: 고밀도 지역의 셀은 용량 임계값에 도달하거나 최대 해상도에 도달할 때까지 더 미세한 해상도로 재귀적으로 분할되는 반면, 희소 지역은 더 낮은 해상도에 머무릅니다. 이는 밀집 지역에 더 미세한 공간 단위를 할당하면서도 컴팩트한 어휘를 유지합니다. 원시 GPS 점은 이를 포함하는 가장 높은 해상도의 어휘 셀에 매핑되어, 관련 셀 ID, 해상도, 좌표 및 타임스탬프가 포함된 이산 토큰 시퀀스를 생성합니다.

2. 인수화된 트랜스포머 인코더:
   이 아키텍처는 기하학적 및 운동학적 학습을 분리한 후 융합하는 듀얼 스트림 설계를 사용합니다:

   • 기하학적 채널: 학습된 셀 식별 벡터를 통해 공간 위치를 인코딩합니다.
   • 운동학적 채널: 원형 구조를 존중하기 위해 헤딩에 사인/코사인 변환을 사용하여 운동 특징 (정규화된 속도와 헤딩) 을 연속적으로 인코딩합니다.
   • 시공간 위치 인코딩: 기하학적 채널은 위도, 경도 및 시간에 대해 시공간 회전 위치 임베딩 (ST-RoPE) 을 활용합니다. 운동학적 채널은 시간 전용 RoPE 를 사용합니다.
   • 융합: 초기 레이어는 자기 어텐션을 통해 각 스트림을 독립적으로 처리합니다. 이후 융합 레이어는 교차 어텐션을 적용하여 기하학적 및 운동학적 스트림이 서로 주의를 기울이게 함으로써 통합된 궤적 표현을 생성합니다.

3. 사전 학습 목표:
   TrajTok 은 공마스크된 마스킹 토큰 모델링 목표를 사용하여 사전 학습됩니다. 두 채널에 걸쳐 공유되는 마스킹 위치를 가진 궤적이 주어지면:

   • 기하학적 채널은 마스킹된 셀 ID 를 예측합니다.
   • 운동학적 채널은 정규화된 속도와 헤딩을 재구성합니다.
   • 손실은 기하학적 예측 손실과 운동학적 회귀 손실의 선형 결합입니다.
   • 저자들은 모델이 사소한 단축키 (끝점 복사) 를 학습하는 것을 방지하기 위해 단일 반복 셀 구간 내에 완전히 위치한 후보 마스킹 구간을 거부하는 구간 인식 스페인 마스킹을 도입했습니다.

주요 기여

• 밀도 적응형 토큰화: 밀집 지역에 더 미세한 셀을 할당하면서 컴팩트한 어휘를 유지하는 연속 궤적을 다중 해상도 공간 토큰으로 분할하는 방법으로, 고정 그리드 접근법 내재된 트레이드오프를 해결합니다.
• 인수화된 아키텍처: 초기 레이어에서 기하학적 (위치) 및 운동학적 (운동) 신호 처리를 분리하고 교차 어텐션을 통해 융합하여 경로 기하학과 운동 역학을 모두 포착하는 트랜스포머 인코더입니다.
• 사전 학습 레시피: 원시 GPS 스트림에 맞춘 간단하지만 효과적인 마스킹 토큰 모델링 목표로, 전이 가능한 구조 학습을 장려하기 위해 공마스크 및 구간 인식 스페인 마스킹을 통합합니다.
• 일반화 능력: 단일 고정 사전 학습 인코더가 경량 작업 어댑터와 결합되어 기하학 중심 (유사성 검색, 분류) 과 운동학 중심 (도착 예정 시간, 이동 시간 회귀) 을 포함한 다양한 하위 작업에서 최첨단 또는 경쟁력 있는 성능을 달성함을 입증했습니다.

실험 결과
포르투 택시 데이터셋에서 평가된 단일 고정 TrajTok 인코더는 작업별 어댑터와 함께 다음과 같은 결과를 달성했습니다:

• 궤적 유사성 검색: HR@1 을 0.435로 달성하여 NeuTraj(0.308) 및 SIMformer(0.300) 와 같은 강력한 베이스라인을 능가했습니다.
• 호출 유형 분류: 매크로-F1 을 0.773으로 달성하여 START 및 JGRM 과 같은 전문 방법을 일치시키거나 약간 초과했으며, TrajTok 은 맵 매칭 없이 원시 GPS 만으로 작동했습니다.
• 도착 예정 시간 (ETA): 접두사 기반 예측에서 MAE 를 42.27 초로 달성하여 이전 신경 이동 시간 시스템 (예: MetaER-TTE 의 93.75 초) 을 크게 능가했습니다.
• 전체 궤적 이동 시간 회귀: MAE 를 38.41 초로 달성하여 TIGR(86.86 초) 과 같은 베이스라인을 유의하게 능가했습니다.

결손 연구는 밀도 적응형 토큰화, 교차 어텐션 융합, 그리고 특정 사전 학습 레시피가 모두 성능의 결정적 동인임을 확인했습니다. 특히, 저자들은 특정 지점 (60k 에서 120k 로 단계 증가) 을 넘어 사전 학습을 확장하면 검증 손실은 감소했지만 하위 검색 성능은 저하되었다고 관찰하여, 사전 학습 손실만으로는 전이 가능성을 위한 충분한 대리 지표가 아님을 시사했습니다.

의의 및 주장
이 논문은 TrajTok 이 학습된 다중 해상도 공간 토큰화와 간단한 마스킹 토큰 사전 학습 목표의 결합이 범용 궤적 기반 모델을 위한 유망한 프레임워크임을 보여준다고 주장합니다. 핵심 발견은 단일 고정 인코더가 '어디'가 중요한 기하학 중심 작업과 '어떻게'가 중요한 운동학 중심 작업 모두에 효과적으로 전이될 수 있다는 점입니다. 이는 학습된 표현이 작업별 단축키가 아닌 전이 가능한 궤적 구조를 포착함을 나타냅니다. 저자들은 이를 맵 매칭 파이프라인의 전처리 가정과 계산 비용을 피하고 원시 GPS 데이터에 직접 작동하는 궤적 지능을 위한 기반 모델로의 한 걸음으로 위치시킵니다.

한계
저자들은 모든 실험이 포르투 택시 데이터셋에서 수행되었음을 지적합니다. 그들은 네 가지 하위 애플리케이션 간 전이를 검증했지만, 최소한의 미세 조정으로 다른 데이터셋으로의 전이 학습 테스트, 여러 도시로의 확장, 그리고 완전한 맵 매칭으로 되돌아가지 않으면서 경량 지리적 사전 지식을 토큰에 풍부하게 하는 향후 작업의 필요성을 인정합니다.