RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

1. 문제 정의 (Problem)

인간의 이동성 (Human Mobility) 예측은 교통 시스템 최적화, 전염병 통제, 도시 계획 등에 필수적이지만, 다음과 같은 복잡성으로 인해 매우 어려운 과제입니다.

• 장기 의존성 (Long-range Dependencies): 이동 패턴은 수일에서 수주에 걸친 장기적인 상관관계를 가집니다.
• 다중 스케일 주기성 (Multi-scale Periodicity): 일일 (매일 반복) 과 주간 (주말/평일 차이) 과 같은 계층적인 주기적 패턴이 존재합니다.
• 기존 모델의 한계:
  • RNN/Markov 기반 모델: 장기 의존성을 포착하지 못하거나 장기 시퀀스에서의 기울기 소실 문제가 발생합니다.
  • Transformer 기반 모델: 시간을 정적인 시퀀스로 취급하여 다중 스케일의 주기적 패턴 (일별 vs 주별) 을 명확히 분리하지 못하며, 시퀀스 길이에 비례하는 2 차 (Quadratic) 계산 복잡도로 인해 긴 이동 경로를 처리하는 데 비효율적입니다.
  • 기존 LLM 기반 모델: 이동성을 일반적인 텍스트 시퀀스로만 취급하여 이동 데이터 고유의 구조적 주기성을 충분히 활용하지 못합니다.

2. 방법론 (Methodology)

저자들은 RHYTHM을 제안합니다. 이는 대규모 언어 모델 (LLM) 을 일반 목적의 시공간 예측기 및 추론 엔진으로 활용하는 통합 프레임워크입니다. 핵심 기술은 다음과 같습니다.

A. 위계적 시간 토큰화 (Hierarchical Temporal Tokenization)

• 개념: 인간의 이동 패턴을 언어의 구조에 비유하여, '일일 루틴'을 토큰 (Token) 으로, '주간 리듬'을 고차 문법 (Syntax) 으로 간주합니다.
• 구현:
  1. 전체 이동 궤적을 의미 있는 시간 구간 (예: 하루 단위) 으로 분할하여 세그먼트를 생성합니다.
  2. 각 세그먼트 내에서는 **세그먼트 내 어텐션 (Intra-segment attention)**을 통해 국소적 패턴을 학습합니다.
  3. 각 세그먼트를 하나의 이산 토큰으로 풀링 (Pooling) 한 후, **세그먼트 간 어텐션 (Inter-segment attention)**을 적용하여 일별 및 주별과 같은 장기 의존성을 모델링합니다.
• 효과: 처리해야 하는 시퀀스 길이를 $T$에서 $N$(세그먼트 수) 으로 줄여 어텐션 계산 복잡도를 $O(T^2)$에서 $O(N^2)$으로 2 차적으로 감소시키면서도 주기적 정보를 유지합니다.

B. 의미적 컨텍스트 통합 (Semantic Context Integration)

• 프롬프트 기반 임베딩: 이동 궤적의 세부 정보 (좌표, 시간대, 요일 등) 와 예측 태스크에 대한 설명을 프롬프트로 구성합니다.
• 프리컴퓨팅 (Pre-computation): 프리트레인된 LLM 을 사용하여 위 프롬프트에서 의미 임베딩 (Semantic Embeddings) 을 생성합니다. 이 과정은 학습 전에 오프라인으로 수행되므로, 추론 시 LLM 실행 오버헤드가 없습니다.
• 정렬 (Alignment): 생성된 의미 임베딩을 시간 토큰과 요소별 덧셈 (Element-wise addition) 으로 결합하여, LLM 이 시간적 맥락과 의미적 맥락을 동시에 이해하도록 합니다.

C. 파라미터 효율적 적응 (Parameter-Efficient Adaptation)

• Frozen LLM Backbone: LLM 의 사전 학습된 가중치를 동결 (Freeze) 시키고, 오직 토큰화 및 어텐션 모듈, 출력 레이어만 학습시킵니다.
• 이점: 메모리 사용량을 크게 줄이고 학습 속도를 향상시키며, LLM 이 가진 강력한 추론 능력을 유지하면서도 이동성 데이터에 특화된 적응을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 위계적 시간 토큰화 도입: 일일 이동 패턴을 이산 토큰으로 인코딩하여 시퀀스 길이를 줄이면서도 다중 스케일 (일별/주별) 의존성을 포착하는 메커니즘을 제안했습니다.
2. 효율적인 프롬프트 가이드 접근법: 궤적 정보와 태스크 설명을 세그먼트 임베딩에 통합하여 복잡한 이동 패턴 해석 능력을 향상시켰습니다.
3. 파라미터 효율성: 프리트레인된 LLM 을 동결하여 학습 가능한 파라미터를 전체 모델의 12.37% 로 줄였으며, 기존 베이스라인 대비 24.6% 의 학습 시간 단축을 달성했습니다.
4. 실증적 성과: 3 개의 실제 세계 데이터셋에서 최첨단 (SOTA) 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Kumamoto, Sapporo, Hiroshima 의 3 개 도시 데이터셋 (YJMob100K) 을 사용하여 실험을 수행했습니다.

• 정확도 향상:
  • 전체 정확도 (Accuracy@1) 에서 기존 최강 모델 대비 2.4% 향상.
  • 특히 주말 (Weekends) 에 5.0% 향상을 보였는데, 이는 주말의 불규칙하고 복잡한 이동 패턴을 LLM 의 추론 능력이 잘 처리했음을 시사합니다.
  • DTW (공간 정렬 오차) 및 MRR (순위 평가) 지표에서도 우수한 성능을 기록했습니다.
• 계산 효율성:
  • 학습 시간은 기존 SOTA 모델 대비 24.6% 단축.
  • 학습 가능한 파라미터는 전체의 12.37% 수준으로 압축되어 메모리 효율성이 매우 높습니다.
• 확장성 (Scalability):
  • LLM 의 크기 (1B, 2B, 3B 파라미터) 가 커질수록 예측 성능이 향상되는 스케일링 법칙을 확인했습니다.
  • 다양한 LLM (Llama, Gemma, OPT 등) 을 백본으로 사용했을 때 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

• 이동성 모델링의 패러다임 전환: 이동성을 단순한 시계열 데이터가 아닌, 구조화된 주기성을 가진 '언어'처럼 접근하여 LLM 의 추론 능력을 효과적으로 활용했습니다.
• 실용성: 동결된 LLM 을 사용하여 계산 비용과 메모리 요구 사항을 낮췄기 때문에, 제한된 컴퓨팅 자원을 가진 실제 환경 (예: 엣지 디바이스, 대규모 도시 계획) 에 배포하기 용이합니다.
• 복잡한 상황 대응: 규칙적인 평일 이동뿐만 아니라, 주말이나 비정상적인 상황과 같은 복잡한 의사결정이 필요한 시나리오에서 기존 모델보다 뛰어난 성능을 보여, 신뢰성 있는 이동성 예측 시스템 구축에 기여합니다.

결론적으로 RHYTHM 은 시간적 토큰화와 LLM 기반 추론을 결합하여 이동성 예측의 정확도와 효율성을 동시에 해결한 혁신적인 프레임워크입니다.