기술 요약: 마이크로 모빌리티 수요 예측을 위한 STAGformer

1. 문제 정의

스테이션 단위의 정확한 수요 예측은 자전거 공유 시스템의 효율적인 운영, 특히 차량 재배치 및 운영 최적화를 위해 매우 중요합니다. 그러나 이 과제는 대규모 도시 네트워크에서 두 가지 주요 문제에 직면해 있습니다:

1. 복잡한 시공간적 의존성: 수요는 주기적인 변동, 도로 네트워크 구조, 관심 지점(POI), 그리고 실시간 날씨의 영향을 받으며, 이는 복잡한 국소적 및 전역적 상호작용을 생성합니다.
2. 계산 확장성: 기존의 딥러ning 접근 방식, 특히 표준 셀프 어텐션(Self-attention) 메커니즘을 사용하는 트랜스포머(Transformer)는 스테이션 수($N$)와 타임 스텝($T$)에 대해 이차 복잡도 $O((NT)^2)$를 가집니다. 이는 도시 규모의 시스템에 적용하기에는 비실용적입니다. 또한, 많은 모델이 다중 소스의 외부 요인(예: 날씨, POI)을 효과적으로 통합하지 못하여 예측 정확도를 제한합니다.

2. 방법론: STAGformer

본 논문은 선형 계산 복잡도를 유지하면서 높은 예측 정확도를 달eric하도록 설계된 모델인 STAGformer(Spatio-Temporal Agent Graph Transformer)를 제안합니다. 이 아키텍처는 네 가지 핵심 모듈을 통합합니다:

A. 시공간 특징 인코더 (Spatio-Temporal Feature Encoder)

이 모듈은 동적 노드 특징(과거 대여/반납 횟수)을 전역 외부 요인(날씨, 시간, POI)과 융합합니다. 선형 투영(Linear projection)을 사용하여 입력을 은닉 차원으로 매핑하고, 이를 결합한 뒤 학습 가능한 시간 및 공간 위치 인코딩을 주입하여 순서 정보를 보존합니다.

B. 그래프 전파 모듈 (Graph Propagation Module)

국소적 공간 의존성을 명시적으로 모델링하기 위해, 이 모듈은 공간적 이웃으로부터 정보를 집계합니다. 외부 인접 행렬(도로 네트워크 거리에 기반함) 또는 적응적으로 학습된 그래프 구조를 활용합니다. $K$-단계 전파를 통해 고차(higher-order) 공간적 영향을 포착하고, 학습 가능한 가중치를 통해 이를 융합합니다.

C. 시간적 합성곱 모듈 (Temporal Convolution Module)

이 경량 모듈은 각 스테이션의 국소적 시간 패턴을 포착합니다. 글로벌 모델링 이전에 단기 변동 패턴을 추출하기 위해, 잔차 연결(Residual connection), 배치 정규화(Batch normalization), GELU 활성화 함수가 강화된 1D 합성곱(잠재적으로 depthwise separable 형태)을 시간 차원을 따라 적용합니다.

D. 에이전트 어텐션 모듈 (Agent Attention Module - 핵심 혁신)

표준 셀프 어텐션의 이차 복잡도 문제를 해결하기 위해, STAGformer는 별도의 공간 및 시간 브랜치를 가진 2단계 에이전트 어텐션 메커니즘을 도입합니다:

1. 에이전트 토큰 (Agent Tokens): 소수의 학습 가능한 "에이전트" 토큰($n_s$는 공간용, $n_t$는 시간용, 여기서 $n \ll N, T$)이 도입됩니다.
2. 집계 (Aggregation): 에이전트 토큰은 쿼리(Query) 역할을 하여 모든 노드/타임 스텝으로부터 전역 정보를 압축된 컨텍스트로 집계합니다.
3. 브로드캐스팅 (Broadcasting): 원래의 노드들은 이 에이전트 토큰에 어텐션을 수행하여 집계된 전역 컨텍스트를 전달받습니다.
4. 잔차 다양성 (Residual Diversity): 압축 단계에서 손실될 수 있는 특징의 다양성을 회복하기 위해 공간 어텐션 출력에 Depthwise Convolution(DWC) 브랜치가 추가됩니다.

이 메커니즘은 계산 복잡도를 $O((NT)^2)$에서 **$O(NT)$**로 줄여, 표준 어텐션의 막대한 비용 없이도 장거리 시공간 의존성을 모델링할 수 있게 합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 새로운 인코딩 체계: 동적 노드 특징을 전역 외부 요인과 융합하는 설계로, 그래프 전파와 시간적 합성곱을 통해 전역 및 국소 패턴 추출을 강화했습니다.
2. STAGformer 아키텍처: 자전거 공유 수요 예측에 에이전트 어텐션 메커니즘을 도입하여, 전역 모델링 능력을 유지하면서 선형 계산 복잡도를 달성했습니다.
3. 실증적 검증: STAGformer가 정확도(RMSE 및 MAE) 측면에서 최신 베이스라인 모델들을 능가함을 광범적인 실험을 통해 입증했습니다.

4. 실험 결과

모델은 NYC Citi-Bike와 Chicago Divvy-Bike라는 두 개의 실제 데이터셋을 통해 평가되었습니다.

• 성능: STAGformer는 선형 회귀, GRU, Transformer, GAT 및 BikeMAN, STAEformer와 같은 특화된 모델을 포함한 9개의 베이스라인 모델보다 일관되게 우수한 성능을 보였습니다. 여러 예측 지평(horizon)에 걸쳐 가장 낮은 RMSE와 MAE를 달s했습니다 (예: NYC 데이터에서 다음 모델 대비 RMSE 0.4874 vs 0.5106).
• 절제 연구 (Ablation Studies): 핵심 모듈 중 하나라도 제거하면 성능이 저하되었습니다.
  • 에이전트 어텐션을 제거했을 때 가장 큰 성능 저하가 발생했습니다 (예: NYC에서 RMSE +37.9%), 이는 전역 의존성 모델링을 위한 필수성을 확인시켜 줍니다.
  • 외부 특징을 제거하면 상당한 오차가 발생하여, 날씨 및 POI 데이터의 중요성을 강조했습니다.
  • 그래프 전파 및 시간적 합성곱을 제거했을 때도 측정 가능한 성능 하락이 나타나, 명시적인 국소 공간 및 시간 모델링의 필요성을 검증했습니다.
• 효율성: 모델은 $N$ 및 $T$에 대해 선형 스케일링을 보여주었으며, 이는 표준 트랜스포머가 계산적으로 불가능한 대규모 배포 환경에서도 실행 가능함을 의미합니다.
• 사례 연구 (Case Studies): NYC 수요 패턴 시각화는 조석 흐름(주거지와 업무 지구 간의 통근 패턴), 공간적 불균형, 그리고 멀리 떨어진 스테이션 간의 장거리 상관관계를 포착하는 모델의 능력을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 STAGformer가 대규모 도시 시스템의 마이크로 모빌리티 수요 예측을 위한 확장 가능하고 정확한 솔루션을 제공한다고 주장합니다. 그 의의는 Softmax 어텐션의 표현력과 도시 규모 네트워크에 필요한 선형적 효율성 사이의 간극을 성공적으로 메운 데 있습니다. 그래프 기반의 국소 모델링과 에이전트 기반의 전역 모델링을 결합함으로써, 계산 속도를 위해 예측 정확도를 희생하지 않는 견고한 프레임워크를 제시합니다.

저자들은 현재 고정된 그래프 구조에 의존하고 있다는 점과 에이전트 토큰 수에 대한 경험적 튜닝이 필요하다는 점을 언급하며 한계를 인정했습니다. 향후 연구로는 동적 그래프 학습, 적응형 에이전트 선택, 그리고 다른 마이크로 모빌리티 시스템(예: 전동 킥보드)으로의 적용을 제안했습니다.