기술 요약: TransitLM

문제 정의

대중교통 경로 계획은 전통적으로 구조화된 지도 인프라, 복잡한 라우팅 엔진 (예: Dijkstra, A*, RAPTOR), 실시간 운행 시간표를 의존하여 위상 네트워크 상에서 후보 경로를 검색하고 순위 매깁니다. 대중교통 플랫폼으로부터의 방대한 경로 계획 로그는 승차역, 환승, 사용자 선호도 등 풍부한 라우팅 지식을 암묵적으로 인코딩하고 있지만, 기존 데이터셋은 외부 지도와 엔진에 대한 의존성을 우회하도록 모델을 학습시키는 것을 지원하지 못합니다.

• 차량 궤적 데이터셋 (예: T-Drive, Porto Taxi) 은 역 구조와 노선 식별자가 부족합니다.
• 정적 네트워크 데이터셋 (예: GTFS, CPTOND-2025) 은 위상 구조를 포함하지만 사용자 행동과 계획 궤적이 결여되어 있습니다.
• 범용 LLM (예: GPT-4, Qwen3) 은 대중교통 계획에 어려움을 겪으며, 적절한 학습 데이터와 구조적 기반의 부재로 인해 존재하지 않는 역을 생성하거나, 단절된 경로를 제시하거나, 무효한 승차 지점을 도출하는 환각 현상을 빈번히 보입니다.

결과적으로, 출발지 - 목적지 (OD) 정보로부터 직접적으로 종단 간 (end-to-end) 지도 없는 대중교통 경로 생성을 가능하게 하는 기존 자료원은 존재하지 않습니다.

방법론

저자들은 외부 지도 인프라 없이 데이터 기반 대중교통 계획을 가능하게 하도록 설계된 대규모 데이터셋 및 벤치마크인 TransitLM을 소개합니다.

1. 데이터셋 구축

TransitLM 은 알리바바 그룹의 아임 (Amap) 에서 제공한 4 개 중국 도시 (베이징, 상하이, 선전, 청두) 의 1,300 만 건 이상의 대중교통 경로 계획 로그로 구성되었습니다.

• 규모: 120,845 개 역과 13,666 개 대중교통 노선을 포괄합니다.
• 데이터 스키마:
  • 연속 사전 학습 (CPT) 코퍼스: 1,290 만 건의 경로 계획 세션과 100 만 건의 역 및 노선 정적 설명으로 구성된 1,390 만 건의 레코드. 세션은 쿼리 (GPS 좌표, POI 이름) 와 전체 역 ID 시퀀스, 노선 식별자, 구간별 타이밍, 사용자 선택 라벨을 포함한 후보 경로를 인코딩합니다.
  • 벤치마크 SFT 데이터: 데이터 누수를 방지하기 위해 별도의 시점에서 구축된 세 가지 특정 작업을 위한 표준화된 프롬프트 및 라벨.
• 어휘 확장: 존재하지 않는 역의 환각을 방지하기 위해 모든 120,845 개의 역 ID 를 모델 어휘에 전용 토큰으로 등록하여 각 역을 단일 토큰으로 표현할 수 있도록 했습니다.

2. 벤치마크 작업 (TransitBench)

벤치마크는 각 작업당 10,000 개의 테스트 샘플을 사용하여 세 가지 핵심 작업에서 모델을 평가합니다:

1. 최적 경로 생성 (ORG): OD 좌표를 기반으로 단일 최적 경로 (노선 시퀀스, 역 ID, 환승 마커, 거리, 시간, 요금) 를 생성합니다.
2. 선인식 계획 (PRG): 명시적 제약 조건 (지하철 우선, 버스 우선, 환승 횟수 최소화, 최단 시간) 을 만족하는 경로를 생성합니다.
3. 다중 경로 생성 (DRG): 단일 응답에서 세 가지 다양한 경로를 생성합니다.

3. 평가 지표

성능은 다음 다섯 가지 범주에서 측정됩니다:

• 연결성: 연속된 역 쌍이 공유 노선이나 유효한 환승을 통해 도달 가능한지 확인합니다.
• 접근 가능성: 역 기반 (SG)(예상 승하차 역이 모드별 거리 임계값 내에 있는지 확인) 과 **거리 타당성 (DP)**을 포함합니다.
• 경로 중복도: 노선 중복도 (LO), 역 시퀀스 중복도 (SSO), 경로 정밀 일치 (REM) 를 통해 구조적 일치를 측정합니다.
• 수치 필드 정확도: 거리, 시간, 요금에 대한 추정 정확도 (EA) 와 평균 절대 백분율 오차 (MAPE).
• 작업별 지표: 선호도 준수 (PC) 및 경로 다양성 (RD).

4. 학습 파이프라인

모델 (Qwen3-0.6B, 1.7B, 4B) 은 두 단계의 파이프라인을 거칩니다:

1. 연속 사전 학습 (CPT): 1,390 만 건의 레코드 코퍼스로 모델을 학습시켜 네트워크 위상 및 공간 관계를 내재화합니다.
2. 지도 미세 조정 (SFT): 모델을 특정 벤치마크 작업으로 미세 조정합니다. 일반화 능력을 테스트하기 위해 세 가지 작업의 데이터를 결합하여 학습한 공동 변형 (4B-Joint) 모델도 학습됩니다.

주요 결과

실험은 종단 간 지도 없는 경로 생성이 가능하며, 도메인별 데이터가 모델 규모나 일반 추론 능력보다 더 중요함을 보여줍니다.

• 범용 LLM 대비 우위: 최적 경로 생성에서 범용 LLM 은 (단순화된 출력 요구사항에도 불구하고) 낮은 연결성 (최대 75.5%) 과 경로 정밀 일치 (최대 40.2%) 를 달성했습니다. 반면, 도메인 학습을 거친 Qwen3-4B 는 97.0% 연결성과 71.0% 경로 정밀 일치를 달성했습니다.
• 암묵적 공간 기반: GPS 만 입력으로 테스트했을 때 (모든 텍스트 POI 이름 제거), 범용 LLM 은 붕괴되었습니다 (역 기반이 약 16-24% 로 하락, REM 이 1% 미만으로 하락). 이는 텍스트 단서에 의존할 뿐 공간 이해가 부족했음을 보여줍니다. 반면 TransitLM 학습 모델은 높은 성능을 유지했습니다 (Qwen3-4B 의 REM 은 71.0% 에서 70.4% 로만 소폭 하락), 명시적 매핑 없이 임의 좌표를 역으로 해결하는 법을 학습했음을 증명합니다.
• 작무 무관성: 세 가지 작업을 동시에 학습한 4B-Joint모델은 모든 지표에서 단일 작업 모델과 일치하거나 초과하여, 학습된 대중교통 지식이 작업 무관적이며 부정적 전이 없이 통합 배포를 지원함을 확인했습니다.
• 데이터 확장: 성능은 CPT 데이터 양에 따라 단조롭게 증가합니다. CPT 데이터의 6.25% 만으로도 모델은 94.0% 연결성을 달성했으나, 정밀한 경로 일치는 전체 데이터셋이 필요했습니다.

의의 및 주장

본 논문은 TransitLM이 대중교통 계획의 새로운 패러다임을 확립한다고 주장합니다:

1. 지도 없는 생성의 실현 가능성: 풍부한 궤적 데이터만으로도 기존 지도 기반 라우팅 엔진을 대체할 수 있습니다. 모델은 구조적으로 유효하고 연결된 경로를 생성하며, 외부 지리 데이터베이스 없이 GPS 좌표를 역에 암묵적으로 매핑하는 법을 학습합니다.
2. 데이터가 핵심 동인: 대중교통 계획에서 LLM 의 병목은 모델 용량이 아닌 도메인 지식입니다. 전문 학습 데이터는 더 작은 모델 (0.6B) 이 이 특정 작업에서 더 큰 범용 모델보다 우수한 성과를 내도록 합니다.
3. 통합 표현: 단일 모델이 최적화, 선호도, 다양성 등 다양한 계획 목표를 일반화할 수 있어, 근본적인 대중교통 위상 표현이 강력하고 전이 가능함을 시사합니다.

저자들은 데이터셋이 네 개 중국 도시로 제한되어 있다는 점, 실시간 동적 요소가 결여된 정적 네트워크 스냅샷을 사용했다는 점, 지리적 확장을 위해 필요한 선형 어휘 성장의 한계 등을 제한 사항으로 지적합니다. 향후 연구는 더 넓은 지리와 실시간 동적 요소를 탐구할 것을 제안합니다.