Resumen Técnico: TransitLM

Enunciado del Problema

La planificación de rutas de transporte público tradicionalmente depende de infraestructura de mapas estructurada, motores de enrutamiento complejos (por ejemplo, Dijkstra, A*, RAPTOR) y datos de horarios en tiempo real para recuperar y clasificar candidatos sobre redes topológicas. Aunque los registros masivos de planificación de rutas de las plataformas de transporte codifican implícitamente un rico conocimiento de enrutamiento (estaciones de embarque, transbordos, preferencias de los usuarios), los conjuntos de datos existentes no logran apoyar el entrenamiento de modelos para eludir la dependencia de mapas externos y motores.

• Conjuntos de datos de trayectorias de vehículos (por ejemplo, T-Drive, Porto Taxi) carecen de estructuras de estaciones e identificadores de líneas.
• Conjuntos de datos de redes estáticas (por ejemplo, GTFS, CPTOND-2025) contienen topología pero carecen de comportamiento del usuario y trayectorias de planificación.
• LLMs de propósito general (por ejemplo, GPT-4, Qwen3) tienen dificultades con la planificación de transporte, produciendo frecuentemente estaciones alucinadas, rutas desconectadas o puntos de embarque inválidos debido a la falta de datos de entrenamiento adecuados y fundamentación estructural.

En consecuencia, ninguna fuente existente permite la generación de rutas de transporte de extremo a extremo, sin mapas, directamente a partir de información de origen-destino (OD).

Metodología

Los autores presentan TransitLM, un conjunto de datos y una referencia a gran escala diseñados para permitir la planificación de transporte basada en datos sin infraestructura de mapas externa.

1. Construcción del Conjunto de Datos

TransitLM se construye a partir de más de 13 millones de registros de planificación de rutas de transporte proporcionados por Amap (Alibaba Group) en cuatro ciudades chinas: Pekín, Shanghái, Shenzhen y Chengdu.

• Escala: Cubre 120,845 estaciones y 13,666 líneas de transporte.
• Esquema de Datos:
  • Corpus de Pre-entrenamiento Continuo (CPT): 13.9 millones de registros que comprenden 12.9 millones de sesiones de planificación de rutas y 1.0 millón de descripciones estáticas de estaciones y líneas. Las sesiones codifican consultas (coordenadas GPS, nombres de POI) y rutas candidatas con secuencias completas de ID de estación, identificadores de línea, tiempos a nivel de segmento y etiquetas de selección del usuario.
  • Datos de Referencia SFT: Prompts y etiquetas estandarizados para tres tareas específicas, construidos a partir de un período de tiempo separado para evitar la filtración de datos.
• Expansión del Vocabulario: Para prevenir la alucinación de estaciones inexistentes, los 120,845 IDs de estación se registran como tokens dedicados en el vocabulario del modelo, permitiendo que cada estación se represente como un solo token.

2. Tareas de Referencia (TransitBench)

La referencia evalúa modelos en tres tareas principales utilizando 10,000 muestras de prueba por tarea:

1. Generación de Ruta Óptima (ORG): Generar una única ruta óptima (secuencia de líneas, IDs de estación, marcadores de transbordo, distancia, tiempo, tarifa) basada en coordenadas OD.
2. Planificación Consciente de Preferencias (PRG): Generar una ruta que satisfaga restricciones explícitas (metro primero, autobús primero, menos transbordos, tiempo más corto).
3. Generación de Múltiples Rutas (DRG): Generar tres rutas diversas en una sola respuesta.

3. Métricas de Evaluación

El rendimiento se mide en cinco categorías:

• Conectividad: Verifica que los pares de estaciones consecutivas sean alcanzables mediante líneas compartidas o transbordos válidos.
• Factibilidad de Acceso: Incluye Fundamentación de Estación (SG) (verificar si las estaciones de embarque/desembarque predichas están dentro de umbrales de distancia específicos del modo de la OD) y Plausibilidad de Distancia (DP).
• Superposición de Ruta: Mide la coincidencia estructural mediante Superposición de Línea (LO), Superposición de Secuencia de Estaciones (SSO) y Coincidencia Exacta de Ruta (REM).
• Precisión de Campos Numéricos: Precisión de Estimación (EA) y Error Porcentual Absoluto Medio (MAPE) para distancia, tiempo y tarifa.
• Métricas Específicas de Tarea: Cumplimiento de Preferencias (PC) y Diversidad de Ruta (RD).

4. Pipeline de Entrenamiento

Los modelos (Qwen3-0.6B, 1.7B y 4B) pasan por un pipeline de dos etapas:

1. Pre-entrenamiento Continuo (CPT): Los modelos se entrenan en el corpus de 13.9M de registros para internalizar la topología de la red y las relaciones espaciales.
2. Ajuste Fino Supervisado (SFT): Los modelos se ajustan finamente en las tareas específicas de la referencia. Una variante conjunta (4B-Joint) se entrena con datos combinados de las tres tareas para probar la generalización.

Resultados Clave

Los experimentos demuestran que la generación de rutas de extremo a extremo, sin mapas, es viable y que los datos específicos del dominio son más críticos que la escala del modelo o las capacidades de razonamiento general.

• Superioridad sobre LLMs de Propósito General: En la Generación de Ruta Óptima, los LLMs de propósito general (incluso con requisitos de salida simplificados) lograron una baja conectividad (máximo 75.5%) y Coincidencia Exacta de Ruta (máximo 40.2%). En contraste, el Qwen3-4B entrenado en el dominio logró 97.0% de conectividad y 71.0% de Coincidencia Exacta de Ruta.
• Fundamentación Espacial Implícita: Cuando se probó con entradas solo de GPS (eliminando todos los nombres de POI textuales), los LLMs de propósito general colapsaron (la Fundamentación de Estación cayó a ~16-24%, REM a <1%), dependiendo de pistas textuales en lugar de comprensión espacial. Los modelos entrenados con TransitLM mantuvieron un alto rendimiento (la REM de Qwen3-4B cayó solo de 71.0% a 70.4%), demostrando que aprendieron a resolver coordenadas arbitrarias a estaciones sin mapeo explícito.
• Agnosticismo de Tarea: El modelo 4B-Joint, entrenado en las tres tareas simultáneamente, igualó o superó a sus contrapartes de tarea única en todas las métricas, confirmando que el conocimiento de transporte aprendido es agnóstico a la tarea y soporta un despliegue unificado sin transferencia negativa.
• Escalado de Datos: El rendimiento escala monótonamente con el volumen de datos de CPT. Incluso con solo el 6.25% de los datos de CPT, el modelo logró 94.0% de conectividad, aunque la coincidencia precisa de rutas requirió el conjunto de datos completo.

Significado y Afirmaciones

El artículo afirma que TransitLM establece un nuevo paradigma para la planificación de transporte donde:

1. La Generación Sin Mapas es Viable: Los datos ricos de trayectorias por sí solos pueden reemplazar los motores de enrutamiento basados en mapas convencionales. El modelo aprende a producir rutas conectadas estructuralmente válidas y a fundamentar implícitamente coordenadas GPS en estaciones sin bases de datos geográficas externas.
2. Los Datos son el Habilitador Crítico: El cuello de botella para los LLMs en la planificación de transporte es el conocimiento del dominio, no la capacidad del modelo. Los datos de entrenamiento especializados permiten que modelos más pequeños (0.6B) superen a modelos de propósito general más grandes en esta tarea específica.
3. Representación Unificada: Un solo modelo puede generalizar a través de diversos objetivos de planificación (optimalidad, preferencia, diversidad), lo que sugiere que las representaciones subyacentes de la topología de transporte son robustas y transferibles.

Los autores señalan limitaciones, incluida la restricción del conjunto de datos a cuatro ciudades chinas, el uso de instantáneas de redes estáticas (que carecen de dinámicas en tiempo real) y el crecimiento lineal del vocabulario requerido para la expansión geográfica. Se sugiere trabajo futuro para explorar geografías más amplias y dinámicas en tiempo real.