TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

Resumen Técnico: TrajTok: Tokenización Espacial Adaptativa para el Aprendizaje de Representaciones de Trayectorias

Enunciado del Problema
Aprender representaciones generalizables a partir de trayectorias GPS crudas es un desafío debido a la naturaleza continua, ruidosa y de muestreo irregular de los datos. Los modelos fundacionales existentes y los paradigmas de aprendizaje de representaciones geográficas a menudo dependen de la discretización en cuadrículas de tamaño fijo. Este enfoque presenta un compromiso fundamental: las cuadrículas de alta resolución crean celdas con visitas GPS insuficientes para aprender incrustaciones robustas, mientras que las cuadrículas de baja resolución sufren de fragmentación interna, fusionando patrones de movimiento local heterogéneos en tokens únicos. Además, los métodos tradicionales luchan por capturar simultáneamente las estructuras geométricas de las rutas y las dinámicas cinemáticas del movimiento sin depender de un preprocesamiento rígido de ajuste al mapa (map-matching).

Metodología
Los autores proponen TrajTok, un marco de codificador de trayectorias que convierte trazas GPS crudas en tokens discretos mediante tokenización espacial adaptativa y aprende representaciones a través de una arquitectura de transformador factorizado.

1. Tokenización Espacial Adaptativa:
   En lugar de cuadrículas fijas, TrajTok construye un vocabulario hexagonal de múltiples resoluciones utilizando el sistema H3. El vocabulario se construye jerárquicamente: las celdas en regiones de alta densidad se dividen recursivamente en resoluciones más finas hasta alcanzar un umbral de capacidad o una resolución máxima, mientras que las regiones escasas permanecen en resoluciones más gruesas. Esto asigna unidades espaciales más finas a áreas densas mientras mantiene un vocabulario compacto. Los puntos GPS crudos se mapean a la celda del vocabulario de mayor resolución que los contiene, produciendo una secuencia de tokens discretos con IDs de celda, resoluciones, coordenadas y marcas de tiempo asociadas.

2. Codificador de Transformador Factorizado:
   La arquitectura emplea un diseño de doble flujo para separar el aprendizaje geométrico y cinemático antes de fusionarlos:

   • Canal Geométrico: Codifica la ubicación espacial mediante vectores de identidad de celda aprendidos.
   • Canal Cinemático: Codifica continuamente las características de movimiento (velocidad y rumbo normalizados), utilizando transformaciones seno/coseno para el rumbo para respetar la estructura circular.
   • Codificación Posicional Espaciotemporal: El canal geométrico utiliza Incrustaciones Posicionales Rotativas Espaciotemporales (ST-RoPE) sobre latitud, longitud y tiempo. El canal cinemático utiliza RoPE solo temporal.
   • Fusión: Las capas iniciales procesan cada flujo independientemente mediante autoatención. Las capas de fusión subsiguientes aplican atención cruzada, permitiendo que los flujos geométrico y cinemático se atiendan mutuamente, creando una representación unificada de la trayectoria.

3. Objetivo de Preentrenamiento:
   TrajTok se preentrena utilizando un objetivo de modelado de tokens enmascarados co-enmascarados. Dada una trayectoria con posiciones enmascaradas compartidas en ambos canales:

   • El canal geométrico predice los IDs de celda enmascarados.
   • El canal cinemático reconstruye la velocidad y el rumbo normalizados.
   • La pérdida es una combinación lineal de la pérdida de predicción geométrica y la pérdida de regresión cinemática.
   • Los autores introducen el enmascaramiento de tramos consciente de la ejecución (run-aware span masking), que rechaza los tramos de máscara candidatos que yacen enteramente dentro de una sola ejecución de celda repetida para evitar que el modelo aprenda atajos triviales (copiar puntos finales).

Contribuciones Clave

• Tokenización Adaptativa a la Densidad: Un método para particionar trayectorias continuas en tokens espaciales de múltiples resoluciones, asignando celdas más finas a regiones densas mientras preserva un vocabulario compacto, abordando el compromiso inherente en los enfoques de cuadrícula fija.
• Arquitectura Factorizada: Un codificador de transformador que separa el procesamiento de señales geométricas (ubicación) y cinemáticas (movimiento) en capas iniciales, fusionándolas mediante atención cruzada para capturar tanto la geometría de la ruta como las dinámicas de movimiento.
• Receta de Preentrenamiento: Un objetivo de modelado de tokens enmascarados simple pero efectivo, adaptado para flujos GPS crudos, que incorpora co-enmascaramiento y enmascaramiento de tramos consciente de la ejecución para fomentar el aprendizaje de estructuras transferibles.
• Generalizabilidad: Demostración de que un único codificador preentrenado congelado, emparejado con adaptadores de tareas ligeros, logra un rendimiento de vanguardia o competitivo en diversas tareas posteriores, incluidos escenarios dominados por geometría (búsqueda de similitud, clasificación) y escenarios dominados por cinemática (ETA, regresión de tiempo de viaje).

Resultados Experimentales
Evaluado en el conjunto de datos de taxis de Porto, un único codificador TrajTok congelado con adaptadores específicos de la tarea logró lo siguiente:

• Búsqueda de Similitud de Trayectorias: Logró un HR@1 de 0.435, superando a bases fuertes como NeuTraj (0.308) y SIMformer (0.300).
• Clasificación de Tipo de Llamada: Logró un macro-F1 de 0.773, igualando o superando ligeramente a métodos especializados como START y JGRM, a pesar de que TrajTok opera únicamente sobre GPS crudo sin ajuste al mapa.
• Tiempo Estimado de Llegada (ETA): Logró un MAE de 42.27 segundos en la predicción basada en prefijos, superando sustancialmente a sistemas neuronales anteriores de tiempo de viaje (por ejemplo, MetaER-TTE a 93.75s).
• Regresión de Tiempo de Viaje de Trayectoria Completa: Logró un MAE de 38.41 segundos, superando significativamente a bases como TIGR (86.86s).

Los estudios de ablación confirmaron que la tokenización adaptativa a la densidad, la fusión por atención cruzada y la receta específica de preentrenamiento son todos impulsores críticos del rendimiento. Cabe destacar que los autores observaron que extender el preentrenamiento más allá de cierto punto (aumentando los pasos de 60k a 120k) redujo la pérdida de validación pero degradó el rendimiento de recuperación posterior, lo que sugiere que la pérdida de preentrenamiento por sí sola no es un proxy suficiente para la transferibilidad.

Significado y Afirmaciones
El artículo afirma que TrajTok demuestra que la tokenización espacial aprendida de múltiples resoluciones, combinada con un objetivo simple de preentrenamiento de tokens enmascarados, es un marco prometedor para modelos fundacionales de propósito general de trayectorias. El hallazgo clave es que un único codificador congelado puede transferirse efectivamente tanto a tareas dominadas por geometría (donde importa el "dónde") como a tareas dominadas por cinemática (donde importa el "cómo"). Esto indica que la representación aprendida captura la estructura transferible de la trayectoria en lugar de atajos específicos de la tarea. Los autores posicionan esto como un paso hacia modelos fundacionales para la inteligencia de trayectorias que operan directamente sobre datos GPS crudos, evitando las suposiciones de preprocesamiento y los costos computacionales de las tuberías de ajuste al mapa.

Limitaciones
Los autores señalan que todos los experimentos se realizaron en el conjunto de datos de taxis de Porto. Si bien verificaron la transferencia a través de cuatro aplicaciones posteriores, reconocen la necesidad de trabajos futuros para probar el aprendizaje de transferencia a otros conjuntos de datos con un ajuste fino mínimo, la escalabilidad a múltiples ciudades y el enriquecimiento potencial de los tokens con priores geográficos ligeros sin recurrir al ajuste al mapa completo.