TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

Résumé Technique : TrajTok : Tokenisation Spatiale Adaptative pour l'Apprentissage de Représentations de Trajectoires

Énoncé du Problème
L'apprentissage de représentations généralisables à partir de trajectoires GPS brutes est difficile en raison de la nature continue, bruitée et échantillonnée de manière irrégulière des données. Les modèles de fondation existants et les paradigmes d'apprentissage de représentations géographiques reposent souvent sur une discrétisation en grille de taille fixe. Cette approche présente un compromis fondamental : les grilles à haute résolution créent des cellules avec des visites GPS insuffisantes pour apprendre des plongements robustes, tandis que les grilles à basse résolution souffrent d'une fragmentation interne, fusionnant des motifs de mouvement locaux hétérogènes en un seul jeton. De plus, les méthodes traditionnelles peinent à capturer simultanément les structures géométriques des itinéraires et les dynamiques cinématiques du mouvement sans recourir à un prétraitement rigide d'ajustement sur la carte (map-matching).

Méthodologie
Les auteurs proposent TrajTok, un cadre d'encodeur de trajectoires qui convertit les traces GPS brutes en jetons discrets via une tokenisation spatiale adaptative et apprend des représentations grâce à une architecture de transformateur factorisée.

1. Tokenisation Spatiale Adaptative :
   Au lieu de grilles fixes, TrajTok construit un vocabulaire hexagonal multi-résolution en utilisant le système H3. Le vocabulaire est construit de manière hiérarchique : les cellules des régions à forte densité sont divisées récursivement en résolutions plus fines jusqu'à ce qu'un seuil de capacité soit atteint ou qu'une résolution maximale soit atteinte, tandis que les régions éparses restent à des résolutions plus grossières. Cela alloue des unités spatiales plus fines aux zones denses tout en maintenant un vocabulaire compact. Les points GPS bruts sont mappés vers la cellule du vocabulaire à la résolution la plus élevée les contenant, produisant une séquence de jetons discrets avec des identifiants de cellule, des résolutions, des coordonnées et des horodatages associés.

2. Encodeur de Transformateur Factorisé :
   L'architecture emploie une conception à double flux pour séparer l'apprentissage géométrique et cinématique avant de les fusionner :

   • Canal Géométrique : Encode la localisation spatiale via des vecteurs d'identité de cellule appris.
   • Canal Cinématique : Encode les caractéristiques de mouvement (vitesse et cap normalisés) de manière continue, en utilisant des transformations sinus/cosinus pour le cap afin de respecter la structure circulaire.
   • Encodage Positionnel Spatio-temporel : Le canal géométrique utilise des Encodages Positionnels Rotatifs Spatio-temporels (ST-RoPE) sur la latitude, la longitude et le temps. Le canal cinématique utilise un RoPE purement temporel.
   • Fusion : Les premières couches traitent chaque flux indépendamment via une auto-attention. Les couches de fusion ultérieures appliquent une attention croisée, permettant aux flux géométrique et cinématique de s'attendre l'un à l'autre, créant ainsi une représentation unifiée de la trajectoire.

3. Objectif de Préentraînement :
   TrajTok est préentraîné en utilisant un objectif de modélisation de jetons masqués co-masqués. Étant donné une trajectoire avec des positions masquées partagées entre les deux canaux :

   • Le canal géométrique prédit les identifiants de cellule masqués.
   • Le canal cinématique reconstruit la vitesse et le cap normalisés.
   • La perte est une combinaison linéaire de la perte de prédiction géométrique et de la perte de régression cinématique.
   • Les auteurs introduisent un masquage de segments conscient des séquences (run-aware span masking), qui rejette les segments de masquage candidats se situant entièrement dans une séquence répétée d'une seule cellule afin d'empêcher le modèle d'apprendre des raccourcis triviaux (copier les points de terminaison).

Contributions Clés

• Tokenisation Adaptative à la Densité : Une méthode pour partitionner les trajectoires continues en jetons spatiaux multi-résolution, allouant des cellules plus fines aux régions denses tout en préservant un vocabulaire compact, adressant le compromis inhérent aux approches à grille fixe.
• Architecture Factorisée : Un encodeur de transformateur qui sépare le traitement des signaux géométriques (localisation) et cinématiques (mouvement) dans les premières couches, les fusionnant via une attention croisée pour capturer à la fois la géométrie de l'itinéraire et les dynamiques de mouvement.
• Recette de Préentraînement : Un objectif simple mais efficace de modélisation de jetons masqués, adapté aux flux GPS bruts, incorporant le co-masquage et le masquage de segments conscient des séquences pour encourager l'apprentissage d'une structure transférable.
• Généralisabilité : Démonstration qu'un seul encodeur préentraîné figé, couplé à des adaptateurs de tâche légers, atteint des performances de pointe ou compétitives sur diverses tâches en aval, y compris les scénarios dominés par la géométrie (recherche de similarité, classification) et ceux dominés par la cinématique (ETA, régression du temps de trajet).

Résultats Expérimentaux
Évalué sur l'ensemble de données Porto taxi, un seul encodeur TrajTok figé avec des adaptateurs spécifiques à la tâche a obtenu les résultats suivants :

• Recherche de Similarité de Trajectoire : A atteint un HR@1 de 0,435, surpassant de solides références comme NeuTraj (0,308) et SIMformer (0,300).
• Classification par Type d'Appel : A atteint un macro-F1 de 0,773, égalant ou dépassant légèrement des méthodes spécialisées comme START et JGRM, bien que TrajTok fonctionne uniquement sur des GPS bruts sans ajustement sur la carte.
• Heure d'Arrivée Estimée (ETA) : A atteint une MAE de 42,27 secondes sur la prédiction basée sur le préfixe, surpassant considérablement les systèmes antérieurs de temps de trajet neuronal (par exemple, MetaER-TTE à 93,75 s).
• Régression du Temps de Trajet sur Trajectoire Complète : A atteint une MAE de 38,41 secondes, surpassant significativement des références comme TIGR (86,86 s).

Des études d'ablation ont confirmé que la tokenisation adaptative à la densité, la fusion par attention croisée et la recette spécifique de préentraînement sont tous des facteurs critiques de performance. Il est à noter que les auteurs ont observé que l'extension du préentraînement au-delà d'un certain point (augmentation des étapes de 60k à 120k) réduisait la perte de validation mais dégradait les performances de récupération en aval, suggérant que la perte de préentraînement seule n'est pas un proxy suffisant pour la transférabilité.

Signification et Revendications
L'article revendique que TrajTok démontre que la tokenisation spatiale multi-résolution apprise, combinée à un objectif simple de préentraînement par masquage de jetons, constitue un cadre prometteur pour les modèles de fondation de trajectoires à usage général. La découverte clé est qu'un seul encodeur figé peut se transférer efficacement à la fois vers des tâches dominées par la géométrie (où le "où" compte) et des tâches dominées par la cinématique (où le "comment" compte). Cela indique que la représentation apprise capture une structure de trajectoire transférable plutôt que des raccourcis spécifiques à la tâche. Les auteurs positionnent cela comme une étape vers des modèles de fondation pour l'intelligence de trajectoire qui opèrent directement sur des données GPS brutes, évitant les hypothèses de prétraitement et les coûts de calcul des pipelines d'ajustement sur la carte.

Limites
Les auteurs notent que toutes les expériences ont été menées sur l'ensemble de données Porto taxi. Bien qu'ils aient vérifié le transfert sur quatre applications en aval, ils reconnaissent la nécessité de travaux futurs pour tester l'apprentissage par transfert vers d'autres ensembles de données avec un réglage fin minimal, l'extension à plusieurs villes, et potentiellement l'enrichissement des jetons avec des priors géographiques légers sans revenir à un ajustement complet sur la carte.