TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

Resumo Técnico: TrajTok: Tokenização Espacial Adaptativa para Aprendizado de Representação de Trajetórias

Declaração do Problema
A aprendizagem de representações generalizáveis a partir de trajetórias GPS brutas é desafiadora devido à natureza contínua, ruidosa e amostrada de forma irregular dos dados. Modelos fundacionais existentes e paradigmas de aprendizagem de representação geográfica frequentemente dependem de discretização em grades de tamanho fixo. Essa abordagem apresenta um compromisso fundamental: grades de alta resolução criam células com visitas GPS insuficientes para aprender embeddings robustos, enquanto grades de baixa resolução sofrem de fragmentação interna, fundindo padrões de movimento local heterogêneos em tokens únicos. Além disso, métodos tradicionais lutam para capturar simultaneamente estruturas geométricas de rotas e dinâmicas de movimento cinemático sem depender de pré-processamento rígido de correspondência com mapa (map-matching).

Metodologia
Os autores propõem o TrajTok, um framework de codificador de trajetórias que converte traços GPS brutos em tokens discretos via tokenização espacial adaptativa e aprende representações através de uma arquitetura de transformador fatorizado.

1. Tokenização Espacial Adaptativa:
   Em vez de grades fixas, o TrajTok constrói um vocabulário hexagonal multi-resolução utilizando o sistema H3. O vocabulário é construído hierarquicamente: células em regiões de alta densidade são divididas recursivamente em resoluções mais finas até que um limiar de capacidade seja atingido ou uma resolução máxima seja alcançada, enquanto regiões esparsas permanecem em resoluções mais grossas. Isso aloca unidades espaciais mais finas para áreas densas, mantendo um vocabulário compacto. Pontos GPS brutos são mapeados para a célula do vocabulário de maior resolução que os contém, produzindo uma sequência de tokens discretos com IDs de célula, resoluções, coordenadas e carimbos de data e hora associados.

2. Codificador de Transformador Fatorizado:
   A arquitetura emprega um design de dois fluxos para separar a aprendizagem geométrica e cinemática antes de fundi-los:

   • Canal Geométrico: Codifica a localização espacial via vetores de identidade de célula aprendidos.
   • Canal Cinemático: Codifica características de movimento (velocidade normalizada e rumo) continuamente, usando transformações seno/cosseno para o rumo para respeitar a estrutura circular.
   • Codificação Posicional Espaço-Temporal: O canal geométrico utiliza Embeddings Rotativos Posicionais Espaço-Temporais (ST-RoPE) sobre latitude, longitude e tempo. O canal cinemático usa RoPE apenas temporal.
   • Fusão: Camadas iniciais processam cada fluxo independentemente via auto-atenção. Camadas de fusão subsequentes aplicam atenção cruzada, permitindo que os fluxos geométrico e cinemático atendam um ao outro, criando uma representação unificada de trajetória.

3. Objetivo de Pré-treinamento:
   O TrajTok é pré-treinado usando um objetivo de modelagem de tokens mascarados co-mascarados. Dada uma trajetória com posições mascaradas compartilhadas em ambos os canais:

   • O canal geométrico prevê os IDs de célula mascarados.
   • O canal cinemático reconstrói a velocidade normalizada e o rumo.
   • A perda é uma combinação linear da perda de previsão geométrica e da perda de regressão cinemática.
   • Os autores introduzem mascaramento de intervalo consciente de execução (run-aware span masking), que rejeita intervalos de máscara candidatos que residem inteiramente dentro de uma única execução de célula repetida para evitar que o modelo aprenda atalhos triviais (copiar pontos finais).

Principais Contribuições

• Tokenização Adaptativa à Densidade: Um método para particionar trajetórias contínuas em tokens espaciais multi-resolução, alocando células mais finas para regiões densas enquanto preserva um vocabulário compacto, abordando o compromisso inerente às abordagens de grade fixa.
• Arquitetura Fatorizada: Um codificador de transformador que separa o processamento de sinais geométricos (localização) e cinemáticos (movimento) em camadas iniciais, fundindo-os via atenção cruzada para capturar tanto a geometria da rota quanto as dinâmicas de movimento.
• Receita de Pré-treinamento: Um objetivo simples, porém eficaz, de modelagem de tokens mascarados adaptado para fluxos GPS brutos, incorporando co-mascaramento e mascaramento de intervalo consciente de execução para incentivar a aprendizagem de estrutura transferível.
• Generalização: Demonstração de que um único codificador pré-treinado congelado, acoplado a adaptadores de tarefa leves, alcança desempenho de última geração ou competitivo em diversas tarefas a jusante, incluindo tanto cenários dominados por geometria (busca de similaridade, classificação) quanto dominados por cinemática (ETA, regressão de tempo de viagem).

Resultados Experimentais
Avaliado no conjunto de dados de táxis do Porto, um único codificador TrajTok congelado com adaptadores específicos de tarefa alcançou o seguinte:

• Busca de Similaridade de Trajetória: Alcançou um HR@1 de 0,435, superando bases fortes como NeuTraj (0,308) e SIMformer (0,300).
• Classificação de Tipo de Chamada: Alcançou um macro-F1 de 0,773, igualando ou superando ligeiramente métodos especializados como START e JGRM, apesar do TrajTok operar exclusivamente em GPS bruto sem correspondência com mapa.
• Tempo Estimado de Chegada (ETA): Alcançou um MAE de 42,27 segundos na previsão baseada em prefixo, superando substancialmente sistemas anteriores de tempo de viagem neural (por exemplo, MetaER-TTE em 93,75s).
• Regressão de Tempo de Viagem de Trajetória Completa: Alcançou um MAE de 38,41 segundos, superando significativamente bases como TIGR (86,86s).

Estudos de ablação confirmaram que a tokenização adaptativa à densidade, a fusão por atenção cruzada e a receita específica de pré-treinamento são todos fatores críticos de desempenho. Notavelmente, os autores observaram que estender o pré-treinamento além de um certo ponto (aumentando os passos de 60k para 120k) reduziu a perda de validação, mas degradou o desempenho de recuperação a jusante, sugerindo que a perda de pré-treinamento sozinha não é um proxy suficiente para transferibilidade.

Significado e Alegações
O artigo alega que o TrajTok demonstra que a tokenização espacial aprendida multi-resolução, combinada com um objetivo simples de pré-treinamento por tokens mascarados, é um framework promissor para modelos fundacionais de trajetória de propósito geral. A descoberta chave é que um único codificador congelado pode transferir-se efetivamente tanto para tarefas dominadas por geometria (onde o "onde" importa) quanto para tarefas dominadas por cinemática (onde o "como" importa). Isso indica que a representação aprendida captura estrutura de trajetória transferível, em vez de atalhos específicos de tarefa. Os autores posicionam isso como um passo em direção a modelos fundacionais para inteligência de trajetória que operam diretamente sobre dados GPS brutos, evitando as suposições de pré-processamento e os custos computacionais de pipelines de correspondência com mapa.

Limitações
Os autores observam que todos os experimentos foram conduzidos no conjunto de dados de táxis do Porto. Embora tenham verificado a transferência em quatro aplicações a jusante, reconhecem a necessidade de trabalhos futuros para testar a transferência de aprendizagem para outros conjuntos de dados com ajuste fino mínimo, escalabilidade para múltiplas cidades e, potencialmente, enriquecimento de tokens com priores geográficos leves sem recorrer a correspondência com mapa completa.