RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

Resumen Técnico: RHYTHM

1. El Problema

La predicción de la movilidad humana es un desafío fundamental para la planificación urbana, el control de epidemias y la gestión del transporte. Sin embargo, los datos de trayectorias humanas presentan características complejas que dificultan su modelado:

• Dependencias de largo alcance: Los patrones de movimiento no son aleatorios; siguen ritmos diarios y semanales estrictos.
• Heterogeneidad espacial y dinámica: Factores como el clima o eventos especiales alteran los patrones estacionarios.
• Limitaciones de los modelos actuales:
  • Los métodos basados en Markov o RNN a menudo ignoran la periodicidad a largo plazo o sufren de desvanecimiento de gradientes en secuencias largas.
  • Los métodos basados en Transformers tratan el tiempo como estático, fallando en desentrañar patrones temporales multi-escala (diario vs. semanal) y generando un costo computacional cuadrático ($O(T^2)$) al procesar secuencias extensas.
  • Los modelos existentes que utilizan Grandes Modelos de Lenguaje (LLM) suelen tratar la movilidad como secuencias genéricas, ignorando la periodicidad inherente y requiriendo un ajuste fino (fine-tuning) costoso.

2. Metodología: RHYTHM

RHYTHM (Reasoning with Hierarchical Temporal Tokenization for Human Mobility) es un marco unificado que utiliza un LLM preentrenado y congelado como un predictor espacio-temporal general y un razonador de trayectorias. Su arquitectura se basa en tres pilares principales:

A. Tokenización Temporal Jerárquica
En lugar de procesar la trayectoria completa como una secuencia continua de pasos de tiempo, RHYTHM segmenta la trayectoria en bloques significativos (por ejemplo, días).

• Segmentación: Divide la secuencia de $T$ pasos en $N$ segmentos no superpuestos.
• Atención Intra-segmento: Modela dependencias locales dentro de cada segmento (ej. rutina diaria) mediante atención.
• Agrupación (Pooling): Condensa cada segmento en un "token" discreto.
• Atención Inter-segmento: Aplica atención entre estos tokens de segmento para capturar dependencias de largo alcance (ej. ritmos semanales).
• Beneficio: Reduce la longitud de la secuencia de $T$ a $N$, disminuyendo la complejidad de la atención de cuadrática a $O((N+H)^2)$, lo que permite manejar historiales de movilidad extensos de manera eficiente.

B. Integración de Contexto Semántico (Prompt-Guided)
Para enriquecer la representación de los tokens temporales, RHYTHM incorpora información semántica sin extender la longitud del contexto durante la inferencia:

• Embeddings Semánticos Pre-calculados: Utiliza un LLM congelado para generar embeddings semánticos a partir de descripciones de la trayectoria (rutas, puntos de interés) y descripciones de la tarea (objetivo de predicción).
• Alineación: Estos embeddings semánticos se suman a los embeddings temporales de los segmentos. Esto permite que el modelo "razone" sobre el contexto de la movilidad (ej. diferencias entre fin de semana y semana) sin necesidad de inyectar prompts largos en tiempo real.

C. Adaptación Eficiente de Parámetros

• LLM Congelado: El backbone del LLM (ej. Llama, Gemma) permanece congelado durante el entrenamiento. Solo se entrenan las capas de proyección y los mecanismos de atención específicos de la movilidad.
• Ventaja: Esto reduce drásticamente el uso de memoria y el tiempo de entrenamiento, manteniendo la capacidad de razonamiento del modelo preentrenado.

3. Contribuciones Clave

1. Tokenización Temporal: Un mecanismo novedoso que codifica patrones de movilidad diaria como tokens discretos, reduciendo la longitud de la secuencia y capturando dependencias cíclicas multi-escala mediante atención jerárquica.
2. Enfoque Guiado por Prompts: Una estrategia eficiente que integra información semántica de la trayectoria y descripciones de tareas en los embeddings de los segmentos, mejorando la interpretación de patrones complejos.
3. Eficiencia de Parámetros: Una estrategia de adaptación que mantiene el LLM congelado, reduciendo los parámetros entrenables al 12.37% del tamaño total del modelo y disminuyendo el costo computacional en un 24.6% en comparación con otros baselines.
4. Rendimiento Superior: Validación empírica que demuestra superioridad sobre los métodos más avanzados (SOTA) en precisión y eficiencia.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos del mundo real (Kumamoto, Sapporo y Hiroshima) y comparado con modelos basados en LSTM, Transformers y otros LLMs.

• Precisión: RHYTHM logró una mejora del 2.4% en la precisión general (Accuracy@1) respecto al mejor modelo base.
• Rendimiento en Fin de Semana: Mostró una mejora notable del 5.0% en días de fin de semana, momentos donde la movilidad es menos predecible y requiere mayor capacidad de razonamiento contextual.
• Eficiencia: Reducción del 24.6% en el tiempo de entrenamiento y una velocidad de inferencia competitiva, siendo significativamente más rápido que otros métodos basados en LLM.
• Métricas de Geografía: Superó a los baselines en métricas de alineación espacial (DTW) y similitud de secuencia (BLEU), demostrando una mejor coherencia en la trayectoria predicha.
• Escalabilidad: El rendimiento escala positivamente con el tamaño del modelo base (de 1B a 3B de parámetros), validando la capacidad de generalización del marco.

5. Significado e Impacto

RHYTHM representa un avance significativo en la intersección entre la predicción de series temporales y los Grandes Modelos de Lenguaje:

• Puente de Modos: Cierra la brecha entre la estructura jerárquica de la movilidad humana y la capacidad de razonamiento de los LLMs, tratando los ritmos diarios y semanales como una "sintaxis" similar al lenguaje.
• Viabilidad Práctica: Al mantener el LLM congelado y utilizar tokenización temporal, hace viable el despliegue de modelos fundacionales complejos en entornos con recursos limitados, algo que antes era prohibitivo debido al costo computacional.
• Generalización: Proporciona un marco unificado que no solo mejora la precisión, sino que ofrece una comprensión más profunda de los patrones de comportamiento humano, especialmente en situaciones no rutinarias o irregulares.

En conclusión, RHYTHM demuestra que la combinación de abstracción temporal estructurada y razonamiento de LLMs congelados es una vía superior para la predicción de movilidad humana, superando las limitaciones de los enfoques puramente basados en secuencias o en ajuste fino costoso.