Resumen Técnico: TempoWave – Incrustaciones de Números de Multi-Wavelet para la Predicción de Series Temporales

1. Planteamiento del Problema

La integración de los Modelos de Lenguaje de Gran Escala (LLM) en la predicción de series temporales enfrenta un desajuste arquitectónico fundamental. Los LLM están optimizados para la predicción de tokens discretos, mientras que la predicción de series temporales requiere el modelado preciso de valores numéricos continuos. Los métodos de tokenización estándar orientados al lenguaje (por ejemplo, dividir "2026" en "20" y "26") fragmentan los números en sub-tokens que no están vinculados a su magnitud. Esta fragmentación rompe las relaciones ordinales, oscurece la continuidad intrínseca a los procesos temporales e introduce similitudes espurias entre valores numéricamente distantes. En consecuencia, la capa de traducción entre secuencias de valores reales y tokens discretos se convierte en un cuello de botella principal, lo que a menudo conduce a un comportamiento numérico poco fiable incluso cuando el modelo captura patrones temporales de alto nivel.

Los intentos existentes para cerrar esta brecha —como modelos fundacionales especializados, sistemas agénticos que acoplan LLM con herramientas, o adaptaciones de entrada como el parcheo (patching) y la cuantización— a menudo sacrifican la fidelidad numérica, desdibujan las variaciones finas o dependen de componentes externos que reducen la diferenciabilidad de extremo a extremo. Persiste una brecha en la representación de valores numéricos continuos dentro del espacio de entrada estándar de los transformers de una manera basada en principios y que preserve la información.

2. Metodología: TempoWave

Los autores proponen TempoWave (Multi-Wavelet Number Embedding), una interfaz de dígitos de wavelet temporal plug-and-play diseñada para mapear observaciones escalares en incrustaciones de vectores densos construidos a partir de coeficientes de multi-wavelet y multi-escala.

Mecanismo Central

• Tokenización a Nivel de Dígito: En lugar de tokenizar números enteros, los valores de la serie temporal de entrada se renderizan en cadenas de precisión fija (por ejemplo, $V.FFFF$). Cada dígito ($d \in \{0, \dots, 9\}$) es tratado como un token individual.
• Construcción de Incrustaciones Basada en Wavelets:
  • Representación de la Señal: Cada dígito $d$ se normaliza a $\tilde{d} \in [0, 1]$ y se representa como un impulso discreto (delta de Kronecker) sobre una rejilla fija.
  • Coeficientes de Multi-Wavelet: El dígito se proyecta sobre una familia predefinida de wavelets $\Psi$ (por ejemplo, Haar, db4, Morlet) a través de múltiples escalas $S$. El coeficiente de la wavelet para un dígito $d$ en la wavelet $\psi_i$ y la escala $s_j$ se calcula como el producto interno de la señal del dígito y la wavelet muestreada: $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$.
  • Generación de Incrustaciones: Estos coeficientes se concatenan en un vector de características y se mapean a la dimensión de incrustación $D$ del LLM mediante una función de alineación fija $g(\cdot)$. Esto produce una incrustación de dígito $E(d) \in \mathbb{R}^D$.
• Integración: Las incrustaciones de tokens estándar para las posiciones de los dígitos en la secuencia de entrada son reemplazadas por estos vectores $E(d)$ calculados, mientras que los tokens de texto y contexto retienen las incrustaciones estándar. El backbone del LLM permanece sin cambios y es entrenado mediante Ajuste Fino Supervisado (SFT) para predecir futuros tokens numéricos.

Principios de Diseño

• Fidelidad Estructural: Al codificar los dígitos a través de patrones estructurados de multi-escala en lugar de magnitudes escalares puras, TempoWave asegura que la identidad numérica esté determinada por patrones relativos. Esto hace que las incrustaciones sean robustas a las capas de normalización (por ejemplo, LayerNorm, RMSNorm) comúnmente utilizadas en los transformers, que típicamente reescalan y recentran las incrustaciones.
• Consistencia de Vecindad Monotónica: La construcción de multi-wavelet induce un código de libro de códigos de dígitos con una separabilidad mejorada. El análisis teórico sugiere que la concatenación de coeficientes a través de pares de escala-wavelet aumenta las distancias de par entre las incrustaciones de los dígitos, asegurando una recuperación de vecindad más robusta y preservando el orden numérico.

3. Contribuciones Clave

1. Una Interfaz Numérica Basada en Wavelets: TempoWave permite el uso directo de backbones de LLM estándar para la predicción numérica sin depender de la tokenización de lenguaje de los números, cerrando efectivamente la brecha de la modalidad.
2. Representaciones Fieles y Estables: El método establece propiedades relacionadas con la fidelidad numérica y la estabilidad, incluyendo una mejor separabilidad entre valores y robustez ante operaciones de normalización comunes.
3. Evaluación Exhaustiva con Diagnósticos: Los autores proporcionan experimentos extensos a través de diversos benchmarks e introducen análisis diagnósticos (por ejemplo, el sondeo de la consistencia de vecindad monotónica) para explicar cómo la interfaz de incrustación moldea las vecindades numéricas dentro del modelo.

4. Resultados Experimentales

Los autores evaluaron TempoWave en cinco benchmarks de predicción enriquecidos con contexto:

• Datasets: AUL (electricidad en Australia), BIT (Bitcoin), MSPG (energía solar en Melbourne), PTF (flujo de tráfico en París) y LEU (uso de electricidad en Londres). Estos conjuntos de datos combinan series temporales históricas con contexto textual o basado en eventos (por ejemplo, noticias, clima, fechas).
• Baselines: Comparaciones incluyeron la tokenización estándar de LLM, interfaces de incrustación alternativas (por ejemplo, FoNE basado en Fourier), modelos especializados de series temporales (DLinear, Autoformer, TimesNet) y modelos fundacionales de series temporales (Chronos, Moirai).
• Desempeño:
  • TempoWave alcanzó un nuevo estado del arte (SOTA) en 7 de los 10 métricas reportadas (RMSE y MAE) a través de los cinco datasets.
  • Clasificó en los dos primeros puestos en todas las métricas.
  • Respecto al mejor método anterior, TempoWave produjo una mejora relativa promedio del 7.0% en MAE, con ganancias significativas en LEU (14.4%) y AUL (11.2%).
  • Demostró una robustez superior en datasets no estacionarios y basados en eventos (por ejemplo, Bitcoin) en comparación con las interfaces basadas en Fourier.
• Estudios de Ablación:
  • Contexto: La incorporación de información contextual rica (características de Catch22, contexto situacional) mejoró consistentemente el desempeño, siendo el ajuste con contexto completo el que arrojó mejores resultados.
  • Alineación de Incrustación: El análisis de las distribuciones de diferencia de ID de tokens mostró que TempoWave produce una distribución unimodal suave centrada en cero, lo que indica una proximidad local fuerte y una alineación con la dinámica subyacente de la serie temporal. En contraste, los baselines exhibieron distribuciones más planas o picos anómalos, sugiriendo una alineación o sobreajuste más débil.

5. Significación y Reivindicaciones

El artículo postula que la interfaz numérica es un cuello de botella clave en la predicción de series temporales basada en LLM. Al introducir TempoWave, los autores demuestran que las incrustaciones de multi-resolución basadas en principios pueden acoplar mejor las capacidades de razonamiento contextual de un LLM con una predicción numérica precisa.

La significación de este trabajo radica en:

• Preservación de la Estructura Numérica: Ofrece un método para representar valores continuos que respeta las relaciones ordinales y las estructuras temporales de multi-escala (fluctuaciones locales y tendencias globales) dentro de la arquitectura discreta del transformer.
• Robustez: Aborda la fragilidad del razonamiento numérico en los LLM bajo normalización y cambios de distribución.
• Generalizabilidad: Demuestra que los backbones de LLM estándar, cuando están equipados con una interfaz numéricamente fundamentada, pueden superar a los modelos especializados de series temporales, particularmente en escenarios que requieren la integración de señales textuales heterogéneas (predicción consciente del contexto).

Los autores concluyen que, si bien persisten desafíos, TempoWave proporciona un camino hacia una predicción basada en LLM más fiel y fiable, sugiriendo que trabajos futuros podrían explorar su aplicabilidad en pipelines no contextuales que dependan de la discretización.