Résumé Technique : TempoWave – Plongements Numériques Multi-Ondelettes pour la Prévision de Séries Temporelles

1. Énoncé du Problème

L'intégration des Grands Modèles de Langage (LLM) dans la prévision de séries temporelles se heurte à un déséquilibre architectural fondamental. Les LLM sont optimisés pour la prédiction de jetons (tokens) discrets, alors que la prévision de séries temporelles nécessite la modélisation précise de valeurs numériques continues. Les méthodes de tokenisation standard orientées vers le langage (par exemple, diviser « 2026 » en « 20 » et « 26 ») fragmentent les nombres en sous-jetons qui ne sont pas liés à leur magnitude. Cette fragmentation brise les relations ordinales, occulte la continuité intrinsèque aux processus temporels et introduit des similitudes fallacieuses entre des valeurs numériquement distantes. Par conséquent, la couche de traduction entre les séquences de valeurs réelles et les jetons discrets devient un goulot d'étranglement principal, menant souvent à un comportement numérique peu fiable, même lorsque le modèle capture des motifs temporels de haut niveau.

Les tentatives existantes pour combler ce fossé — telles que les modèles de fondation spécialisés, les systèmes agentiques couplant les LLM à des outils, ou les adaptations d'entrée comme le partitionnement (patching) et la quantification — sacrifient souvent la fidélité numérique, estompent les variations fines ou reposent sur des composants externes qui réduisent la différentiabilité de bout en bout. Il subsiste un écart persistant dans la représentation de valeurs numériques continues au sein de l'espace d'entrée standard des transformeurs de manière fondée et préservant l'information.

2. Méthodologie : TempoWave

Les auteurs proposent TempoWave (Multi-Wavelet Number Embedding), une interface de chiffres par ondelettes temporelles « plug-and-play » conçue pour mapper les observations scalaires en plongements de vecteurs denses construits à partir de coefficients multi-ondelettes et multi-échelles.

Mécanisme Central

• Tokenisation au niveau du chiffre : Au lieu de tokeniser des nombres entiers, les valeurs de la série temporelle d'entrée sont rendues sous forme de chaînes à précision fixe (ex: $V.FFFF$). Chaque chiffre ($d \in \{0, \dots, 9\}$) est traité comme un jeton individuel.
• Construction de l'Embedding basée sur les Ondelettes :
  • Représentation du Signal : Chaque chiffre $d$ est normalisé en $\tilde{d} \in [0, 1]$ et représenté comme une impulsion discrète (delta de Kronecker) sur une grille fixe.
  • Coefficients Multi-Ondelettes : Le signal du chiffre est projeté sur une famille prédéfinie d'ondelettes $\Psi$ (ex: Haar, db4, Morlet) à travers plusieurs échelles $S$. Le coefficient d'ondelette pour un chiffre $d$ à une ondelette $\psi_i$ et une échelle $s_j$ est calculé comme le produit scalaire du signal du chiffre et de l'ondelette échantillonnée : $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$.
  • Génération de l'Embedding : Ces coefficients sont concaténés en un vecteur de caractéristiques $\phi(d)$ et mappés vers la dimension d'embedding du LLM $D$ via une fonction d'alignement fixe $g(\cdot)$. Cela produit un embedding de chiffre $E(d) \in \mathbb{R}^D$.
• Intégration : Les embeddings de jetons standards pour les positions de chiffres dans la séquence d'entrée sont remplacés par ces vecteurs $E(d)$ calculés, tandis que les jetons textuels et de contexte conservent les embeddings standards. L'architecture (backbone) du LLM reste inchangée et est entraînée via le réglage fin supervisé (SFT) pour prédire les futurs jetons numériques.

Principes de Conception

• Fidélité Structurelle : En encodant les chiffres via des motifs structurés multi-échelles plutôt que par des magnitudes scalaires brutes, TempoWave garantit que l'identité numérique est déterminée par des motifs relatifs. Cela rend les embeddings robustes aux couches de normalisation (ex: LayerNorm, RMSNorm) couramment utilisées dans les transformeurs, qui rescalent et recentrent généralement les embeddings.
• Cohérence de Voisinage Monotone : La construction multi-ondelettes induit un codebook de chiffres fini avec une séparabilité améliorée. L'analyse théorique suggère que la concaténation des coefficients à travers les paires ondelette-échelle augmente les distances par paires entre les embeddings de chiffres, assurant une récupération de type plus proche voisin robuste et préservant l'ordre numérique.

3. Contributions Clés

1. Une Interface Numérique Basée sur les Ondelettes : TempoWave permet l'utilisation directe de backbones LLM standards pour la prévision numérique sans dépendre de la tokenisation linguistique des nombres, comblant ainsi efficacement le fossé de modalité.
2. Représentations Fidèles et Stables : La méthode établit des propriétés liées à la fidélité numérique et à la stabilité, incluant une meilleure séparabilité entre les valeurs et une robustesse aux opérations de normalisation courantes.
3. Évaluation Complète avec Diagnostics : Les auteurs fournissent des expériences étendues sur divers benchmarks et introduisent des analyses diagnostiques (ex: sondage de la cohérence de voisinage monotone) pour expliquer comment l'interface d'embedding remodèle les voisinages numériques au sein du modèle.

4. Résultats Expérimentaux

Les auteurs ont évalué TempoWave sur cinq benchmarks de prévision enrichis par le contexte :

• Jeux de données : AUL (électricité en Australie), BIT (Bitcoin), MSPG (énergie solaire de Melbourne), PTF (flux de trafic à Paris) et LEU (consommation d'électricité de Londres). Ces jeux de données associent des séries temporelles historiques à un contexte textuel ou événementiel (ex: actualités, météo, dates).
• Baselines (Modèles de référence) : Comparaisons avec la tokenisation LLM standard, des interfaces d'embedding alternatives (ex: interface de Fourier FoNE), des modèles de séries temporelles spécialisés (DLinear, Autoformer, TimesNet) et des modèles de fondation de séries temporelles (Chronos, Moirai).
• Performance :
  • TempoWave a atteint un nouvel état de l'art (SOTA) sur 7 des 10 métriques rapportées (RMSE et MAE) à travers les cinq jeux de données.
  • Il s'est classé dans le top 2 pour toutes les métriques.
  • Par rapport à la meilleure méthode précédente, TempoWave a produit une amélioration relative moyenne de 7,0 % du MAE, avec des gains significatifs sur LEU (14,4 %) et AUL (11,2 %).
  • Il a démontré une robustesse supérieure sur des jeux de données non stationnaires et pilotés par des événements (ex: Bitcoin) par rapport aux interfaces basées sur Fourier.
• Études d'Ablation :
  • Contexte : L'incorporation d'informations contextuelles riches (caractéristiques Catch22, contexte situationnel) a systématiquement amélioré les performances, le réglage avec le contexte complet offrant les meilleurs résultats.
  • Alignement d'Embedding : L'analyse des distributions de différence d'ID de jetons montre que TempoWave produit une distribution unimodale lisse centrée autour de zéro, indiquant une forte proximité locale et un alignement avec la dynamique sous-jacente des séries temporelles. En revanche, les baselines présentent des distributions plus plates ou des pics anormaux, suggérant un alignement ou un surapprentissage plus faible.

5. Signification et Revendications

L'article postule que l'interface numérique est un goulot d'étranglement clé dans la prévision de séries temporelles basée sur les LLM. En introduisant TempoWave, les auteurs démontrent que des embeddings multi-résolutions fondés sur des principes peuvent mieux coupler les capacités de raisonnement contextuel d'un LLM avec une prévision numérique précise.

La signification de ce travail réside dans :

• Préservation de la Structure Numérique : Il offre une méthode pour représenter des valeurs continues qui respecte les relations ordinales et les structures temporelles multi-échelles (fluctuations locales et tendances globales) au sein de l'architecture discrète des transformeurs.
• Robustesse : Il traite de la fragilité du raisonnement numérique des LLM face aux changements de distribution et de normalisation.
• Généralisabilité : Il démontre que les backbones LLM standards, lorsqu'ils sont équipés d'une interface numériquement ancrée, peuvent surpasser les modèles spécialisés de séries temporelles, particulièrement dans les scénarios nécessitant l'intégration de signaux textuels hétérogènes (prévision sensible au contexte).

Les auteurs concluent que bien que des défis subsistent, TempoWave ouvre une voie vers une prévision par LLM plus fidèle et plus fiable, suggérant que les travaux futurs pourraient explorer son applicabilité aux pipelines non contextuels reposant sur la discrétisation.