Résumé Technique : TimeBlocks : Fondations et Continuité des Blocs de Séries Temporelles

1. Énoncé du Problème

La prolifération des flux de données de séries temporelles issus de processus sociétaux et industriels numérisés nécessite des méthodes analytiques qui soient à la fois hautement performantes et suffisamment légères pour un traitement en temps réel sur des dispositifs de bord (edge) aux ressources limitées (par exemple, les contrôleurs embarqués dans les véhicules). Bien que les modèles de langage de grande taille (LLM) fondateurs aient démontré un certain succès dans la gestion de tâches multiples, leur application directe aux séries temporelles se heurte à deux limitations critiques :

1. Taille du modèle et efficacité : Les modèles de séries temporelles fondateurs existants sont souvent trop volumineux pour les environnements au matériel limité et manquent de la flexibilité nécessaire pour gérer des tâches hétérogènes sans déployer des modèles spécialisés distincts pour chaque cas.
2. Étalonnage continu inefficace : Les grands modèles sont généralement étalonnés une seule fois lors de configurations hors ligne en raison de contraintes de calcul. Cependant, les flux de données présentent souvent des caractéristiques changeantes au fil du temps (par exemple, saisonnalité, changements environnementaux), ce récalibrage continu pour maintenir les performances. Les modèles de grande taille actuels ne peuvent pas être rapidement réétalonnés avec l'accumulation de données de flux sans des coûts de calcul prohibitifs.

Le défi central est de développer un paradigme permettant la construction de modèles polyvalents et légers capables de gérer plusieurs tâches et jeux de données de séries temporelles, tout en supportant un étalonnage continu efficace dans des environnements de streaming.

2. Méthodologie

Le document propose TimeBlocks, un nouveau paradigme qui déplace le paradigme de l'entraînement de modèles uniques massifs vers la construction de modèles dynamiquement à partir d'un ensemble de composants modulaires pré-entraînés. Le cadre se compose de trois étapes principales :

A. Construction de la Blockbase (Pré-entraînement)

Au lieu d'un modèle monolithique, TimeBlocks utilise une Blockbase, un répertoire de blocs de traitement de séries temporelles interchangeables et indépendants.

• Architecture des Blocs : Les blocs sont de petits processeurs (par exemple, MLP, LSTM, Attention) enrichis d'une structure de patch pour gérer les tendances et les cycles.
• Traitement Multi-échelle : Les blocs sont conçus pour traiter les données à différentes granularités (échelles) afin de capturer des motifs allant du global au spécifique, suivant un schéma de puissance de deux décroissante.
• Standardisation de la Sortie : Chaque bloc inclut une couche de standardisation pour garantir que les sorties sont projetées vers une taille de vecteur commune, permettant l'interchangeabilité quel que soit l'échelle ou le jeu de données d'entrée.
• Diversité : Les blocs sont pré-entraînés sur une grande variété de jeux de données, de tâches (prévision, imputation, etc.) et de configurations (longueurs de contexte, horizons) pour garantir que la Blockbase soit hautement diversifiée.

B. Routage de la Blockbase (Construction du Modèle au Moment de l'Inférence)

Lorsqu'une nouvelle série temporelle arrive, un Routeur construit de manière itérative un modèle spécialisé en sélectionnant les blocs les plus appropriés de la Blockbase.

• Clustering : Les blocs sont organisés en clusters via K-Means en se basant sur leur « empreinte digitale » (les poids de la première couche), qui sert d'identifiant unique. Cela organise les blocs par longueur de contexte et caractéristiques.
• Mécanisme de Routage : Le routeur prend la sortie résiduelle ($r_p$) de l'état actuel du modèle et approxime l'empreinte digitale ($b^1_{p+1}$) du prochain bloc optimal. Il est entraîné comme un modèle auxiliaire pour minimiser la perte entre le résidu et l'empreinte digitale du bloc cible.
• Processus de Sélection : Le routeur identifie le cluster optimal, puis sélectionne des blocs spécifiques au sein de ce cluster via une recherche de similitude. Ce processus se répète jusqu'à ce qu'un modèle de taille $J$ (un budget prédéterminé) soit assemblé. Cette approche évite la nature NP-difficile de la recherche d'un chemin optimal à travers tous les blocs en utilisant une heuristique avec une borne d'approximation théorique de 5/3 par rapport à la solution optimale.

C. StreamCore (Étalonnage Continu)

Pour permettre un étalonnage continu efficace sans réentraîner sur l'intégralité du flux de données, le document introduit StreamCore.

• Approximation par Coreset : StreamCore maintient un sous-ensemble représentatif et restreint du flux de données qui garantit une approximation de la distribution complète du flux.
• Mises à jour à faible coût : Contrairement aux méthodes traditionnelles de coreset qui nécessitent la fusion de sous-ensembles (coûtant $O(|S| \times |D_t|)$), StreamCore utilise une stratégie de mise à jour à coût linéaire. Lorsque la taille du sous-ensemble est atteinte, de nouveaux points sont ajoutés et un point existant est supprimé (aléatoirement ou selon la distance) pour maintenir la diversité.
• Étalonnage : Le modèle construit est périodiquement étalonné en utilisant le sous-ensemble StreamCore. Pour éviter l'oubli catastrophique, tous les blocs sauf le dernier sont gelés pendant cette étape d'étalonnage.

3. Contributions Clés

1. Paradigme TimeBlocks : Un nouveau cadre pour construire des modèles de séries temporelles polyvalents en utilisant des blocs indépendants, modulaires et empilables, permettant la construction de modèles spécialisés au moment de l'inférence sans repartir de zéro.
2. StreamCore : Une méthode de résumé à faible coût avec des garanties d'approximation pour l'étalonnage continu de modèles légers sous des flux de données, assurant la diversité des données tout en minimisant la surcharge de calcul.
3. Validation Empirique : Des expériences approfondies démontrant que TimeBlocks surpasse les bases de référence existantes (y compris les modèles spécialisés et les modèles fondateurs de grande taille) sur de multiples tâches (prévision, imputation, détection d'anomalies, classification) et jeux de données, tout en maintenant une taille de modèle nettement plus petite.

4. Résultats Expérimentaux

Les auteurs ont évalué TimeBlocks sur plusieurs jeux de données (par exemple, ETTh1/2, Weather, SMD, UCR) à travers quatre tâches.

• Performance à l'Inférence : TimeBlocks a obtenu la meilleure erreur quadratique moyenne (MSE) moyenne dans les tâches de prévision, surpassant à la fois les modèles spécialisés (ex: Autoformer, PatchTST) et les modèles fondateurs (ex: TimeMixer, Moment, TTM). Il a démontré une flexibilité supérieure en sélectionnant automatiquement les longueurs de contexte et les blocs.
• Apprentissage Continu : Dans les scénarios de prévision continue, TimeBlocks a maintenu une performance supérieure après étalonnage par rapport aux bases de référence. Alors que les grands modèles fondateurs montraient une dégradation significative des performances lorsqu'ils étaient appliqués à de nouveaux flux de données sans réétalonnage, TimeBlocks s'est adapté efficacement.
• Polyvalence des Tâches : La méthode a obtenu des résultats solides en imputation, détection d'anomalies et classification, des tâches où beaucoup de bases de référence ont échoué ou ont nécessité un entraînement spécifique à la tâche.
• Efficacité et Taille : Les modèles TimeBlocks étaient les plus petits en taille (par exemple, ~1 Mo pour $J=2$ blocs contre ~3 Mo pour TTM et des centaines de Mo pour d'autres) et ont atteint le temps d'inférence le plus bas. Le temps de construction du modèle a évolué de manière logarithmique avec la taille de la Blockbase grâce au routeur et à la recherche basée sur l'empreinte digitale.
• Efficacité de StreamCore : L'utilisation d'un sous-ensemble StreamCore de 5 % des données a produit des performances comparables ou supérieures à l'utilisation d'un sous-ensemble aléatoire de 5 %, confirmant l'efficacité de la stratégie de coreset pour l'étalonnage.

5. Signification et Revendications

Le document affirme que TimeBlocks comble l'écart critique entre le besoin de capacités fondatrices polyvalentes pour les séries temporelles et les contraintes des environnements de calcul en périphérie (edge computing). En décomposant les modèles en blocs modulaires et en utilisant une stratégie de routage, il parvient à une solution de « juste milieu » : des modèles assez petits pour un déploiement en temps réel, mais assez polyvalents pour gérer de multiples tâches et jeux de données. De plus, l'intégration de StreamCore résout le problème de l'étalonnage continu dans les contextes de streaming, une capacité largement absente des modèles fondateurs de grande taille actuels. Les auteurs soutiennent que cette approche permet le déploiement d'analyses de séries temporelles précises et en temps réel sur des dispositifs au matériel limité, tels que ceux trouvés dans les véhicules intelligents et les capteurs industriels, sans la charge de calcul liée à l'entraînement ou à la maintenance de modèles massifs.