🤖 machine learning

OATS: Online Data Augmentation for Time Series Foundation Models

Le papier propose OATS, un cadre d'augmentation de données en ligne fondé sur des principes qui génère dynamiquement des données de séries temporelles synthétiques de haute qualité adaptées à des étapes d'entraînement spécifiques en utilisant des modèles de diffusion et un mécanisme d'exploration-exploitation, surpassant de manière significative les bases de référence d'augmentation statique pour améliorer les modèles de fondation de séries temporelles.

Auteurs originaux : Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot super intelligent comment prédire l'avenir, comme deviner la météo de demain ou la consommation d'électricité du mois prochain. Pour ce faire, le robot doit étudier des quantités massives d'histoire, mais les données du monde réel sont désordonnées. Elles présentent des trous, sont incohérentes et, parfois, il n'y en a pas assez. Dans le monde de l'informatique, cela s'appelle des « Séries Temporelles » (Time Series), et les robots que nous construisons pour les comprendre sont appelés des « Modèles de Fondation » (Foundation Models). Pour aider ces robots à mieux apprendre, les scientifiques utilisent souvent une astuce appelée « Augmentation de Données » (Data Augmentation). Voyez cela comme un cours de cuisine où l'enseignant ne se contente pas de vous donner la recette originale ; il vous tend aussi un tas de faux ingrédients fabriqués, qui ressemblent et ont le goût de la réalité, afin que vous puissiez vous exercer davantage.

Pendant longtemps, la façon dont les scientifiques fabriquaient ces faux ingrédients ressemblait un peu à l'utilisation d'un emporte-pièce. Ils prenaient un morceau de donnée réelle et lui appliquaient une règle simple et statique — comme le secouer un peu (ajouter du bruit) ou le mélanger avec un autre morceau (mélange). C'était une approche de type « taille unique » : le même emporte-pièce était utilisé pour chaque étape de l'entraînement du robot, peu importe ce que le robot avait déjà appris. Mais et si le robot avait besoin de différents types d'exercices à différents moments ? Et si les « meilleurs » faux composants changeaient à mesure que le robot devenait plus intelligent ? Cette étude pose une grande question : pouvons-nous arrêter d'utiliser l'emporte-pièce pour commencer à cuisiner des données d'entraînement fraîches et sur mesure pour chaque instant de l'apprentissage du robot ?

Les auteurs de cet article répondent « oui » et introduisent une nouvelle méthode appelée OATS (Online Data Augmentation for Time Series Foundation Models). Au lieu d'une règle statique, OATS agit comme un entraîneur très attentif qui observe le robot apprendre en temps réel. Voici comment cela fonctionne :

D'abord, l'entraîneur doit savoir quels exercices de pratique sont réellement utiles. OATS utilise un système de notation ingénieux appelé « Scores d'Influence de Séries Temporelles » (Time-Series Influence Scores). Imaginez que le robot passe un examen. L'entraîneur examine chaque exercice et demande : « Si je fais résoudre ce problème spécifique au robot en ce moment même, est-ce qu'il sera meilleur lors de l'examen final ? » Si un problème aide le robot à s'améliorer, il reçoit un score élevé. Ces problèmes à score élevé deviennent les « signaux directeurs ».

Ensuite, l'entraîneur utilise ces signaux pour cuisiner de nouvelles données synthétiques. Au lieu de simplement copier et coller, OATS utilise un outil sophistiqué appelé modèle de diffusion. Voyez cela comme un artiste magique. L'entraîneur remet à l'artiste les « meilleurs » problèmes d'exercice (les signaux directeurs) et dit : « Crée quelque chose de nouveau qui ressemble exactement à ceux-ci, mais qui est unique. » L'artiste génère alors des données de séries temporelles réalistes et entièrement nouvelles qui s'adaptent parfaitement à ce que le robot doit apprendre à cet instant précis.

Cependant, vérifier chaque problème de pratique pour voir s'il est utile prend beaucoup de temps et d'énergie. Pour résoudre cela, OATS utilise une stratégie appelée Explore-Exploit (Explorer-Exploiter).

Explorer : Parfois, l'entraîneur s'arrête et vérifie un nouveau lot de problèmes pour voir s'il y a de nouveaux trésors cachés qu'il aurait manqués. C'est approfondi, mais lent.
Exploiter : D'autres fois, l'entraîneur se souvient des problèmes à score élevé qu'il a trouvés précédemment et les utilise pour générer de nouvelles données immédiatement. C'est rapide et efficace.
OATS bascule intelligemment entre ces deux modes, équilibrant le besoin de trouver de nouvelles informations et le besoin d'économiser du temps.

L'article a testé cette idée sur six ensembles de données réels différents, incluant l'utilisation d'électricité et les modèles météorologiques, en utilisant deux types différents d'architectures de robots. Les résultats ont montré qu'OATS est systématiquement plus performant que la méthode d'entraînement standard (sans données supplémentaires) et que les anciennes méthodes à « emporte-pièce » (comme TSMixup ou Jitter). En fait, OATS a aidé les robots à apprendre plus vite et à faire des prédictions plus précises. Les auteurs ont constaté que, bien que vérifier chaque problème (toujours « explorer ») soit la méthode la plus approfondie, ce n'était pas toujours la meilleure ; intégrer des étapes d'« exploitation » (utiliser les scores mis en cache) permettait d'économiser une énorme quantité de puissance de calcul sans nuire aux résultats.

En résumé, OATS suggère que la meilleure façon d'entraîner ces puissants robots de séries temporelles n'est pas de leur jeter des données fausses et aléatoires, mais de préparer et de générer soigneusement des données d'entraînement de haute qualité et sur mesure, qui évoluent parallèlement au parcours d'apprentissage du robot. Cela transforme le processus d'entraînement, passant d'un exercice statique à une conversation dynamique et réactive entre les données et le modèle.

Résumé Technique : OATS (Online Data Augmentation for Time Series Foundation Models)

Problématique

Les modèles de fondation pour séries temporelles (TSFMs) ont fait progresser le domaine en permettant l'apprentissage cross-domaine et la généralisation zero-shot grâce à des jeux de données à grande échelle. Cependant, leur efficacité est limitée par des problèmes de qualité de données fréquents dans les séries temporelles, tels que les valeurs manquantes, les taux d'échantillonnage hétérogènes, les distributions de domaines déséquilibrées et la duplication de données. Bien que l'augmentation de données synthétiques soit une stratégie largement adoptée pour atténuer la rareté des données et renforcer la robustesse, les méthodes existantes souffrent de deux limitations principales :

Dépendance aux heuristiques : Les approches actuelles dépendent de motifs conçus manuellement (par exemple, des ondes sinusoïdales, des séries décomposées) ou de transformations statiques (par exemple, le jittering, TSMixup). Ces heuristiques sont souvent agnostiques aux tâches et peuvent échouer à se généraliser à travers différentes tâches de séries temporelles.
Paradigme statique : Les stratégies d'augmentation existantes génèrent des données synthétiques une seule fois et les incorpore de manière uniforme tout au long du processus d'entraînement. Cela ignore la nature dynamique de l'entraînement d'un modèle, où la valeur et l'utilité de certains échantillons de données varient selon les différentes étapes d'entraînement.

Méthodologie : OATS

Les auteurs proposent OATS (Online Data Augmentation for Time Series Foundation Models), une stratégie principled qui génère dynamiquement des données synthétiques adaptées à des étapes d'entraînement spécifiques. OATS opère via trois modules de base :

1. Scores d'Influence des Séries Temporelles (TSIS)

Pour remédier à l'absence de métriques de qualité fondées sur des principes pour les données synthétiques, OATS utilise l'attribution de données pour quantifier l'influence des échantillons d'entraînement individuels sur la performance du modèle.

Mécanisme : Pour une étape d'entraînement donnée $t$ avec des paramètres de modèle $w_t$ , la fonction TSIS $F_{D_{ref}}$ estime le score d'attribution de données d'un échantillon $z_i$ par rapport à un jeu de données de référence $D_{ref}$ .
Formulation : Le score est dérivé d'une approximation de Taylor du premier ordre du changement de la perte de référence. Il combine le score d'influence (alignement de gradient entre l'échantillon et l'ensemble de référence) avec des indicateurs de qualité spécifiques aux séries temporelles, plus précisément un seuil de rapport signal sur bruit (SNR).
Sortie : Les échantillons présentant des scores TSIS élevés sont identifiés comme « précieux » et servent de signaux directeurs pour la génération.

2. Génération de Données Guidée par la Haute Qualité

Plutôt que de simplement suréchantillonner les instances à score élevé, OATS les utilise comme signaux de conditionnement pour générer des données synthétiques diverses et réalistes.

Architecture : Un modèle basé sur la diffusion est employé, conditionné par les échantillons de haute qualité sélectionnés ( $H_t$ ).
Conditionnement : Le modèle incorpore un module de Prototype Sémantique de Série Temporelle et un guidage conditionnel par classe basé sur les métadonnées de sous-ensembles (par exemple, le domaine ou la source). Le processus de génération modélise la distribution conditionnelle $p(\hat{z}|H_t)$ , synthétisant de nouveaux échantillons qui capturent des motifs temporels divers tout en adhérant aux caractéristiques des guides de haute qualité.

3. Mécanisme Explore-Exploit (Explorer-Exploiter)

Calculer le TSIS pour l'ensemble du jeu de données à chaque étape est trop coûteux en termes de calcul. OATS introduit un mécanisme Explore-Exploit pour équilibrer l'efficacité de calcul et la qualité des données.

Étapes d'Exploration (Explore) : Le système échantillonne stochastiquement de nouveaux lots pour calculer de nouvelles valeurs TSIS, mettant à jour un cache dynamique ( $\Phi_{D_l}$ ) pour chaque sous-ensemble de données via une moyenne mobile exponentielle. Cela permet au système de s'adapter aux changements de la dynamique du modèle.
Étapes d'Exploitation (Exploit) : Le système exploite les valeurs TSIS mises en cache pour échantillonner directement des lots de haute qualité, évitant ainsi le recalcul coûteux des scores d'influence.
Contrôle : Une stratégie $\epsilon$ -greedy détermine si une étape est une étape d'exploration ou d'exploitation, équilibrant la découverte de nouvelles données de haute valeur et l'efficacité de l'utilisation de données de haute valeur connues.

Contributions Clés

Paradigme d'Augmentation de Données en Ligne : Le papier propose un passage d'une augmentation statique à une augmentation en ligne, où les données synthétiques sont générées dynamiquement en fonction de l'état actuel du processus d'entraînement.
Stratégie Fondée sur des Principes (OATS) : Un nouveau cadre intégrant l'attribution de données (TSIS) avec la génération basée sur la diffusion. Il utilise des échantillons à haute influence comme signaux de guidage pour produire des données synthétiques qui sont à la fois de haute qualité et diverses.
Mécanisme d'Efficacité : L'introduction d'un mécanisme explore-exploit qui réduit considérablement la surcharge de calcul tout en maintenant la capacité de s'adapter aux dynamiques d'entraînement.
Validation Empirique : Évaluation complète sur six jeux de données (ETTm1, ETTm2, ETTh1, ETTh2, Weather, Electricity) et deux architectures de TSFM (Transformers à encodeur seul et à décodeur seul).

Résultats Expérimentaux

Les auteurs ont évalué OATS par rapport à un entraînement régulier et deux méthodes d'augmentation de base : TSMixup (somme pondérée d'échantillons existants) et Jitter (ajout de bruit gaussien).

Performance : OATS a systématiquement surpassé l'entraînement régulier et les méthodes d'augmentation de base sur presque tous les jeux de données et métriques (MAPE normalisée - Normalized Mean Absolute Percentage Error - et NLL - Negative Log-Likelihood).
Robustesse : OATS a obtenu les meilleurs résultats sur cinq des six jeux de données (ETTm1, ETTm2, ETTh2, Weather, Electricity) pour les deux architectures de modèles.
Convergence : Les courbes de perte de test indiquent qu'OATS a permis une réduction plus rapide de la NLL par rapport aux bases de comparaison.
Sensibilité aux Hyperparamètres : Les expériences faisant varier le ratio explore-exploit ( $\epsilon$ ) ont montré qu'un réglage de $\epsilon=1$ (exploration pure) n'était pas toujours optimal, suggérant que l'exploitation des scores mis en cache (exploitation) est cruciale pour l'efficacité. Cependant, OATS a surpassé l'entraînement régulier quel que soit le réglage de $\epsilon$ .

Signification et Revendications

Le papier affirme que OATS offre une approche fondée sur des principes pour l'augmentation de données dynamique, dépassant les limites des méthodes statiques pilotées par des heuristiques. En quantifiant la qualité des données via les scores d'influence et en adaptant la génération à l'étape d'entraînement, OATS répond au défi critique de la rareté et de la qualité des données pour les TSFM. Les auteurs soutiennent que cette méthode améliore non seulement la performance du modèle, mais fournit également un cadre évolutif pour l'entraînement de modèles de fondation sur des séries temporelles complexes du monde réel. Le code est rendu disponible pour faciliter la recherche ultérieure dans ce domaine.