🤖 machine learning

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

Cet article passe en revue les architectures, les stratégies de pré-entraînement et les méthodes d'optimisation des modèles de fondation pour la prévision de séries temporelles en zero-shot et démontre que l'ajustement fin de ces modèles sur des jeux de données spécifiques améliore systématiquement la précision de la prévision par rapport aux bases de référence en zero-shot.

Auteurs originaux : Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire l'avenir. Pas le destin de l'univers, mais quelque chose de beaucoup plus pratique : de quelle quantité d'électricité une ville aura besoin demain, combien de parapluies un magasin devrait stocker, ou comment le trafic circulera dans une intersection très fréquentée dans une heure. C'est le monde de la prévision de séries temporelles. Pendant des décennies, des experts ont utilisé des recettes mathématiques pour deviner ces chiffres, mais le monde est désordonné, et les vieilles recettes échouent souvent lorsque les données deviennent étranges ou complexes.

Récemment, un nouveau genre de « super-apprenant » est arrivé, inspiré par la même technologie qui permet aux ordinateurs d'écrire de la poésie et de discuter comme des humains. On les appelle les Modèles de Fondation. Considérez-les comme un chef étoilé qui a goûté tous les plats du monde. Au lieu d'apprendre à cuisiner un seul plat spécifique (comme la soupe d'un seul restaurant), ce chef apprend les règles générales de la saveur, de la chaleur et des ingrédients à partir de millions de recettes différentes. Une fois entraîné, ce chef peut entrer dans une cuisine qu'il n'a jamais vue et cuisiner un repas décent sans avoir besoin d'une recette spécifique pour ce plat exact. C'est ce qu'on appelle l'apprentissage zero-shot (apprentissage à l'aveugle) : faire une prédiction sur des données que le modèle n'a jamais vues, simplement en utilisant ce qu'il a appris lors de son « camp d'entraînement ».

Mais voici la grande question : est-il préférable d'envoyer ce chef étoilé dans une nouvelle cuisine et de le laisser travailler seul, ou devrions-nous lui donner une leçon rapide et spécifique sur les particularités de cette cuisine avant qu'il ne commence à cuisiner ? C'est le cœur du nouvel article de Morad Laglil et de son équipe. Ils veulent savoir si le fait de prendre ces modèles géants de séries temporelles pré-entraînés et de leur donner un petit entraînement supplémentaire sur des données spécifiques (appelé fine-tuning ou ajustement fin) les rend réellement de meilleurs prévoyants, ou si cela les confond simplement.

La grande expérience du « Fine-Tuning »

Les auteurs de cet article ont décidé de mettre cette idée à l'épreuve. Ils ont pris deux des modèles de type « chef étoilé » les plus puissants disponibles — Chronos 2 et TTM-R3-PT — et les ont soumis à un camp d'entraînement rigoureux. Ils ne se sont pas contentés de les laisser deviner ; ils ont testé différentes manières de leur enseigner des tâches spécifiques.

Ils ont testé trois approches principales :

Zero-Shot : Le modèle tente de prédire l'avenir en utilisant uniquement son entraînement général, sans aide supplémentaire.
Full Fine-Tuning (Ajustement complet) : Ils ont pris l'intégralité du modèle et l'ont réentraîné à partir de zéro sur les nouvelles données, en mettant à jour chaque chiffre à l'intérieur du cerveau.
Parameter-Efficient Fine-Tuning (LoRA) : Au lieu de réécrire tout le cerveau, ils ont ajouté une couche « adaptateur » minuscule et légère. C'est comme donner au chef une petite fiche de triche spécifique pour la nouvelle cuisine sans changer ses compétences culinaires fondamentales.

Ils ont testé ces méthodes sur une collection massive de 15 ensembles de données différents, allant des modèles météorologiques et de la consommation d'électricité aux admissions à l'hôpital et aux chiffres de vente. L'objectif était simple : voir quelle méthode réduisait réellement le taux d'erreur et permettait de meilleures prédictions.

Ce qu'ils ont découvert : La taille et le contexte comptent

Les résultats ont été surprenants et ont enseigné aux chercheurs une leçon précieuse sur la taille du modèle et les données auxquelles il est confronté.

Pour le modèle géant (Chronos 2) :
Ce modèle est énorme, avec 120 millions de paramètres. Lorsque les chercheurs ont tenté un « Full Fine-Tuning » (réécriture complète du cerveau) sur des ensembles de données plus petits, cela a eu des conséquences négatives. Le modèle s'est confondu et a commencé à faire du « surapprentissage » (overfitting), ce qui est comme un étudiant qui mémorise tellement parfaitement les réponses de l'examen blanc qu'il échoue au véritable examen parce qu'il ne peut pas gérer une question légèrement différente.

Le Gagnant : La méthode LoRA (le petit adaptateur) a été la grande championne pour Chronos 2 sur les ensembles de données moyens et larges. En ajoutant simplement une couche petite et flexible, le modèle pouvait s'adapter aux nouvelles données sans oublier ses connaissances générales. Cela a amélioré la précision, bien que les gains soient modestes (environ 2 à 3 %) sur les grands ensembles de données, et c'était crucial pour éviter les chutes de performance observées avec le fine-tuning complet.
La Leçon : Pour les modèles massifs, vous n'avez pas besoin de réécrire tout le livre ; vous avez juste besoin d'ajouter quelques post-it. Cependant, sur des ensembles de données très petits, le modèle géant a souvent été le plus performant sans aucun fine-tuning du tout.

Pour le modèle plus petit (TTM-R3-PT) :
Ce modèle est beaucoup plus compact, avec seulement 1 à 36 millions de paramètres. Il était déjà assez petit pour ne pas avoir besoin d'un adaptateur sophistiqué.

Le Gagnant : Le Full Fine-Tuning a mieux fonctionné ici. Comme le modèle était plus petit, il pouvait supporter la mise à jour de tous ses propres poids sans s'embrouiller. La méthode de l'« adaptateur » (LoRA) n'a pas beaucoup aidé et a parfois même empiré les choses.
La Leçon : Pour les modèles plus petits, un entraînement complet est souvent préférable à un simple étirement.

La règle du « Taille unique ne convient pas à tous »

L'article a également découvert que la meilleure stratégie dépend fortement du type de données, de la quantité de données dont on dispose et du domaine spécifique.

Petits ensembles de données : Si vous n'avez qu'une infime quantité de données (comme quelques jours d'enregistrements météorologiques), le Zero-Shot (laisser le modèle deviner par lui-même) est souvent le pari le plus sûr. Essayer de faire du fine-tuning sur un modèle géant avec trop peu de données, c'est comme essayer d'enseigner un nouveau sujet à un doctorant en ne lui montrant que trois fiches de révision ; il risque de se tromper. En fait, pour Chronos 2 sur de petits ensembles de données, le fine-tuning a en réalité dégradé les performances.
Grands ensembles de données : Lorsqu'il y a beaucoup de données, le fine-tuning surpasse souvent la simple intuition, mais ce n'est pas une victoire garantie. L'article a montré que pour le modèle TTM plus petit, l'inférence zero-shot était encore supérieure au fine-tuning dans plusieurs configurations spécifiques, même sur de grands ensembles de données.
Différents domaines : Les modèles se sont comportés différemment selon le sujet. Par exemple, dans le domaine de la « Nature » (comme les niveaux des rivières ou la météo), le modèle géant était déjà si bon pour deviner que le fine-tuning l'a rendu moins performant. Mais dans les « Transports » (comme le trafic), le fine-tuning a considérablement aidé les deux modèles.

L'essentiel à retenir

L'article conclut que, bien que les modèles de fondation soient des outils puissants capables de prédire l'avenir sans entraînement spécifique, le fine-tuning est un outil puissant pour les rendre encore meilleurs — mais seulement si vous choisissez la bonne recette pour la bonne situation.

Si vous avez un modèle géant, utilisez la méthode de l'« adaptateur » (LoRA) pour l'ajuster délicatement, surtout sur de grands ensembles de données. Si vous avez un modèle plus petit, n'hésitez pas à lui donner une séance d'entraînement complète. Et si vous n'avez pas beaucoup de données, ou si les données sont très spécifiques (comme les modèles naturels), il est peut-être plus prudent de simplement laisser le modèle faire sa meilleure supposition sans interférence.

Cette recherche suggère que nous nous dirigeons vers une nouvelle génération de prévisions où nous n'aurons pas besoin de construire un nouveau modèle pour chaque problème. Au lieu de cela, nous pourrons utiliser un modèle géant et intelligent, et lui donner une leçon rapide et sur mesure pour résoudre presque n'importe quel casse-tête temporel, de la prédiction du prochain cours de bourse à la planification du prochain itinéraire de bus urbain. L'avenir de la prédiction ne consiste pas seulement à avoir un cerveau plus gros ; il s'agit de savoir comment lui enseigner les bonnes leçons.

Résumé technique : Modèles de fondation et ajustement fin pour la prévision de séries temporelles

Énoncé du problème

La prévision de séries temporelles est une tâche critique dans divers domaines tels que l'énergie, les transports et la finance. Bien que les méthodes statistiques traditionnelles (par exemple, ARIMA) et les modèles modernes d'apprentissage profond aient fait progresser le domaine, ils nécessitent généralement un entraînement à partir de zéro sur des jeux de données cibles spécifiques. Cette approche est gourmande en données et s'avère souvent peu pratique lorsque les jeux de données cibles sont de petite taille ou lorsqu'une adaptation rapide à de nouveaux contextes est requise.

Inspirés par le succès des modèles de fondation dans le traitement du langage naturel (NLP), les modèles de fondation pour séries temporelles (TSFM) ont émergé. Il s'agit de modèles à grande échelle pré-entraînés sur de vastes corpus diversifiés pour apprendre des représentations temporelles généralisables. Bien que les TSFM démontrent de solides capacités de "zero-shot" (prédiction sur des données non vues sans réentraînement), la littérature a largement sous-exploré le potentiel de l'ajustement fin (fine-tuning) de ces modèles sur des jeux de données cibles spécifiques pour améliorer davantage les performances. Cet article traite de la compréhension de la manière d'adapter efficacement les TSFM pré-entraînés à des tâches aval spécifiques, en équilibrant les compromis entre la généralisation zero-shot et la spécialisation spécifique au jeu de données.

Méthodologie

1. Revue des architectures et des stratégies d'entraînement

Les auteurs fournissent une revue complète du paysage actuel des TSFM, en les classant par architecture et par objectifs d'entraînement (résumés dans le Tableau 1 de l'article) :

Architectures : La revue couvre les modèles basés sur les Transformers (ex. : Chronos, Moirai, TimesFM, Timer-S1), les réseaux récurrents (TiRex basé sur sLSTM) et les modèles MLP-Mixer (TTM).
Stratégies de pré-entraînement : Les modèles utilisent l'apprentissage auto-supervisé sur de vastes corpus (ex. : LOTSA, TimeBench, données synthétiques). Les objectifs varient de la prédiction de jetons autorégressifs (Chronos) et de la prédiction de patchs masqués (Moirai) à la minimisation de la perte de quantile (TimesFM, TTM).
Mécanismes d'adaptation : L'article détaille deux stratégies principales d'ajustement fin :
- Ajustement fin complet (Full Fine-Tuning - FFT) : Mise à jour de tous les paramètres du modèle sur le jeu de données cible.
- Ajustement fin efficace en paramètres (Parameter-Efficient Fine-Tuning - PEFT) : Spécifiquement l'adaptation de bas rang (Low-Rank Adaptation - LoRA), qui gèle les poids pré-entraînés et entraîne des matrices de perturbation de bas rang ( $\Delta W = BA$ ), réduisant considérablement le nombre de paramètres entraînables.
- Efficacité des données : L'étude considère également les configurations Few-Shot (utilisant seulement 20 % des données cibles) par rapport aux configurations Full-Shot.

2. Protocole d'évaluation empirique

Les auteurs ont mené une étude empirique approfondie utilisant le benchmark GIFT-Eval, qui comprend 23 jeux de données (15 univariés, 8 multivariés) couvrant 7 domaines (ex. : Web/CloudOps, Énergie, Transport, Santé) et 10 fréquences.

Modèles sélectionnés : Deux modèles performants et publics ont été choisis pour l'ajustement fin : Chronos 2 (120 millions de paramètres, Transformer à encodeur seul) et TTM-R3-PT (1 million à 36 millions de paramètres, MLP-Mixer).
Configuration expérimentale :
- Les modèles ont été évalués dans des configurations Zero-Shot (pré-entraîné uniquement), Full Fine-Tuning (FFT), LoRA-FullShot et LoRA-FewShot.
- Les hyperparamètres ont été fixés pour tous les jeux de données afin de simuler des contraintes de déploiement réalistes (pas de réglage par jeu de données).
- Métriques : La performance a été mesurée via la MAPE (pour la prévision ponctuelle) et la MWQL (Mean Weighted Quantile Loss, approximant le CRPS pour la prévision probabiliste), normalisée par rapport à une base de référence Saisonnière Naïve.

Résultats clés

L'étude révèle que l'efficacité de l'ajustement fin dépend fortement de la taille du modèle, de la taille du jeu de données et des caractéristiques du domaine :

Impact de la taille du jeu de données :
- Chronos 2 (Modèle large) : Sur les petits jeux de données, l'inférence zero-shot surpasse toutes les stratégies d'ajustement fin. L'ajustement fin complet (FFT) dégrade gravement les performances (surapprentissage), tandis que LoRA offre des gains marginaux ou négatifs. Sur les jeux de données moyens et larges, la stratégie LoRA-FullShot émerge comme la plus performante, améliorant la performance zero-shot de 2 à 3 %.
- TTM-R3-PT (Modèle compact) : Étant plus petit, le TTM bénéficie davantage des mises à jour directes des poids. L'ajustement fin complet (FFT) apporte des améliorations modestes sur les grands jeux de données, tandis que les variantes LoRA apportent peu de gains et dégradent parfois les performances.
Performance par domaine :
- Transport : L'ajustement fin est généralement bénéfique. LoRA (spécifiquement le Few-Shot) offre souvent les meilleurs résultats en MAPE, suggérant qu'une adaptation plus légère aide à éviter le surapprentissage sur des dynamiques bruitées à haute entropie.
- Nature & Énergie : Le mode zero-shot de Chronos 2 est remarquablement fort, particulièrement dans le domaine de la Nature, où l'ajustement fin complet gonfle considérablement les erreurs (ex. : +39 % d'erreur MAPE sur les prévisions à court terme).
- Web/CloudOps : LoRA-FullShot est la stratégie la plus efficace pour Chronos 2, tandis que le zero-shot reste compétitif pour TTM.
Comparaison des stratégies :
- LoRA vs. FFT : Pour les modèles larges comme Chronos 2, l'adaptation efficace en paramètres (LoRA) est cruciale ; l'ajustement fin complet (FFT) est peu fiable et sujet au surapprentissage. Pour les modèles compacts comme TTM, l'ajustement fin complet est souvent suffisant et efficace.
- Efficacité des données : Bien que LoRA-FewShot soit compétitif dans certains scénarios spécifiques (ex. : domaine de l'Énergie pour Chronos 2), LoRA-FullShot est généralement supérieur lorsqu'une quantité suffisante de données est disponible.

Contributions clés

Revue exhaustive : L'article établit un cadre analytique unifié pour les modèles de fondation de séries temporelles, détaillant leurs architectures (Transformers, RNN, MLP), leurs corpus de pré-entraînement et leurs stratégies d'optimisation.
Étude systématique de l'ajustement fin : Ce travail présente ce que les auteurs affirment être la première étude empirique à grande échelle des stratégies d'ajustement fin pour les TSFM. Il compare systématiquement le Zero-Shot, le Full Fine-Tuning et le Parameter-Efficient Fine-Tuning (LoRA) à travers un ensemble diversifié de 95 configurations uniques (jeu de données $\times$ fréquence $\times$ horizon).
Directives pratiques : L'étude fournit des informations exploitables pour les praticiens :
- Utilisez le Zero-Shot pour les petits jeux de données ou lorsque les ressources de calcul sont limitées.
- Utilisez LoRA-FullShot pour les grands modèles de fondation (ex. : Chronos 2) sur des jeux de données de moyenne à grande taille pour éviter le surapprentissage.
- Utilisez le Full Fine-Tuning pour les modèles compacts (ex. : TTM) où le nombre de paramètres est suffisamment faible pour éviter les risques de surapprentissage.

Signification et affirmations

L'article se positionne comme une étape fondamentale vers une "nouvelle génération" de modèles de prévision de séries temporelles. Sa principale importance réside dans la validation du fait que l'ajustement fin est une étape viable et souvent nécessaire pour libérer tout le potentiel des modèles de fondation, mais seulement lorsque la stratégie d'adaptation est adaptée à l'échelle du modèle et au volume des données.

Les auteurs notent avec modestie que, bien que l'ajustement fin améliore généralement les performances, il n'est pas une panacée universelle ; dans les scénarios de rareté de données, les capacités de généralisation du modèle pré-entraîné (Zero-Shot) restent supérieures. De plus, l'article souligne les limites actuelles du domaine, notamment la rareté des données de séries temporelles publiques et diversifiées par rapport au NLP, ainsi que l'absence de compréhension théorique sur la manière dont ces modèles compressent et généralisent l'information temporelle. Ce travail sert de référence pour de futures recherches sur des mécanismes d'adaptation plus robustes et efficaces pour les modèles de fondation de séries temporelles.