💻 computer science

TS-ICL: A Flexible Time-Indexed Foundation Model for Time Series via In-Context Learning

TS-ICL est un nouveau modèle de fondation indexé temporellement qui exploite l'apprentissage en contexte pour unifier la prévision et l'imputation, atteignant des performances de pointe sur les séries temporelles irrégulières et partiellement observées en formulant les tâches comme une régression alignée sur les horodatages avec des dépendances causales synthétiques.

Auteurs originaux : Etienne Le Naour, Tahar Nabil, Adrien Petralia

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Etienne Le Naour, Tahar Nabil, Adrien Petralia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo, mais que votre station météo est en panne. Parfois, elle cesse d'enregistrer pendant des heures ; parfois, elle ne donne que la température sans la vitesse du vent ; et parfois, les données arrivent à des intervalles bizarres et irréguliers. La plupart des modèles informatiques actuels très sophistiqués (appelés Modèles de Fondation) sont excellents pour deviner l'avenir si les données sont parfaites et régulières, mais ils trébuchent quand les données sont désordonnées ou manquantes.

Ce document présente TS-ICL, un nouveau type de modèle d'IA conçu spécifiquement pour gérer cette réalité désordonnée. Considérez-le comme un détective universel voyageant dans le temps capable de résoudre deux mystères différents à la fois : remplir les pages manquantes d'un journal intime (imputation) et prédire ce qui va se passer ensuite (prévision).

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le détective du « Contexte » (Apprentissage en Contexte / In-Context Learning)

La plupart des modèles d'IA sont comme des étudiants qui mémorisent un manuel spécifique. Si vous leur posez une question sur un sujet qu'ils n'ont pas étudié, ils échouent. TS-ICL est différent. Il utilise une technique appelée Apprentissage en Contexte (In-Context Learning).

Imaginez que vous êtes un détective essayant de résoudre un crime. Au lieu d'avoir un carnet de règles préétabli, vous examinez les indices juste devant vous (le « contexte »).

L'analogie : Si vous voyez une trace de pas menant à une porte, vous n'avez pas besoin d'avoir déjà vu cette porte spécifique auparavant pour savoir que quelqu'un est entré à l'intérieur. Vous regardez simplement les empreintes que vous avez en ce moment même et vous déduisez le schéma.
Comment TS-ICL le fait : Il prend les données que vous lui donnez (la fenêtre de « regard en arrière » ou look-back window) et les traite comme une mini-leçon. Il apprend le motif à partir de ces indices spécifiques et applique immédiatement cette leçon pour prédire l'avenir ou combler les lacunes, sans avoir besoin d'être réentraîné pour chaque nouvelle tâche.

2. La carte « Indexée par le Temps » (Gérer les données irrégulières)

Les modèles traditionnels forcent souvent les séries temporelles dans une grille rigide, comme un tableur où chaque ligne doit être exactement espacée d'une heure. Si un capteur manque une lecture, toute la ligne se casse, ou le modèle doit deviner où va la ligne manquante.

TS-ICL est comme un GPS plutôt qu'un tableur.

L'analogie : Un tableur dit : « La ligne 1 est à 13h00, la ligne 2 est à 14h00. » Si vous manquez 14h00, le tableur est confus. Un GPS dit : « Vous êtes à 13h00, et le point suivant est à 14h15. » Il comprend que le temps est un flux continu, et non un ensemble de boîtes fixes.
Le bénéfice : Parce que TS-ICL comprend les horodatages spécifiques, il peut gérer des données manquantes, irrégulières ou arrivant tardivement sans sourciller. Il n'a pas besoin de « réparer » les données au préalable ; il lit simplement les horodatages et continue sa route.

3. Le système du « Partenaire » (Covariables)

Parfois, pour prédire l'avenir, vous avez besoin de plus que l'histoire principale. Par exemple, pour prédire la consommation d'électricité, vous pourriez avoir besoin de connaître la température (une « covariable »).

L'analogie : Imaginez que vous essayez de prédire la vitesse d'une voiture. La donnée principale est la vitesse de la voiture. Mais si vous connaissez aussi la vitesse du vent et la pente de la route (les partenaires), votre prédiction devient bien meilleure.
Comment TS-ICL le fait : Il possède un mécanisme spécial pour écouter ces signaux « partenaires ». Il peut déterminer si la vitesse du vent est réellement importante pour la vitesse de la voiture, ou s'il ne s'agit que de bruit. Il apprend à ignorer les partenaires non pertinents pour se concentrer sur ceux qui sont utiles, tout en suivant l'histoire principale.

4. Le super-pouvoir « Deux-en-Un »

Habituellement, vous avez besoin d'un outil pour remplir les données manquantes (imputation) et d'un autre outil pour prédire l'avenir (prévision).

L'analogie : C'est comme avoir un couteau suisse qui est à la fois un tournevis et un décapsuleur, mais qui fonctionne mieux que d'acheter deux outils séparés.
Le résultat : TS-ICL unifie ces tâches. Il peut regarder un historique désordonné et incomplet, remplir les pièces manquantes, puis immédiatement prédire l'avenir, le tout en une seule étape.

Ce que le papier affirme (Les résultats)

Les auteurs ont testé ce « détective » contre les meilleurs modèles existants :

Remplir les blancs : TS-ICL est le nouveau champion pour remplir les données manquantes. Il bat de manière significative les meilleurs modèles précédents (appelés Modèles de Fondation Tabulaires) et il est 50 fois plus rapide.
Prédire l'avenir : En ce qui concerne la prévision, il est aussi performant que les modèles de haut niveau (comme Chronos-2), bien qu'il utilise une approche différente.
Le test des « Données Cassées » : L'affirmation la plus impressionnante est sa performance lorsque les données passées sont défectueuses. Si vous donnez à un modèle standard un historique avec 50 % de données manquantes, sa prédiction devient médiocre. TS-ICL, cependant, reste solide et précis car il est construit pour gérer nativement les horodatages irréguliers.

Résumé

TS-ICL est un modèle flexible et intelligent qui ne se soucie pas de savoir si vos données sont désordonnées, manquantes ou irrégulières. Il traite le temps comme un flux continu, apprend à partir des indices qui se trouvent devant lui, et utilise des informations supplémentaires (comme la température ou le vent) uniquement lorsqu'elles sont utiles. Il est actuellement le meilleur pour réparer les enregistrements de données défectueux et constitue un concurrent de premier plan pour prédire l'avenir, tout en étant beaucoup plus rapide que ses rivaux lorsqu'il s'agit de traiter des informations manquantes.

Résumé Technique : TS-ICL

Énoncé du Problème

Les modèles de fondation pour séries temporelles (TSFM) ont déplacé le paradigme des modèles spécifiques à une tâche vers des systèmes d'inférence polyvalents et "zero-shot". Cependant, les approches existantes font face à trois limitations critiques dans les applications réelles :

Fragmentation des tâches : La plupart des TSFM se concentrent exclusivement sur la prévision, échouant à prendre en charge nativement l'imputation des valeurs manquantes, ce qui est courant dans les données échantillonnées de manière irrégulière.
Gestion des covariables : De nombreux modèles manquent de mécanismes robustes pour l'inférence tenant compte des covariables, malgré la nécessité d'informations externes pour de nombreuses tâches pratiques.
Rigidité de l'échantillonnage : Les architectures standard basées sur des patchs (ex: Chronos, TimesFM) supposent des entrées régulièrement échantillonnées, ce la rendant incapable de gérer des séries temporelles asynchrones ou partiellement observées sans prétraitement.

Bien que les modèles de fondation tabulaires (TFM) adaptés aux séries temporelles (ex: TabPFN-TS) prennent en charge les covariables et l'imputation, ils reposent souvent sur des caractéristiques temporelles façonnées à la main et souffrent de coûts d'inférence élevés, accusant un retard par rapport aux TSFM purs dans les benchmarks de prévision. Il existe un besoin pour un cadre unifié qui gère conjointement la prévision et l'imputation, supporte les covariables et opère efficacement sur des données échantillonnées de manière irrégulière.

Méthodologie

Les auteurs introduisent TS-ICL (Time-Series In-Context Learning), un modèle de fondation Transformer probabiliste qui reformule la modélisation de séries temporelles comme un problème de régression par apprentissage en contexte indexé par le temps. L'architecture se compose de quatre modules séquentiels :

Encodeur de Séries Temporelles ( $E$ ) : Basé sur une conception d'encodeur Perceiver, ce module traite les horodatages et les valeurs de contexte (ainsi que les covariables optionnelles) de manière indépendante par canal. Il utilise un ensemble fixe de tokens apprenables qui effectuent une attention croisée sur les paires horodatage-valeur, compressant des entrées de longueur arbitraire en une séquence latente compacte ( $Z_{val}$ ).
Mixeur de Canaux ( $M$ ) : Ce module agrège l'information à travers les canaux. Il utilise l'attention croisée pour permettre à la série temporelle cible d'interroger les tokens des covariables, réduisant la dimension des canaux en une représentation unifiée et consciente des covariables ( $Z_{final}$ ). Les couches d'auto-attention suivantes modélisent les dépendances globales.
Module de Requête de Contexte Temporel ( $C$ ) : Pour faire le pont entre les tokens latents discrets et le domaine temporel continu, ce module encode tout horodatage de requête $t$ à l'aide d'un encodage positionnel basé sur la fréquence. Il effectue une attention croisée sur $Z_{final}$ pour produire une représentation sensible au contexte $H(t)$ pour des horodatages arbitraires, permettant une gestion flexible de l'échantillonnage irrégulier.
Régresseur d'Apprentissage en Contexte ( $R$ ) : Le module final traite la prédiction comme une tâche de régression en contexte. Il construit un ensemble d'entraînement $D_{train}$ à partir de paires de contexte observées $(H(t), x_t)$ et utilise l'auto-attention causale pour inférer les valeurs cibles à des horodatages non vus. Il produit un ensemble dense d'estimations de quantiles entraînées via une perte pinball lissée.

Prior de Données et Entraînement :
TS-ICL est entraîné sur un prior de données structuré combinant des jeux de données réels et des données synthétiques.

Univarié : Un mélange de 31 jeux de données réels et de signaux synthétiques provenant de TempoPFN, couvrant divers domaines et fréquences.
Multivarié (Covariables) : Des structures cible-covariable synthétiques sont générées à l'aide de graphes acycliques dirigés (DAG) et d'un registre de modèles causaux structurels (SCM). Cela garantit que le modèle apprend une généralisation zero-shot robuste à des structures de dépendance inédites, incluant des covariables informatives, redondantes ou indépendantes.
Tâches : L'entraînement bascule dynamiquement entre l'imputation (masquage de points ou de blocs) et la prévision (masquage d'horizons futurs).

Contributions Clés

Architecture Unifiée : TS-ICL est un nouveau TSFM probabiliste qui unifie la prévision et l'imputation au sein d'un seul cadre temporel continu, supportant les deux tâches nativement sans changement architectural.
Prior Synthétique Structuré : Les auteurs conçoivent un prior causal basé sur des DAG pour les relations cible-covariable, permettant au modèle d'apprendre une généralisation zero-shot robuste à des structures de dépendance complexes.
Imputation État de l'Art : TS-ICL atteint de nouvelles performances de pointe sur les benchmarks d'imputation zero-shot, surpassant les modèles spécifiques à une tâche et les TFM adaptés.
Inférence Efficace Sensible aux Covariables : Le modèle supporte une inférence efficace avec les covariables, gérant des schémas de disponibilité arbitraires (ex: covariables observées uniquement dans la fenêtre de regard arrière ou à la fois dans le passé et l'horizon).
Robustesse aux Données Manquantes : Contra�à des modèles basés sur des patchs, la formulation indexée par le temps de TS-ICL lui permet de rester robuste lorsque les observations historiques sont partiellement manquantes.

Résultats Expérimentaux

Le modèle a été évalué sur fm-impute-bench (imputation) et fev-bench (prévision), avec une validation supplémentaire sur le benchmark TIME.

Imputation : TS-ICL établit un nouvel état de l'art sur les benchmarks d'imputation zero-shot. Il améliore les scores ponctuels (NMAE) et probabilistes (CRPS) par rapport aux principaux TFM (TabPFNv2.5-TS, TabICLv2-TS) par des marges significatives (ex: une amélioration de 17 % et 15 % par rapport à TabICLv2-TS). Crucialement, il est jusqu'à 50 fois plus rapide en inférence que ces TFM.
Prévision : Sur les benchmarks de prévision, TS-ICL reste compétitif avec les principaux TSFM comme Chronos-2 et TiRex, se classant parmi les meilleurs performeurs. Il exploite efficacement les covariables lorsqu'elles sont disponibles, améliorant son classement relatif parmi les TSFM.
Robustesse au Passé Manquant : Dans des expériences avec des niveaux croissants de données manquantes dans la fenêtre de regard arrière (30 %–90 %), TS-ICL surpasse systématiquement Chronos-2. Alors que la performance de Chronos-2 se dégrade considérablement à mesure que le contexte devient plus clairsemé, TS-ICL maintient sa stabilité, soulignant l'avantage de sa formulation indexée par le temps par rapport aux approches par patchs.
Efficacité : Bien que TS-ICL soit environ 4 fois plus lent que le très optimisé Chronos-2, il est environ 40 fois plus rapide que les TFM, offrant un excellent compromis précision-efficacité.

Signification et Revendications

L'article affirme que TS-ICL répond à la fragmentation actuelle de la modélisation de séries temporelles en fournissant une architecture unique capable d'une prévision et d'une imputation unifiées avec un support natif des covariables.

Sa principale signification réside dans sa robustesse aux observations historiques incomplètes. Les auteurs démontrent que les modèles basés sur des patchs sont sensibles au manque de contexte, tandis que la formulation indexée par le temps de TS-ICL lui permet de traiter des contextes de prévision réalistes où les données sont irrégulières ou partiellement observées. En combinant la flexibilité de l'apprentissage en contexte avec un prior causal structuré, TS-ICL offre une alternative évolutive aux modèles spécialisés, atteignant des performances d'imputation de pointe tout en maintenant des capacités de prévision compétitives.

Les auteurs notent des limites, spécifiquement le fait que la formulation de régression ponctuelle entraîne des coûts de calcul plus élevés que les modèles par patchs hautement optimisés (comme Chronos-2), bien que cela soit atténué par sa vitesse supérieure par rapport aux TFM. Ils suggèrent que les travaux futurs pourraient impliquer des optimisations architecturales (ex: mise en cache) et une diversification accrue du prior de données d'entraînement pour améliorer la généralisation zero-shot.