🤖 machine learning

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

Cet article présente TSFMAudit, la première méthode conçue pour détecter la contamination des données de préentraînement dans les modèles de base pour séries temporelles en exploitant l'intuition selon laquelle les jeux de données contaminés présentent des dynamiques d'adaptation inhabituellement efficaces lors du réglage fin.

Auteurs originaux : Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchez un chef pour préparer un plat complexe pour une grande réception. Vous voulez savoir si ce chef est un véritable génie capable de cuisiner n'importe quoi à partir de zéro, ou s'il a simplement mémorisé la recette du plat précis que vous êtes sur le point de lui servir.

C'est le problème que résout TSFMAudit, mais au lieu de chefs et de recettes, il s'agit de modèles de base pour séries temporelles (des IA ultra-intelligentes qui prédisent des choses comme les cours boursiers, la météo ou le trafic) et de la contamination des données.

Voici la décomposition de l'article en termes simples :

Le Problème : Le "Test Fuité"

Dans le monde de l'IA, les chercheurs entraînent des modèles sur d'énormes quantités de données (le "corpus de pré-entraînement") puis les testent sur des ensembles de données spécifiques pour évaluer leur performance.

Le problème est que parfois, les données utilisées pour le test se retrouvent accidentellement dans le tas d'entraînement.

L'Analogie : Imaginez un étudiant qui révise pour un examen de mathématiques. Si le professeur met par erreur les questions exactes de l'examen dans le guide de révision, l'obtiendra une note parfaite. Mais cela ne signifie pas qu'il est un génie des mathématiques ; cela signifie simplement qu'il a mémorisé les réponses.
Pourquoi c'est difficile avec les séries temporelles : Dans le texte (comme les livres), on peut facilement repérer si une phrase a été copiée. Mais les données de séries temporelles (comme un graphique de température sur une année) sont continues. Le même motif peut sembler différent si l'on change les unités (Celsius en Fahrenheit) ou l'échelle. Il est donc très difficile de dire si l'IA a "vu" les données auparavant ou si elle est simplement naturellement bonne pour prédire ce motif spécifique.

La Solution : Le Test "Sonde"

Les auteurs ont créé un outil appelé TSFMAudit. Au lieu de se contenter d'examiner le score final (qui peut être falsifié par la mémorisation), ils observent comment l'IA apprend lorsqu'on lui donne un tout petit peu de nouvel entraînement.

Pensez-y comme à un test de condition physique :

Le Déroulement : Vous avez une IA "Candidate" (celle que vous auditez) et un groupe d'IA "Référence" (des modèles frais qui n'ont pas encore vu les données).
La Sonde : Vous leur donnez à toutes un tout petit entraînement court (quelques minutes de fine-tuning) sur l'ensemble de données spécifique dont vous suspectez la contamination.
L'Observation :
- L'IA Propre : Si l'IA n'a jamais vu ces données, elle doit travailler dur. Elle transpire beaucoup (ses paramètres internes changent beaucoup) et ses performances s'améliorent lentement.
- L'IA Contaminée : Si l'IA a déjà vu ces données lors de sa grande phase d'entraînement, elle reconnaît immédiatement le motif. Elle transpire à peine (ses paramètres internes bougent à peine) et ses performances s'envolent instantanément.

L'Idée Maîtresse : La contamination ressemble à une adaptation anormalement efficace. Le "tricheur" apprend plus vite avec moins d'effort.

Comment Ils Rendent Cela Équitable (La "Suite de Référence")

Vous pourriez dire : "Mais si les données sont simplement très faciles à prédire ? Alors même une IA propre apprendrait vite."

Pour résoudre cela, les auteurs utilisent une Suite de Référence. Ils effectuent le même test sur quatre autres modèles de taille similaire mais qui n'ont définitivement pas vu les données.

L'Analogie : Imaginez que vous jugez un coureur. S'il court le 100 mètres en 10 secondes, c'est incroyable. Mais si la piste est en pente descendante, peut-être n'est-il pas si rapide. Donc, vous faites courir d'autres coureurs sur la même piste. Si votre coureur est significativement plus rapide que tous les autres sur cette même piste facile, vous savez qu'il a un avantage injuste (comme un moteur caché).
TSFMAudit compare la vitesse de la Candidate à celle des modèles de Référence. Si la Candidate est trop efficace par rapport aux Références, elle est signalée comme contaminée.

Ce Qu'ils Ont Découvert

L'équipe a testé cela sur 6 modèles d'IA pour séries temporelles différents et 187 ensembles de données différents.

Les Anciennes Méthodes Ont Échoué : Ils ont essayé d'anciens trucs utilisés pour les modèles de texte (comme vérifier si le score de perte est trop bas), mais ceux-ci ne fonctionnaient pas bien pour les séries temporelles car certaines données sont naturellement faciles à prédire.
TSFMAudit a Fonctionné : En observant la "transpiration" (la mesure dans laquelle le modèle a changé) et la "vitesse" (la rapidité d'amélioration du score) pendant la sonde, ils ont pu repérer les tricheurs bien mieux que toute autre méthode.
Vérification Réelle : Ils ont testé leur outil sur un nouveau benchmark appelé TIME. Puisque ce benchmark a été construit après l'entraînement des modèles, il devrait être propre. TSFMAudit a confirmé que ces modèles n'avaient pas vu les données TIME, prouvant que l'outil fonctionne dans la réalité.

Résumé

TSFMAudit est un "détecteur de mensonges" pour l'IA qui prédit le temps. Il ne demande pas seulement : "Avez-vous obtenu un bon score ?" Il demande : "Combien avez-vous dû travailler pour obtenir ce score ?" Si l'IA apprend trop facilement par rapport à ses pairs, c'est probablement parce qu'elle connaissait déjà les réponses. Cela aide les chercheurs à s'assurer que lorsqu'ils disent qu'une IA est intelligente, elle l'est réellement, et non pas simplement un tricheur qui a mémorisé le test.

Résumé Technique : TSFMAudit – Audit de Contamination des Données dans les Modèles Fondamentaux de Séries Temporelles pour la Prévision

1. Formulation du Problème

Les Modèles Fondamentaux de Séries Temporelles (TSFMs) sont de plus en plus préentraînés sur de grands corpus hétérogènes dérivés de sources réelles et synthétiques diverses. Parallèlement, les benchmarks d'évaluation couramment utilisés (par exemple, GIFT-Eval, TIME) sont souvent assemblés à partir des mêmes sources publiques. Ce chevauchement crée un risque important de contamination du préentraînement, où les données d'évaluation ont été exposées lors de la phase de préentraînement du modèle. Une telle exposition peut artificiellement gonfler les estimations de performance en aval, conduisant à des évaluations excessivement optimistes des capacités de généralisation d'un modèle.

L'audit de cette contamination dans les séries temporelles présente un défi unique par rapport aux Modèles de Langage (LLM) en raison de la nature des données :

Continuité et Hétérogénéité : Les séries temporelles sont des valeurs continues, rendant inapplicables la correspondance exacte de chaînes ou de tokens (utilisée dans la détection de chevauchement des LLM).
Sensibilité au Prétraitement : Le même signal sous-jacent peut réapparaître après un redimensionnement, un renommage, un fenêtrage ou d'autres transformations, rendant la détection simple des doublons fragile.
Absence de Documentation : La documentation au niveau du corpus est souvent incomplète, rendant difficile la vérification de l'exposition via les métadonnées seules.
Fiabilité Limitée des Métriques Statiques : Les scores de perte ou de perplexité statiques sont des indicateurs peu fiables car des tendances saisonnières lisses ou des jeux de données faciles peuvent produire une faible perte même pour des modèles qui n'ont jamais vu les données.

L'article formalise l'objectif d'audit de contamination : étant donné un TSFM candidat $f_\theta$ et un jeu de données audité $D$ , le but est d'estimer un score $S(f_\theta, D)$ qui quantifie le risque de contamination du préentraînement, en distinguant les paires « propres » et « contaminées » sans accès au corpus complet de préentraînement.

2. Méthodologie : TSFMAudit

Les auteurs proposent TSFMAudit, un cadre basé sur la dynamique d'adaptation des sondes. L'intuition centrale est que la contamination se manifeste par une adaptation anormalement efficace lors d'une sonde de fine-tuning.

Observations Clés :

Adaptation Efficace : Si un modèle a déjà encodé des structures prédictives spécifiques à un jeu de données lors du préentraînement, il nécessite moins d'adaptation lorsqu'il est ensuite affiné sur ce même jeu de données. Cela se traduit par une réduction plus rapide de la perte avec un mouvement minimal des paramètres du socle.
Biais de Difficulté du Jeu de Données : Une adaptation rapide n'est pas exclusive aux modèles contaminés ; les modèles propres peuvent également s'adapter rapidement si le jeu de données est intrinsèquement facile. Pour atténuer cela, la méthode compare le candidat à une Suite de Références de modèles ayant une architecture comparable mais aucune exposition au jeu de données cible.

Le Pipeline TSFMAudit :

Phase de Sondage : Le modèle candidat et une suite de modèles de référence ( $\mathcal{R}$ ) sont affinés sur le jeu de données audité $D$ pendant un nombre fixe d'époques ( $T_{probe}$ ).
Extraction de Traces : Pour chaque époque $t$ $t$ , le système enregistre :
- $\ell_t$ : La perte de prévision.
- $w_t$ : Le déplacement cumulé $\ell_2$ des paramètres du socle par rapport à leur état initial.
- Métriques dérivées : Chute relative de la perte ( $d_t$ ) et efficacité d'adaptation ( $a_t = d_t / w_t$ ).
Débiaisage par Comparaison de Référence : Pour éliminer le biais spécifique à la difficulté du jeu de données, les traces du candidat sont comparées élément par élément aux traces de chaque modèle de référence. Cela génère des caractéristiques de différence ( $\Delta$ ) et de ratio ( $\rho$ ).
Notation et Calibration : Un scoreur léger (régression logistique) est entraîné sur un jeu de données d'audit en utilisant ces caractéristiques débiaisées pour prédire la probabilité de contamination.
- Seuillage : Le système adopte un principe conservateur « ne pas accuser l'innocent » (calibration FP-0). Le seuil de décision $\tau$ est fixé au score maximum observé sur des jeux de données de validation propres connus, garantissant qu'aucun jeu de données propre n'est faussement signalé comme contaminé.

3. Contributions Clés

Première Étude Systématique : À la connaissance des auteurs, il s'agit du premier travail à étudier formellement et à proposer une méthode d'audit de contamination du préentraînement spécifiquement pour les TSFMs.
Nouvelle Méthodologie : L'introduction de TSFMAudit, qui exploite la dynamique d'adaptation au moment de la sonde (réduction de la perte vs mouvement des paramètres) plutôt que la perte statique ou l'extraction de mémorisation.
Débiaisage Basé sur la Référence : Un mécanisme pour contrôler la difficulté du jeu de données en comparant l'efficacité d'adaptation du candidat à une suite de modèles de référence entraînés à partir de zéro ou sur des données non liées.
Évaluation Complète : La méthode est évaluée sur 6 TSFMs (Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos) et 187 jeux de données (combinant les benchmarks GIFT-Eval et TIME), en comparaison avec 10 baselines adaptées de la littérature sur les LLM.

4. Résultats Expérimentaux

Les expériences abordent quatre questions principales concernant l'efficacité de la méthode :

Performance de Détection (Q1) : TSFMAudit surpasse significativement les baselines de perte statique (Perte Brute, Taux de Chute de Perte), les ratios inspirés de LiRA et les baselines du domaine fréquentiel. Alors que les métriques statiques produisent des coefficients de corrélation de Matthews (MCC) proches de zéro, TSFMAudit atteint un MCC de 0,125 (configuration Toutes Références) et un Macro-F1 de 0,521. Les auteurs notent que les valeurs absolues de MCC restent modestes, reflétant la difficulté inhérente du problème sous une calibration FP-0 conservatrice et des étiquettes proxy bruyantes.
Effet de Débiaisage (Q2) : Le débiaisage basé sur la référence est crucial. Toutes les variantes basées sur la référence surpassent la baseline de dynamique uniquement sur le candidat. La configuration « Toutes Références » (utilisant les quatre modèles de référence : ScratchCNN, ScratchTransformer, Stat, VisionTS) produit les meilleures performances globales, confirmant que les signaux d'adaptation relatifs sont plus informatifs que les signaux absolus.
Utilité des Caractéristiques (Q3) : L'ablation des caractéristiques montre qu'aucune caractéristique unique n'est suffisante. L'efficacité d'adaptation ( $a_t$ ) est la caractéristique individuelle la plus forte, soutenant l'hypothèse que la contamination se caractérise par une haute efficacité (chute rapide de la perte, faible mouvement des paramètres). Cependant, la combinaison de toutes les caractéristiques dynamiques (perte, déplacement, efficacité) produit les meilleurs résultats.
Déploiement Pratique (Q4) : La méthode a été testée sur le Benchmark TIME, un nouveau benchmark externe sans étiquettes de contamination. En utilisant un auditeur fixe entraîné sur des données précédentes, TSFMAudit a correctement identifié les jeux de données TIME comme « propres » (non fuités) avec une haute confiance (taux de non-fuite regroupé > 95 %), démontrant son utilité dans des scénarios de déploiement réel sans réentraînement.

5. Signification et Revendications

L'article affirme que TSFMAudit établit la dynamique au moment de la sonde comme une base prometteuse pour un audit de contamination fiable dans les séries temporelles.

Changement de Paradigme : Il s'éloigne des métriques statiques, pré-sonde (qui sont peu fiables dans les séries temporelles) pour se tourner vers une analyse comportementale dynamique pendant le fine-tuning.
Faisabilité : Il démontre que l'audit de contamination est réalisable même sans accès au corpus de préentraînement ou à la capacité de reproduire le préentraînement à grande échelle, à condition de pouvoir sonder le comportement d'adaptation du modèle.
Limites : Les auteurs restent modestes quant aux résultats, reconnaissant que le problème de détection est difficile. Les scores MCC modestes indiquent que, bien que la méthode soit supérieure aux baselines, elle n'est pas un détecteur parfait, en particulier sous des contraintes strictes de faux positifs et lorsqu'elle traite des étiquettes proxy qui peuvent ne pas capturer toutes les formes de fuite (par exemple, des doublons transformés).

En conclusion, TSFMAudit fournit le premier cadre dédié à l'audit des TSFMs, offrant une approche robuste et dynamique pour identifier la contamination des données qui prend en compte la nature continue et hétérogène des données de séries temporelles.