🤖 machine learning

RocketPFN: Accurate Time Series Classification via In-Context Learning

RocketPFN est un pipeline de classification de séries temporelles sans entraînement qui combine l'extraction de caractéristiques par convolution aléatoire avec un modèle de fondation tabulaire préentraîné (TabPFN), atteignant une précision de pointe sur les benchmarks UCR et UEA tout en surpassant de manière significative les modèles de fondation existants sans nécessiter d'entraînement sur les données cibles.

Auteurs originaux : Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive d'histoires basées sur le temps — comme des battements de cœur, des tendances boursières ou des vibrations de tremblements de terre. Votre tâche est de lire une nouvelle histoire et de deviner instantanément quel type d'événement il s'agit. C'est ce qu'on appelle la Classification de Séries Temporelles.

Pendant des années, la « référence » pour faire cela a été une équipe de machine learning extrêmement complexe et lourde appelée HC2. Considérez HC2 comme une escouade de quatre détectives experts différents, utilisant chacun un outil spécialisé (comme des détecteurs de formes, des recherches dans des dictionnaires ou des analyseurs d'intervalles). Ils travaillent ensemble pour résoudre l'enquête. Ils sont incroyablement précis, mais ils sont lents et coûteux. Il leur faut des heures, voire des jours, pour « étudier » un nouveau jeu de données avant de pouvoir faire une supposition.

Puis, il y a une approche plus récente et plus tape-à-l'œil appelée Modèles de Fondation (comme MOMENT ou Mantis). Ce sont comme des « super-apprenants » qui ont déjà lu des millions de livres auparavant. L'idée est qu'ils connaissent déjà le langage du temps, ils devraient donc pouvoir résoudre de nouveaux cas instantanément sans étudier le jeu de données spécifique.

Entrez en scène, RocketPFN.

Les auteurs de cet article ont construit un nouveau pipeline appelé RocketPFN. Ils se sont posé une question simple : Pouvons-nous construire un système qui soit aussi précis que l'escouade de détectives lente et coûteuse (HC2) et plus intelligent que les super-apprenants éphémères, tout en le faisant sans aucun entraînement ?

Voici comment ils l'ont fait, en utilisant deux ingrédients simples :

1. Le Scanner de « Bruit Aléatoire » (Rocket)

Imaginez que vous avez une longue chaîne de données désordonnées. Au lieu d'essayer de comprendre la signification profonde de chaque chiffre, RocketPFN utilise un « scanner de bruit aléatoire ».

L'analogie : Pensez à cela comme si vous jetiez des milliers de filets aléatoires dans une rivière pour attraper des poissons. Vous ne concevez pas les filets pour attraper des poissons spécifiques ; vous les jetez simplement au hasard.
La magie : Même si les filets sont aléatoires, si vous en jetez suffisamment (10 000 !), ils capturent un mélange étonnamment bon de motifs. Certains filets capturent les « pics » (les points les plus hauts), et d'autres capturent la « fréquence » (la fréquence à laquelle quelque chose se produit).
Le résultat : Cela transforme une histoire temporelle complexe en une simple liste de chiffres (caractéristiques) qui décrit la forme de l'histoire, sans avoir besoin d'apprendre quoi que ce soit au préalable.

2. L'« Expert Instantané » (TabPFN)

Une fois que le scanner aléatoire a transformé l'histoire temporelle en une liste de chiffres, ils la transmettent à TabPFN.

L'analogie : Imaginez un étudiant génial qui a mémorisé les réponses à des millions de problèmes mathématiques différents. Lorsqu'on lui donne un nouveau problème, il n'a pas besoin d'étudier ou de passer un examen. Il regarde simplement le problème et les exemples que vous lui donnez sur le moment, et il dit instantanément : « D'après ce que j'ai vu auparavant, cela ressemble à un problème de 'Type A' ».
La magie : Cet étudiant (TabPFN) est entraîné sur des données synthétiques, et non sur des données de séries temporelles réelles. Il utilise l'« Apprentissage en Contexte » (In-Context Learning), ce qui signifie qu'il comprend les règles à la volée simplement en regardant vos exemples spécifiques. Il n'a pas besoin de s'« entraîner » sur vos données.

La Grande Expérience

Les auteurs ont combiné ces deux éléments : Scanner Aléatoire + Expert Instantané.

Voici ce qu'ils ont découvert :

Battre les poids lourds : Sur 92 jeux de données standards, RocketPFN a atteint exactement la même précision que l'escouade de détectives lente et coûteuse HC2 (90 % de précision).
- Le bémol : HC2 prend des heures pour s'entraîner. RocketPFN prend environ 30 secondes pour s'exécuter. C'est comme battre un marathonien qui a passé des années à s'entraîner en le dépassant simplement par un sprint parce que vous n'aviez pas besoin de vous entraîner du tout.
Battre les « Super-Apprenants » : Ils ont également testé les modèles de fondation « Super-Apprenants » (MOMENT, Mantis). Même si ces modèles avaient été pré-entraînés sur des quantités massives de données (incluant les très mêmes jeux de données sur lesquels RocketPFN a été testé), RocketPFN les a quand même battus.
- Le rebondissement : RocketPFN a fait cela en utilisant moins de caractéristiques (des données plus simples) que les super-apprenants. C'est comme gagner une partie d'échecs contre un grand maître qui a étudié pendant 20 ans, en utilisant seulement 3 coups au lieu de 20.
L'échec du « lissage » : Ils ont essayé de nourrir l'Expert Instantané directement avec les données temporelles brutes sans le Scanner Aléatoire. Cela a échoué lamentablement (comme une estimation de 50/50).
- La leçon : Le « Scanner Aléatoire » est essentiel. Il traduit l'histoire basée sur le temps en un format que l'Expert Instantané peut réellement comprendre. Sans lui, l'expert est aveugle.

L'essentiel

L'article conclut que vous n'avez pas toujours besoin d'un « cerveau » massif, coûteux et pré-entraîné pour comprendre les données de séries temporelles.

Parfois, un simple filtre aléatoire combiné à un classificateur intelligent et pré-entraîné qui apprend à la volée est suffisant pour battre l'état de l'art. Cela suggère que la « magie » des modèles de fondation complexes est peut-être surévaluée pour cette tâche spécifique, et qu'une approche beaucoup plus simple, sans entraînement, constitue en réalité le nouveau standard à battre.

En bref : Vous n'avez pas besoin de construire un supercalculateur pour résoudre ces énigmes. Parfois, un filet aléatoire et un génie vif d'esprit sont tout ce dont vous avez besoin.

Résumé technique : RocketPFN

Énoncé du problème

La classification de séries temporelles (TSC) demeure un défi fondamental dans de nombreux domaines scientifiques et d'ingénierie, allant de la détection de crises d'épilepsie au diagnostic de pannes industrielles. Bien que l'ensemble HIVE-COTE 2.0 (HC2) occupe actuellement la position de l'état de l'art (SOTA) sur les archives UCR et UEA, il impose un coût computationnel élevé, nécessitant des heures, voire des jours d'entraînement par jeu de données. À l'inverse, les récents modèles de fondation pour la TSC (par exemple, MOMENT, Mantis) investissent massivement dans le pré-entraînement pour apprendre des plongements temporels de faible dimension, mais ils n'ont pas encore surpassé HC2 ou la famille efficace des noyaux aléatoires (Rocket) lorsqu'ils sont utilisés comme extracteurs de caractéristiques en zéro-shot.

La question centrale abordée est de savoir si un pipeline sans entraînement — combinant l'extraction de caractéristiques par convolution aléatoire avec un apprentissage en contexte via un modèle de fondation tabulaire pré-entraîné — peut égaler la précision des ensembles les plus complexes et les plus intensifs en entraînement sans ajuster aucun paramètre aux données cibles.

Méthodologie : RocketPFN

RocketPFN est un pipeline en deux étapes, sans entraînement, conçu pour combler l'écart entre l'extraction de caractéristiques aléatoires et l'apprentissage puissant en contexte.

Extraction de caractéristiques par convolution aléatoire (Rocket) :
- Les séries temporelles en entrée sont d'abord normalisées par la méthode z-score.
- Au lieu d'utiliser les 10 000 noyaux standards (produisant 20 000 caractéristiques), ce qui excéderait la capacité d'entrée du classifieur en aval, la méthode génère $G$ groupes indépendants de $k=1\,000$ noyaux de convolution aléatoires.
- Chaque noyau produit deux statistiques de résumé : le maximum global et la proportion de valeurs positives (PPV).
- Cela produit $G$ matrices de caractéristiques, chacune contenant $2\,000$ caractéristiques, s'alignant ainsi sur les contraintes d'entrée de TabPFN v2.5.
Classification en contexte (TabPFN v2.5) :
- Chaque matrice de caractéristiques est transmise à TabPFN v2.5, un réseau pré-ajusté sur des données (Prior-data Fitted Network) pré-entraîné sur des millions de jeux de données tabulaires synthétiques.
- TabPFN effectue la classification via l'apprentissage en contexte : il reçoit l'ensemble d'entraînement étiqueté et les points de test non étiquetés comme contexte, puis prédit les probabilités de classe en une seule passe directe (forward pass) sans mise à jour de gradient.
- La prédiction finale est une moyenne des estimations de probabilité à travers les $G$ groupes.

Raisonnement de conception : Le pipeline traite un décalage de dimensionnalité (20 000 caractéristiques de Rocket contre la limite de 2 000 caractéristiques de TabPFN) en ensemblant plusieurs groupes plus petits plutôt qu'en tronquant les caractéristiques. Cela préserve la diversité des projections aléatoires tout en exploitant la capacité de TabPFN à apprendre des frontières de décision non linéaires, contrairement à la régression Ridge typiquement utilisée avec Rocket.

Principales contributions

Le document présente quatre contributions principales :

Précision SOTA sans entraînement : RocketPFN ( $G=10$ ) atteint une précision moyenne de 0,900 sur 92 jeux de données UCR, égalant statistiquement HC2 (Wilcoxon $p=0,50$ ) et surpassant significativement chaque classifieur individuel au sein de l'ensemble HC2. Il ne nécessite aucun ajustement de paramètres sur les données cibles.
Supériorité de l'apprentissage en contexte : Remplacer le classifieur de régression Ridge standard par TabPFN sur les mêmes caractéristiques de convolution aléatoire produit un gain de précision significatif (+0,018), démontant que l'apprentissage en contexte extrait des informations plus discriminantes que les modèles linéaires dans ce régime.
Nécessité de l'encodage temporel : L'article démontre que l'application directe de TabPFN aux séries temporelles aplaties échoue sur des tâches trivialement solubles (ex: ShapeletSim), atteignant une précision proche du hasard. L'étape d'extraction de caractéristiques par convolution est essentielle pour restaurer le biais inductif temporel.
Référence pour les modèles de fondation : RocketPFN surpasse significativement les modèles de fondation TSC en zero-shot (MOMENT, Mantis, MantisV2) lorsqu'ils sont couplés au même classifieur. Cela est vrai même lorsque les modèles de fondation ont été pré-entraînés sur des corpus incluant les divisions d'entraînement de l'UCR, et même lorsque RocketPFN est restreint à moins de caractéristiques (200) que les dimensions d'encodage des modèles de fondation.

Résultats expérimentaux

Archive UCR (92 jeux de données) : RocketPFN ( $G=10$ ) égale la précision moyenne de HC2 (0,900). Il surpasse significativement les composants de HC2 (Arsenal, DrCIF, TDE, STC) ainsi que d'autres méthodes SOTA comme InceptionTime et TS-CHIEF ( $p < 0,005$ ). Même avec un budget réduit ( $G=1$ , 1 000 noyaux), RocketPFN surpasse nettement tous les composants de HC2.
Archive UEA (20 jeux de données) : RocketPFN ( $G=10$ ) atteint une précision moyenne de 0,747, statistiquement indiscernable de HC2 (0,747, $p=0,37$ ), bien que la petite taille de l'échantillon limite la puissance statistique.
Comparaison avec les modèles de fondation : Sur 103 jeux de données UCR, RocketPFN ( $G=1, k=100$ ) surpasse significativement MOMENT, Mantis et MantisV2 (tous couplés à TabPFN) avec $p < 0,001$ . Ce résultat persiste malgré le fait que les modèles de fondation possèdent des dimensions d'encodage plus larges (256–1 024) que les 200 caractéristiques de RocketPFN.
Efficacité : Le pipeline est sans entraînement. Sur un GPU, le temps d'inférence médian est de 30 secondes par fold pour $G=10$ et de 3,7 secondes pour $G=1$ .

Signification et affirmations

Les auteurs proposent RocketPFN comme un point de référence pour évaluer les modèles de fondation TSC en zero-shot. L'article soutient que les coûts de pré-entraînement élevés et la complexité de conception requis pour apprendre des encodages temporels de faible dimension doivent être justifiés par des conditions concrètes où ces encodages surpassent cette base de référence sans entraînement.

Les résultats suggèrent que l'exigence pour l'apprentissage de représentations temporelles en zero-shot est plus élevée que ce que suggèrent les modèles de fondation actuels. L'article postule que les réseaux pré-ajustés sur des données tabulaires (comme TabPFN) peuvent servir de squelette général pour les problèmes de classification au-delà des données tabulaires structurées, à condition que des extracteurs de caractéristiques appropriés (comme les convolutions aléatoires) fassent le pont entre la modalité source et l'interface tabulaire.

Limites : L'approche est actuellement limitée par le support de TabPFN v2.5 pour jusqu'à 10 classes, excluant 25 jeux de données UCR et 7 jeux de données UEA. De plus, les résultats de l'archive UEA sont considérés comme peu concluants en raison du faible nombre de jeux de données (20), bien que la précision moyenne reste compétitive. Les comparaisons de temps sont structurelles (inférence uniquement vs entraînement intensif) plutôt que des benchmarks matériels contrôlés.