Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression

Résumé technique : Algorithmes non supervisés basés sur des caractéristiques pour la régression extrinsèque des séries temporelles

Définition du problème
La régression extrinsèque des séries temporelles (TSER) consiste à construire un modèle prédictif pour estimer une variable de réponse continue à partir d'un ensemble de séries temporelles d'entraînement, où la réponse n'est pas directement dérivée de la série elle-même (contrairement à la prévision). Alors que la classification des séries temporelles (TSC) et la prévision sont bien étudiées, la TSER a reçu moins d'attention. Une précédente étude de référence [5] a établi une archive de 19 problèmes et évalué 13 algorithmes, constatant que l'apprentissage profond (InceptionTime) et les méthodes basées sur les noyaux (ROCKET) fonctionnaient bien, bien qu'aucun algorithme unique ne surpasse significativement les autres. Les auteurs soutiennent que le domaine nécessite davantage de recherches pour améliorer la précision des modèles et remédier au manque de progrès depuis la première étude de référence.

Méthodologie
L'étude élargit le paysage de la TSER grâce à trois étapes méthodologiques principales :

1. Expansion de l'archive : Les auteurs ont porté l'archive de référence TSER de 19 à 63 jeux de données. Cette nouvelle collection comprend 24 jeux de données univariés et 20 multivariés (en plus des 19 originaux), provenant de compétitions Kaggle et de dépôts de recherche appliquée. Les jeux de données couvrent des domaines divers tels que l'analyse économique, la surveillance énergétique, les sciences de l'environnement, la santé des équipements et l'analyse de sentiments. Le prétraitement des données a impliqué une interpolation linéaire pour les valeurs manquantes et une troncation pour les séries de longueurs inégales.
2. Adaptation et implémentation des algorithmes : L'étude adapte des algorithmes TSC de pointe pour des tâches de régression. L'accent principal est mis sur les approches non supervisées basées sur des caractéristiques, qui transforment les séries temporelles en vecteurs de caractéristiques sans utiliser la variable cible pendant la phase de transformation.
   • FreshPRINCE : Un pipeline combinant la bibliothèque d'extraction de caractéristiques TSFresh (génération d'environ 800 caractéristiques non supervisées) avec un régresseur Forêt de Rotation (RotF). Le RotF a été adapté pour la régression en remplaçant le classifieur C4.5 par un régresseur CART et en moyennant les prédictions.
   • DrCIF (Forêt d'intervalles canoniques à représentation diverse) : Un ensemble basé sur des intervalles. Il divise les séries temporelles en trois représentations : la série originale, les différences du premier ordre et les périodogrammes. Il sélectionne ensuite des intervalles aléatoires au sein de ces représentations et extrait des caractéristiques résumées (en utilisant l'ensemble Catch22 plus sept statistiques standard telles que la moyenne et la pente). Un ensemble de régresseurs CART est entraîné sur ces caractéristiques concaténées.
   • Autres références : L'étude évalue au total 21 régresseurs, incluant des modèles d'apprentissage automatique standards (Ridge, SVR, Forêt aléatoire, XGBoost), des modèles linéaires fonctionnels (FPCR), des méthodes basées sur la distance (kNN avec Euclidien et DTW), des méthodes convolutives/à noyaux (ROCKET, MultiROCKET) et des architectures d'apprentissage profond (FCN, ResNet, InceptionTime simple et ensembliste, CNN).
3. Conception expérimentale : Les expériences ont été menées en utilisant 30 rééchantillonnages (divisions entraînement/test) par jeu de données pour assurer une robustesse statistique. La performance a été mesurée à l'aide de l'erreur quadratique moyenne racine (RMSE). La signification statistique a été évaluée à l'aide de tests de rangs signés de Wilcoxon par paires avec correction de Holm, visualisée via des diagrammes de différence critique (CD).

Contributions clés

1. Expansion des jeux de données : La publication de 44 nouveaux jeux de données, portant l'archive TSER totale à 63 problèmes.
2. Innovation algorithmique : L'introduction de deux nouveaux algorithmes TSER, FreshPRINCE et DrCIF, adaptés à partir de méthodologies TSC réussies.
3. Évaluation complète : Une évaluation rigoureuse de 21 régresseurs distincts, incluant des modèles standards hors boîte, l'analyse fonctionnelle et l'apprentissage profond, fournissant une nouvelle référence pour le domaine.
4. Open Source : Fourniture d'implémentations compatibles scikit-learn et de directives détaillées de reproductibilité.

Résultats

• Reproduction de la référence : Sur les 19 jeux de données originaux, l'étude a reproduit les résultats de [5], confirmant qu'aucun algorithme unique ne dominait significativement les autres, bien que l'ordre des algorithmes ait légèrement changé avec des corrections statistiques moins conservatrices.
• Performance sur l'archive étendue : Sur l'archive complète de 63 jeux de données, des régresseurs standards comme la Forêt aléatoire et la Forêt de Rotation (RotF) ont surpassé de nombreuses méthodes d'apprentissage profond et à noyaux spécifiques aux séries temporelles. Notamment, le RotF s'est imposé comme un algorithme standard de premier plan.
• Supériorité des nouvelles propositions : L'étude démontre que FreshPRINCE et DrCIF surpassent significativement tous les 18 autres régresseurs testés, y compris le meilleur régresseur standard (RotF) et l'ensemble d'apprentissage profond (InceptionTimeE).
  • DrCIF et FreshPRINCE ont obtenu les rangs moyens RMSE les plus bas.
  • InceptionTimeE, bien que souvent classé en tête sur des problèmes spécifiques, a montré une variance et une instabilité élevées, échouant fréquemment à trouver des relations prédictives dans des jeux de données où d'autres modèles ont réussi.
  • Étude d'ablation : Pour FreshPRINCE, l'étude a confirmé que le gain de performance provient de la combinaison spécifique de la transformation TSFresh et du régresseur RotF ; l'utilisation de TSFresh avec d'autres régresseurs (comme la Forêt aléatoire ou XGBoost) n'a pas produit les mêmes résultats que l'appariement avec RotF.
• Caractéristiques des données : La performance variait selon les propriétés des données. DrCIF fonctionnait relativement mieux sur les séries courtes et les données multivariées avec moins de canaux, tandis que FreshPRINCE excellait avec des ensembles d'entraînement plus grands et des jeux de données comportant plus de 5 canaux.

Signification et affirmations
L'article affirme que le domaine de la TSER est stagnant et que les approches non supervisées basées sur des caractéristiques proposées représentent un bond en avant significatif. Les auteurs affirment que :

• Aucun régresseur précédemment évalué ne peut surpasser une adaptation de régression d'un classifieur standard (spécifiquement la Forêt de Rotation).
• FreshPRINCE et DrCIF sont les seuls modèles à surpasser significativement le régresseur standard Forêt de Rotation, établissant un nouvel état de l'art pour la TSER.
• La diversité des performances entre les meilleurs algorithmes suggère que les ensembles hétérogènes pourraient être un domaine fructueux pour la recherche future.
• L'étude fournit une référence plus robuste et plus large (63 jeux de données) qui révèle les limites des conclusions précédentes tirées de plus petits jeux de données.

Les auteurs restent modestes concernant les limites, notant que les données ne sont pas échantillonnées aléatoirement (sous-représentant potentiellement certains domaines), qu'aucun réglage d'hyperparamètres n'a été effectué en raison de contraintes computationnelles, et que des analyses de diagnostic complexes (comme l'analyse des résidus) n'ont pas été menées. Cependant, ils concluent que leur travail apporte une contribution significative à l'avancement du domaine TSER en démontrant que l'extraction de caractéristiques non supervisée combinée à des régresseurs d'ensemble robustes est actuellement l'approche la plus efficace.