Contrast All the Time: Learning Time Series Representation from Temporal Consistency

Résumé Technique : CaTT (Contrast All The Time)

Énoncé du Problème
L'apprentissage de représentations de séries temporelles (TS) est crucial pour les tâches en aval, pourtant les données de séries temporelles non étiquetées à grande échelle restent sous-utilisées en raison du coût élevé de l'annotation. Bien que l'apprentissage contrastif auto-supervisé ait connu un succès dans la vision par ordinateur (CV) et le traitement du langage naturel (NLP), son application aux séries temporelles fait face à des défis spécifiques. Les méthodes contrastives de TS existantes reposent souvent sur des augmentations de données, qui peuvent introduire des biais inductifs, ou dépendent de sélections de paires heuristiques (par exemple, la sélection de paires positives/négatives spécifiques au sein d'un lot). Ces stratégies de sélection sont souvent inefficaces, ne parviennent pas à exploiter pleinement la dimension temporelle des données et peinent à passer à l'échelle dans des environnements de streaming dynamiques et réels. De plus, de nombreuses approches n'utilisent pas efficacement la cohérence temporelle inhérente où les pas de temps adjacents devraient naturellement partager des représentations similaires.

Méthodologie
Les auteurs proposent CaTT (Contrast All The Time), un nouveau cadre d'apprentissage contrastif non supervisé conçu pour apprendre des représentations de séries temporelles en exploitant la structure temporelle naturelle des données sans dépendre d'augmentations de données ou d'heuristiques complexes de sélection de paires.

• Concept Central : CaTT s'écarte des approches conventionnelles en contrastant tous les pas de temps en parallèle. Au lieu de sélectionner une seule paire positive par ancre, il utilise la dimension temporelle complète, traitant les pas de temps adjacents comme des paires positives implicites et tous les autres pas non adjacents comme des négatifs.
• Perte MP-Xent : Le cadre introduit une perte de Multiples Positifs Cross-Entropy (MP-Xent). Il s'agit d'une adaptation de la perte classique N-pair (Sohn, 2020) et de la perte NT-Xent (SimCLR).
  • Pour un lot de $N$ séquences de longueur $T$, CaTT forme une perte NT-tuple.
  • Pour un pas de temps de référence $z_{i,t}$, les étapes adjacentes ($z_{i,t-1}$ et $z_{i,t+1}$) servent de multiples paires positives.
  • Tous les autres pas de la séquence (excluant la référence et ses voisins immédiats) servent de paires négatives.
  • La fonction de perte est formulée pour maximiser la similitude de l'ancre avec ses multiples positifs tout en minimisant la similitude avec tous les négatifs, le tout calculé efficacement via des opérations matricielles pour éviter la haute complexité computationnelle d'un découpage naïf.
• Architecture : La méthode emploie un simple réseau de neurones convolutifs 1D (CNN) comme backbone de l'encodeur. L'entrée est une séquence de série temporelle $x$ de longueur $T$, qui est projetée dans un espace de représentation $z$. L'entraînement est de bout en bout, ne nécessitant aucune étape d'identification séparée pour les paires positives.
• Prétraitement : Pour des jeux de données spécifiques (ex: signaux médicaux), les auteurs appliquent la Transformée de Fourier à Court Terme (STFT) à des sous-fenêtres pour générer des instances temporellement dépendantes, garantissant que l'hypothèse selon laquelle les instances consécutives partagent des caractéristiques similaires se vérifie.

Contributions Clés

1. Cadre CaTT : Un nouveau cadre d'apprentissage contrastif non supervisé pour les séries temporelles qui intègre la sélection de paires positives directement dans le processus d'apprentissage via une formulation NT-pair, éliminant ainsi le besoin d'heuristiques externes de sélection de paires.
2. Perte MP-Xent : L'adaptation de la perte N-pair pour introduire des paires positives multiples (pas de temps adjacents) dans l'objectif de cross-entropy pondéré par la température, ce qui accélère l'apprentissage en considérant plus de paires par mise à jour et améliore la convergence.
3. Évaluation Extensive : Les auteurs ont mené des expériences sur 16 jeux de données publics à travers quatre tâches distinctes en aval :
   • Fine-tuning linéaire pour la classification (backbone gelé).
   • Classification semi-supervisée.
   • Prévision de séries temporelles (court terme et long terme).
   • Détection d'anomalies.

Résultats
L'article rapporte que CaTT produit des embeddings supérieurs aux bases de référence de l'état de l'art (incluant TS2Vec, InfoTS, CoST, SimMTM et MF-CLR) sur toutes les tâches évaluées :

• Classification : Sur les jeux de données HARTH, SLEEPEEG et ECG, CaTT a atteint les scores les plus élevés en termes d'exactitude, de score F1, de précision et de rappel. Notamment, il a obtenu ces résultats avec des temps d'entraînement nettement inférieurs (ex: 6,12s contre 2322,75s pour MF-CLR sur HARTH).
• Apprentissage Semi-Supervisé : CaTT a démontré sa robustesse avec des données étiquetées limitées (5%, 10%, 20%), surpassant systématiquement les bases de référence en termes d'exactitude.
• Prévision : Sur les jeux de données ETT et Weather, CaTT a délivré des résultats compétitifs en MSE (Mean Squared Error) et MAE (Mean Absolute Error), surpassant souvent ou égalant des modèles de prévision spécialisés comme MF-CLR et CoST, tout en maintenant une efficacité de pré-entraînement supérieure.
• Détection d'Anomalies : Dans le benchmark TSB-AD, CaTT a montré des performances compétitives dans les métriques de détection (VUS-PR) et était la méthode la plus rapide parmi celles testées.
• Efficacité : Un résultat principal est que CaTT est nettement plus rapide à entraîner que les approches contrastives existantes, ce qui le rend adapté aux applications à grande échelle.

Signification et Revendications
L'article affirme que CaTT représente un changement dans la manière dont la cohérence temporelle est utilisée dans l'apprentissage contrastif. En s'éloignant de l'augmentation de données et de l'échantillonnage sélectif de paires vers une approche de "contraste de tout le temps", la méthode apprend directement de la structure naturelle des données temporelles. Les auteurs affirment que :

• L'utilisation de multiples paires positives (pas de temps adjacents) au sein d'une perte NT-tuple est cruciale pour apprendre des représentations sémantiquement significatives et assurer la stabilité de l'entraînement (les approches à paire unique unique ont souvent entraîné des pertes NaN).
• L'approche est hautement efficace, offrant un équilibre entre haute performance et faible coût computationnel, ce qui est particulièrement adapté aux applications de séries temporelles réelles et dynamiques où la vitesse d'inférence et la scalabilité sont critiques.
• La méthode est polyvalente, performant efficacement à travers les tâches de classification, de prévision et de détection d'anomalies sans nécessiter de changements architecturaux spécifiques à la tâche.

Le code source de la méthode est disponible publiquement, facilitant la reproductibilité et la recherche ultérieure.