🤖 machine learning

Divide and Contrast: Learning Robust Temporal Features without Augmentation

L'article présente Divide and Contrast (Di-COT), un cadre non supervisé efficace pour l'apprentissage de représentations de séries temporelles qui atteint des performances de pointe sur plusieurs tâches en contrastant des sous-blocs chevauchants au sein de fenêtres, éliminant ainsi le besoin d'augmentation de données, de passages multiples à travers l'encodeur et de calculs dépendants de la longueur de la séquence.

Auteurs originaux : Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment reconnaître différentes activités humaines simplement en regardant une vidéo d'une personne en mouvement. Habituellement, pour enseigner cela si bien à un robot, vous avez besoin d'un enseignant humain pour regarder chaque seconde de la vidéo et dire : « C'est de la marche », « C'est de la course », « C'est une chute ». C'est coûteux et lent car cela nécessite beaucoup d'étiquetage humain.

Ce papier présente une nouvelle méthode appelée Di-COT (Diviser et Contraster) qui enseigne au robot sans enseignant humain, sans utiliser de « astuces » compliquées pour falsifier les données, et sans prendre une éternité pour s'entraîner.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le problème avec les méthodes actuelles

La plupart des méthodes d'IA actuelles pour les données de séries temporelles (comme les battements de cœur, les cours boursiers ou les capteurs de mouvement) tentent d'apprendre en :

Augmentation : Elles prennent une vidéo, la floutent, accélèrent le rythme ou la retournent à l'envers pour créer des versions « fausses », puis tentent d'enseigner à l'IA que l'original et le faux sont identiques. Les auteurs soutiennent que c'est comme enseigner à un enfant à reconnaître un chien en lui montrant un chien portant un chapeau, un chien peint en bleu et un chien à l'envers. Cela fonctionne, mais c'est désordonné et lourd en calculs.
Comparaison étape par étape : Certaines méthodes comparent chaque seconde individuelle d'une vidéo à la seconde suivante. Le papier soutient que c'est comme essayer d'apprendre une histoire en comparant chaque lettre individuelle à celle qui se trouve juste à côté. Si l'histoire passe de « Le chat s'est assis » à « Le chien a couru », comparer le 't' de « chat » au 'd' de « chien » n'a pas de sens. Cela crée de la confusion.

2. La solution Di-COT : « Diviser et Contraster »

Au lieu de regarder la vidéo entière ou chaque seconde individuelle, Di-COT utilise une stratégie de « Diviser et Contraster ».

L'analogie : L'approche des pièces de puzzle
Imaginez que vous avez une longue bande de pellicule de film (les données de séries temporelles).

L'ancienne méthode : Vous regardez toute la bande d'un coup, ou vous regardez chaque image individuellement.
La méthode Di-COT : Vous prenez une paire de ciseaux et coupez la bande en quelques pièces de puzzle qui se chevauchent (sous-blocs).
- Vous ne les coupez pas parfaitement en deux ; vous les faites légèrement se chevaucher, comme si vous battiez un jeu de cartes.
- Vous demandez ensuite à l'IA : « Si je vous montre cette pièce de puzzle, quelle autre pièce de puzzle de la même bande de film vient juste avant elle ? »

Pourquoi est-ce mieux ?

Pas de fausses données : L'IA apprend à partir de la vraie bande de film, et non à partir de versions floues ou retournées.
Pas de confusion : En utilisant des pièces de puzzle (blocs de temps) au lieu d'images individuelles (secondes), l'IA apprend le contexte. Elle comprend qu'un bloc de « marche » est suivi par un autre bloc de « marche », plutôt que de se perdre dans la minuscule transition entre deux pas.
Vitesse : Comme elle ne compare que ces quelques pièces de puzzle entre elles, les mathématiques sont beaucoup plus simples et rapides. C'est comme comparer 5 pièces de puzzle au lieu de 1 000 pixels individuels.

3. Comment l'IA apprend (Le jeu)

L'IA joue à un jeu de « Devinez le prédécesseur ».

Elle prend un morceau de données et le découpe en 5 à 10 pièces qui se chevauchent.
Elle regarde la Pièce n° 3 et demande : « Quelle pièce est venue juste avant toi ? »
Elle devine la Pièce n° 2.
Si elle a raison, elle gagne un point. Si elle devine la Pièce n° 5 ou la Pièce n° 1, elle apprend qu'elle s'est trompée.

En jouant à ce jeu des millions de fois, l'IA apprend à construire une carte mentale où des activités similaires (comme « courir ») sont regroupées ensemble, et où des activités différentes sont éloignées, le tout sans jamais qu'on lui dise « C'est de la course ».

4. Les résultats : Rapide et précis

Les auteurs ont testé cela sur six énormes ensembles de données réels (comme des moniteurs cardiaques, des trackers de sommeil et des capteurs d'activité) et sur de nombreux petits benchmarks.

La course : Ils ont comparé Di-COT à d'autres méthodes d'IA de pointe.
Le gagnant : Di-COT a gagné la course. Elle a atteint la plus grande précision dans la reconnaissance des activités et le regroupement de données similaires.
La vitesse : C'était le plus rapide. Elle s'est entraînée en une fraction du temps qu'ont pris les autres méthodes.
- Analogie : Si les autres méthodes étaient comme un coureur de marathon portant un lourd sac à dos (faisant des calculs supplémentaires et utilisant des données fausses), Di-COT était un sprinteur avec un sac à dos léger, atteignant la ligne d'arrivée en premier tout en maintenant une forme parfaite.

5. Pourquoi cela compte (Selon le papier)

Le papier affirme que Di-COT résout un compromis majeur. Habituellement, vous devez choisir entre :

Haute précision (mais cela prend beaucoup de temps et nécessite beaucoup de puissance de calcul).
Vitesse rapide (mais l'IA n'est pas très intelligente).

Di-COT prétend avoir les deux. Elle apprend des caractéristiques « robustes » (ce qui signifie qu'elle comprend le sens fondamental des données, et non seulement le bruit) sans avoir besoin d'être nourrie avec des données fausses ou d'être exécutée plusieurs fois sur l'ordinateur.

En résumé :
Di-COT est une nouvelle façon d'enseigner aux ordinateurs de comprendre les données basées sur le temps (comme le mouvement ou les battements de cœur). Au lieu d'utiliser des astuces ou de regarder chaque détail minuscule, elle découpe les données en morceaux qui se chevauchent et joue à un simple jeu de « qu'est-ce qui est venu avant ? ». Cela rend l'IA plus intelligente, plus rapide et plus efficace que les méthodes précédentes, le tout sans avoir besoin qu'un humain étiquette les données.

Résumé Technique : Diviser et Contraster (Di-COT)

Énoncé du Problème

L'apprentissage auto-supervisé (SSL) pour la représentation de séries temporelles vise à réduire la dépendance aux données étiquetées tout en maintenant de fortes performances en aval. Cependant, les approches d'apprentissage contrastif existantes font face à des limitations significatives :

Inefficacité Computationnelle : De nombreuses méthodes nécessitent plusieurs passages à travers l'encodeur (pour les ancres, les positifs et les négatifs) ou reposent sur des opérations coûteuses comme la Warping Dynamique du Temps (DTW) pour le calcul de similarité.
Biais d'Augmentation de Données : Les approches qui dépendent fortement de l'augmentation de données (par exemple, masquage, transformations dans le domaine temporel/fréquentiel) peuvent introduire des biais inductifs qui déforment les plongements de caractéristiques appris, entravant la généralisabilité.
Échec des Hypothèses Temporelles : Les méthodes récentes efficaces (par exemple, CaTT) qui contrastent des pas de temps adjacents temporellement supposent que la proximité temporelle implique une similarité sémantique. Cette hypothèse échoue souvent dans les jeux de données présentant des transitions d'événements rapides (courantes dans les benchmarks UCR et UEA), conduisant à de « faux positifs » où des pas de temps sémantiquement distincts mais temporellement proches sont incorrectement traités comme des paires positives.
Problèmes de Scalabilité : Les calculs de perte dans certaines méthodes évoluent de manière quadratique avec la taille du lot et la longueur de la séquence, les rendant prohibitifs pour les fenêtres de séries temporelles longues.

Méthodologie : Diviser et Contraster (Di-COT)

Di-COT est un cadre non supervisé conçu pour apprendre des caractéristiques temporelles robustes sans augmentation de données ni plusieurs passages à travers l'encodeur. Il reformule l'apprentissage contrastif temporel comme une tâche de classification dense dans l'espace de représentation.

Mécanisme Central

Partitionnement Stochastique de Sous-Blocs : Au lieu de traiter la séquence entière ou des pas de temps individuels, Di-COT partitionne stochastiquement chaque fenêtre de série temporelle en $k$ sous-blocs chevauchants par itération. Le nombre de sous-blocs $k$ est échantillonné à partir d'une distribution uniforme $U\{k_{min}, \dots, k_{max}\}$ .
- Les sous-blocs ont une longueur $L$ et un pas $s$ , contrôlés par un taux de chevauchement $\rho \in (0, 1)$ .
- Ce caractère stochastique expose l'encodeur à plusieurs granularités temporelles, encourageant implicitement la robustesse sur des contextes courts et longs sans conceptions hiérarchiques explicites.
Encodage des Sous-Blocs : Chaque sous-bloc est transmis à un encodeur temporel partagé $f_\theta$ et regroupé le long de la dimension temporelle pour produire un vecteur d'incorporation unique.
Objectif Contrastif (Prédiction du Sous-Bloc Suivant) :
- Paires Positives : Les sous-blocs temporellement adjacents au sein de la même instance sont traités comme des paires positives. Plus précisément, pour un sous-bloc $j$ , le sous-bloc précédent $j-1$ est la cible.
- Paires Négatives : Tous les autres sous-blocs de la même séquence servent de négatifs.
- Formulation : La tâche est formulée comme un problème de classification multi-classes. Pour chaque sous-bloc $j$ , le modèle prédit l'index de son voisin précédent. La perte est une perte d'entropie croisée mise à l'échelle par une température (similaire à InfoNCE mais appliquée aux index de sous-blocs) :
  $\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$
  où $S^{(i)}_{j,p}$ est la similarité entre le sous-bloc $j$ et $p$ , et $p^*(j)$ est l'index cible ( $j-1$ pour $j>0$ , et $0$ pour le premier sous-bloc).

Efficacité et Scalabilité

Complexité : Le calcul de la perte dépend de la taille du lot $B$ et du nombre de sous-blocs $k$ , plutôt que de la longueur de la séquence $T$ . Puisque $k \ll T$ par conception, la complexité temporelle est $O(Bk^2d)$ et la complexité mémoire est $O(Bk^2)$ . Cela rend la méthode indépendante de la longueur de la séquence, permettant un entraînement efficace sur des séquences très longues.
Sans Augmentation/Multiples Passages : En contrastant des sous-structures internes, Di-COT évite le besoin d'augmentation de données et élimine la nécessité de multiples passages à travers l'encodeur requis par les méthodes qui traitent différentes vues augmentées comme des positifs.

Contributions Clés

Cadre Sans Augmentation : Di-COT élimine le besoin d'augmentation de données, de masquage de pas de temps et de multiples passages à travers l'encodeur, réduisant la surcharge computationnelle et empêchant la distorsion de la représentation.
Contraste Dynamique de Sous-Blocs : La méthode introduit un contraste au sein des instances individuelles en utilisant des sous-blocs stochastiques. Cela empêche une discrimination triviale au niveau du pas de temps (qui échoue lors des transitions rapides) et favorise des représentations diversifiées et sémantiquement significatives.
Reformulation en Classification : L'apprentissage contrastif temporel est reformulé comme une tâche de classification par entropie croisée. Cela fournit une supervision dense (utilisant chaque sous-bloc comme signal) tout en conservant les propriétés de l'InfoNCE mise à l'échelle par température.
Performances de l'État de l'Art : Le cadre obtient des résultats de l'état de l'art à travers les tâches de classification, de clustering, de kNN et de transfert inter-jeux de données, tout en réduisant substantiellement le temps d'entraînement.

Résultats Expérimentaux

Les auteurs ont évalué Di-COT sur six grands jeux de données réels (PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA) et les benchmarks UCR/UEA.

Évaluation Linéaire : Di-COT a obtenu la précision moyenne la plus élevée parmi les méthodes SSL sur les grands jeux de données, surpassant des bases de comparaison comme TS2Vec, TF-C et CaTT. Il a égalé les performances des modèles supervisés complets de bout en bout sur plusieurs jeux de données tout en nécessitant un temps d'entraînement significativement inférieur.
Régime à Faibles Étiquettes : Dans un cadre de 1 % de données étiquetées, Di-COT a surpassé toutes les autres méthodes SSL et la base de comparaison supervisée complète entraînée de bout en bout sur les mêmes données limitées, démontrant une efficacité supérieure des étiquettes.
kNN Non Paramétrique : Di-COT a montré les meilleures performances dans la classification par 1-plus proche voisin, indiquant que les plongements appris possèdent un voisinage local bien structuré où des échantillons sémantiquement similaires sont étroitement mappés.
Clustering : Di-COT a obtenu les plus hauts scores d'Information Mutuelle Normalisée (NMI) et d'Index Rand Ajusté (ARI), suggérant qu'il apprend des clusters globalement cohérents qui s'alignent avec les classes de vérité terrain.
Transfert Inter-Jeu de Données : Dans les expériences d'apprentissage par transfert (par exemple, HARTH $\to$ PAMAP2), Di-COT a démontré une meilleure généralisation de domaine par rapport aux bases de comparaison, indiquant une robustesse aux décalages de distribution.
Efficacité : Di-COT a constamment nécessité le temps d'entraînement le plus faible parmi les approches basées sur l'apprentissage profond. Par exemple, sur les grands jeux de données, il s'est entraîné en environ 2,88 heures contre 3,47 à 11,48 heures pour les autres méthodes.

Signification et Revendications

L'article revendique que Di-COT adresse le compromis fondamental dans les méthodes existantes d'apprentissage contrastif de séries temporelles : la tension entre l'exploitation de la proximité temporelle pour l'efficacité et le maintien de la cohérence sémantique pour la généralisation.

Robustesse aux Dynamiques Temporelles : En contrastant des sous-structures informatives plutôt que des pas de temps individuels, Di-COT évite le problème de « faux positifs » inhérent aux méthodes qui supposent que tous les pas de temps adjacents sont sémantiquement similaires. Cela le rend particulièrement efficace pour les jeux de données avec des changements d'événements fréquents.
Scalabilité : L'indépendance du calcul de perte par rapport à la longueur de la séquence permet à Di-COT de s'adapter efficacement aux séries temporelles longues, une limitation pour des méthodes comme CaTT où les coûts de mémoire et de calcul évoluent de manière quadratique avec la longueur de la séquence.
Applicabilité Pratique : Le cadre est présenté comme une solution pratique pour les scénarios avec des annotations rares, offrant un compromis favorable précision-calcul. Les auteurs notent que si la méthode excelle dans la classification, le clustering et la récupération, sa nature contrastive (axée sur la structure discriminative) peut être orthogonale aux tâches de prévision nécessitant une prédiction temporelle fine, ce qui est identifié comme une limitation et une direction pour un travail futur.

Les auteurs soulignent que Di-COT apprend des représentations qui sont localement cohérentes, globalement bien organisées et transférables entre les domaines, établissant un nouvel état de l'art pour l'apprentissage non supervisé de représentations de séries temporelles.