Résumé Technique : CF-JEPA : Prédiction vers l'avant sans masquage avec utilisation d'encodeurs asymétriques

1. Énoncé du problème

L'apprentissage auto-supervisé (SSL) pour l'apprentissage de représentations de séries temporelles est actuellement dominé par deux paradigmes, qui possèdent tous deux des limitations significatives :

• Méthodes contrastives : Elles reposent sur la construction de paires positives et négatives. Elles nécessitent souvent des augmentations de données (ex. : mise à l'échelle, déformation, permutation) qui risquent de fausser les motifs temporels et de briser les dépendances causales. De plus, définir des paires négatives basées uniquement sur l'identité de l'échantillon peut dégrader la qualité de la représentation en éloignant des échantillons différents appartenant à la même classe.
• Méthodes basées sur le masquage : Inspirées par BERT et MAE, ces méthodes cachent des portions de l'entrée et entraînent le modèle à les reconstruire. Bien que l'architecture JEPA (Joint-Embedding Predictive Architecture) améliore ces approches en prédisant dans l'espace de représentation plutôt que dans l'espace d'entrée brut, les variantes existantes de JEPA pour séries temporelles reposent toujours sur le masquage. Les auteurs soutiennent que le masquage est structurellement destructif pour les séries temporelles car il brise la continuité temporelle, détruisant les motifs que le modèle doit apprendre. Contrairement aux images, les signaux temporels manquent de redondance spatiale, ce qui rend problématique l'inférence du contenu masqué à partir des patchs environnants.

Le problème central est l'absence d'un cadre JEPA pour les séries temporelles capable de tirer parti de l'ordre temporel inhérent des données sans recourir à un masquage structurellement destructeur ou à une augmentation sujette à la distorsion.

2. Méthodologie : CF-JEPA

Les auteurs proposent le Crop-based Forward JEPA (CF-JEPA), un cadre sans masquage qui remplace le masquage par une prédiction vers l'avant multi-horizon.

2.1 Architecture de base et entraînement

• Génération de vues : Au lieu du masquage ou de l'augmentation, CF-JEPA génère des vues via un recadrage vers l'avant aléatoire (random forward cropping). Des sous-séquences contiguës sont extraites de la série temporelle d'entrée, préservant ainsi la continuité temporelle et la structure du signal sous-jacent.
• Prédiction vers l'avant : Le modèle prédit les représentations futures dans la direction temporelle directe. La série temporelle suivant un recadrage est divisée en trois zones de longueur égale correspondant à des horizons futurs à court, moyen et long terme. Trois prédicteurs linéaires dédiés projettent la représentation du contexte vers ces trois zones futures.
• Configuration à double encodeur :
  • Encodeur en ligne (Online Encoder, $f_{\theta_o}$) : Encode le contexte recadré et est mis à jour via la descente de gradient.
  • Encodeur cible (Target Encoder, $f_{\theta_t}$) : Une moyenne mobile exponentielle (EMA) de l'encodeur en ligne. Il encode la série temporelle complète pour fournir des cibles de prédiction stables. Il ne reçoit aucun gradient.
• Fonction de perte : L'objectif d'entraînement combine une perte de prédiction vers l'avant avec une régularisation non-contrastive (VICReg) pour prévenir l'effondrement de la représentation :
  • Perte d'horizon ($\mathcal{L}_{horizon}$) : Distance L1 entre les représentations prédites et cibles pour les trois zones futures.
  • Régularisation : Des pertes de variance, de covariance et d'invariance multi-échelle sont appliquées aux représentations de recadrage moyennées (mean-pooled) pour assurer la diversité dimensionnelle et l'invariance à travers les échelles temporelles.

2.2 Utilisation asymétrique des encodeurs

Une conclusion critique de l'étude est l'émergence de propriétés de représentation distinctes dans les deux encodeurs produits à partir d'un seul cycle d'entraînement :

• L'encodeur en ligne : Développe des caractéristiques discriminantes de rang élevé, adaptées à la classification au niveau de l'échantillon.
• L'encodeur cible EMA : Développe des caractéristiques temporelles lisses et de rang inférieur, adaptées aux tâches de régression par pas de temps.
• Stratégie de déploiement : Les auteurs proposent d'orienter les tâches de classification vers l'encodeur en ligne et les tâches de prévision/détection d'anomalies vers l'encodeur cible EMA. Cet aiguillage s'effectue au moment de l'inférence sans coût d'entraînement supplémentaire.

3. Principales contributions

Le document présente trois contributions majeures :

1. Cadre sans masquage (C1) : Introduction de CF-JEPA, qui remplace le masquage par une prédiction vers l'avant multi-horizon utilisant des recadrages vers l'avant aléatoires. Cela élimine le besoin de masquage, d'augmentation ou de paires contrastives, exploitant directement l'ordre temporel naturel des données temporelles.
2. Exploitation de l'asymétrie des encodeurs (C2) : Identification et utilisation de l'asymétrie de représentation entre l'encodeur en ligne et l'encodeur cible EMA. L'orientation de la classification vers l'encodeur en ligne et de la prévision/détection d'anomalies vers l'encodeur cible EMA permet une réduction de 27 % de l'erreur quadratique moyenne (MSE) de prévision multivariée par rapport à l'utilisation d'un encodeur unique, sans coût d'entraînement additionnel. Les auteurs affirment qu'il s'agit de la première JEPA pour séries temporelles exploitant explicitement cette asymétrie.
3. Évaluation exhaustive (C3) : Études d'ablation approfondies et tests de performance sur 126 jeux de données de classification UCR et 26 UEA, huit benchmarks de prévision de température de transformateur électrique (ETT), ainsi que des jeux de données de détection d'anomalies KPI/Yahoo. L'étude démontre que la prédiction vers l'avant est préférable au masquage au sein du cadre JEPA, que des prédicteurs linéaires légers sont suffisants et que la compatibilité entre le backbone et l'objectif est cruciale.

4. Résultats expérimentaux

La méthode a été évaluée face à 10 bases de référence auto-supervisées de pointe (ex. : TS2Vec, CoST, TS-JEPA) sous un protocole unifié.

• Classification : CF-JEPA a obtenu la précision moyenne et le rang moyen les plus élevés sur les deux types de jeux de données (UCR et UEA) parmi les bases de référence auto-supervisées. Il a systématiquement surpassé les concurrents, les trois meilleurs concurrents se situant dans la différence critique de Nemenyi sur l'UCR.
• Prévision :
  • Sur les benchmarks multivariés, CF-JEPA s'est classé troisième globalement (derrière CoST, qui est spécialisé dans la désentrelacement du domaine fréquentiel).
  • Sur les benchmarks univariés, il s'est classé deuxième globalement et premier parmi les méthodes auto-supervisées à usage général.
  • Crucialement, l'utilisation de l'encodeur cible EMA pour la prévision a réduit la MSE multivariée de 27 % par rapport à l'utilisation de l'encodeur en ligne.
• Détection d'anomalies : CF-JEPA a partagé la meilleure position de rang moyen sous le score k-NN et s'est classé deuxième sous le score Gaussien sur les benchmarks KPI et Yahoo.
• Insights d'ablation :
  • Conception du prédicteur : Le prédicteur vers l'avant à 3 zones a mieux performé que les alternatives de masquage de latence ou de masquage d'entrée.
  • Capacité du prédicteur : Les prédicteurs linéaires légers ont performé aussi bien ou mieux que les MLP et les Transformers, suggérant que la capacité doit être allouée à l'encodeur.
  • Compatibilité Backbone-Objectif : Le backbone Multi-scale DWConv a nettement surpassé les backbones Transformer et TS2Vec lorsqu'il était couplé à l'objectif de prédiction vers l'avant, soulignant l'importance de la compatibilité entre le backbone et l'objectif.
  • Asymétrie des encodeurs : L'analyse géométrique a confirmé que l'encodeur cible possède un rang effectif plus faible et une plus grande lissage temporel (similitude cosinus entre pas de temps adjacents) que l'encodeur en ligne, validant la stratégie d'aiguillage par tâche.

5. Signification et affirmations

Le papier positionne CF-JEPA comme une étape significative dans l'apprentissage auto-supervisé des séries temporelles en remettant en question l'hypothèse selon laquelle le masquage est l'approche par défaut ou nécessaire pour JEPA.

• Implication théorique : L'étude soutient que la structure géométrique des données (continuité temporelle vs redondance spatiale) doit dicter le choix du signal auto-supervisé. Le masquage est structurellement mal adapté aux signaux temporels continus.
• Implication méthodologique : La découverte que l'entraînement à double encodeur basé sur l'EMA produit naturellement deux modes de représentation complémentaires (rang élevé/discriminant vs rang faible/lisse) suggère un nouveau principe de conception pour le SSL. Cet « appariement tâche-encodeur » basé sur le rang effectif et le lissage temporel pourrait être applicable à d'autres cadres SSL (ex. : BYOL, SimSiam).
• Implication pratique : CF-JEPA offre une solution efficace pour les applications industrielles et embarquées où les étiquettes sont rares. En dérivant deux encodeurs spécialisés à partir d'un seul cycle d'entraînement, il supporte simultanément la classification, la prévision et la détection d'anomalies, réduisant les coûts opérationnels et permettant le déploiement sur des appareils de bord (edge devices) aux ressources limitées.

Les auteurs conservent un ton modeste concernant leurs affirmations, notant que bien que CF-JEPA soit leader en classification et en prévision/détection d'anomalies à usage général, des modèles spécialisés (comme CoST pour la prévision) peuvent encore surpasser le modèle dans des domaines spécifiques. La nouveauté principale réside dans la conception sans masquage et l'exploitation empirique de l'asymétrie des encodeurs.