🤖 machine learning

LeNEPA: No-Augmentation Next-Latent Prediction for Time-Series Representation Learning

Cet article présente LeNEPA, une architecture de prédiction du prochain état latent sans augmentation qui parvient à un apprentissage auto-supervisé robuste des séries temporelles à travers divers domaines sans nécessiter de réglage spécifique au domaine, surpassant les modèles de référence à recette fixe tant en termes de convergence précoce que de généralisation inter-jeux de données.

Auteurs originaux : Alexander Chemeris, Ming Jin, Randall Balestriero

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander Chemeris, Ming Jin, Randall Balestriero

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le piège de la « recette »

Imaginez que vous êtes un chef essayant d'apprendre à un robot comment cuisiner.

L'ancienne méthode (JEPA) : Vous donnez au robot une recette spécifique pour faire de la soupe. Pour l'aider à apprendre, vous lui dites : « Si la soupe est trop salée, ajoute de l'eau. Si elle est trop froide, chauffe-la. » Ce sont des « augmentations » (des modifications apportées aux données). Le robot apprend très bien à reconnaître la soupe.
Le problème : Maintenant, vous voulez que le robot cuisine un gâteau. Vous essayez d'utiliser exactement la même « recette de soupe » sans changer une seule instruction. Le robot est confus. Il essaie d'ajouter de l'eau à la pâte à gâteau ou de la chauffer trop tôt. La recette échoue car elle était trop spécifique à la soupe.

Dans le monde de l'IA et des données de séries temporelles (comme les battements de cœur, les cours de la bourse ou les températures de serveurs), la plupart des méthodes actuelles reposent sur ces « recettes » spécifiques (augmentations). Elles fonctionnent très bien sur les données pour lesquelles elles ont été conçues, mais si vous essayez de les réutiliser sur un type de données différent sans ajuster la recette, elles échouent souvent.

La solution : LeNEPA (L'« Apprenant Universel »)

Les auteurs proposent une nouvelle méthode appelée LeNEPA. Au lieu d'enseigner au robot en jouant avec les ingrédients (augmentations), ils lui enseignent un jeu différent : la Prédiction.

Voyez cela comme un jeu de « mot suivant », mais pour le temps.

Le Jeu : Le robot regarde une séquence d'événements (comme un battement de cœur : boum-boum... boum-boum...) et doit deviner ce qui vient ensuite.
Le Twist : Il fait cela sans aucune « augmentation ». Il ne cherche pas à déformer les données pour les rendre plus difficiles. Il regarde simplement le motif brut et prédit l'étape future.
La Recette Secrète : Pour éviter que le robot ne devienne paresseux ou confus (un problème appelé « effondrement » ou collapse), les auteurs utilisent un contrôle d'équilibre spécial appelé SIGReg. Imaginez un funambule qui vérifie constamment son équilibre pour s'assurer qu'il ne tombe pas d'un côté. Cela permet de maintenir la compréhension des données par le robot stable et utile.

L'Expérience : Le « Test de Résistance »

Les auteurs n'ont pas seulement affirmé que leur méthode était bonne ; ils l'ont soumise à un « test de résistance » pour voir si la recette pouvait voyager.

La Configuration : Ils ont pris deux méthodes :
- Méthode A (JEPA) : Une méthode robuste réglée spécifiquement pour les données ECG (cœur).
- Méthode B (LeNEPA) : Leur nouvelle méthode « sans augmentation ».
Le Test : Ils ont entraîné les deux méthodes sur des données cardiaques (PTB-XL). Ensuite, ils ont pris les mêmes paramètres (la même recette) et ont essayé d'entraîner la méthode sur des données diagnostiques synthétiques (un type de signal complètement différent, comme un test médical imaginaire).
Le Résultat :
- Méthode A (JEPA) : C'était un chef étoilé pour les données cardiaques, mais lorsqu'elle a été forcée de cuisiner les données synthétiques avec la même recette de cœur, elle a eu du mal. La performance a chuté.
- Méthode B (LeNEPA) : Elle a performé sur les données cardiaques, et lorsqu'elle est passée aux données synthétiques avec la même recette, elle a continué à bien performer. Elle n'a pas eu besoin d'être réajustée.

L'Analogie : La Méthode A était un spécialiste qui ne savait que réparer des voitures. La Méthode B était un mécanicien qui comprenait les principes des moteurs. Quand on a présenté une moto à la spécialiste (A), elle était confuse, mais le mécanicien (B) a tout de suite compris parce que sa logique de base était plus flexible.

Le Bonus de « Vitesse »

Les auteurs ont également remarqué quelque chose d'intéressant sur la vitesse à laquelle le robot apprend.

La Méthode A a mis longtemps à comprendre les bases.
La Méthode B (LeNEPA) a appris les motifs utiles beaucoup plus vite. Elle a atteint 80 % de son niveau de compétence final en seulement quelques milliers d'étapes, alors que l'autre méthode a mis deux fois plus de temps.
Analogie : Si l'apprentissage est une course, LeNEPA est le sprinteur qui atteint sa vitesse de pointe immédiatement, tandis que l'autre méthode est le coureur de marathon qui met du temps à trouver son rythme.

Le Test du « Monde Réel »

Enfin, les auteurs ont testé leur méthode sur une collection massive de 128 jeux de données de séries temporelles différents (l'archive UCR). Ils ont « gelé » le cerveau du robot entraîné et lui ont demandé de résoudre ces nouveaux problèmes.

Le Résultat : Même s'ils n'ont pas utilisé de « trucs » spéciaux ou d'augmentations faites à la main, leur robot a performé presque aussi bien que les champions actuels (comme MOMENT et Mantis).
Le Bémol : Il s'agissait d'un test unique, donc ce n'est pas une garantie qu'il gagnera toujours, mais cela prouve qu'une approche « sans augmentation » est un concurrent très sérieux.

Résumé

L'IA actuelle : Nécessite une recette personnalisée pour chaque nouveau type de données. Si vous changez les données, vous devez réécrire la recette.
LeNEPA : Utilise une stratégie de « prédire l'étape suivante » qui ne nécessite pas de recettes personnalisées. Il apprend la structure sous-jacente des données directement.
Pourquoi c'est important : Cela rend l'IA pour les séries temporelles plus portable. Vous pouvez l'entraîner une fois, garder les mêmes réglages, et l'appliquer à différents types de signaux (comme passer de moniteurs cardiaques à des journaux de serveurs) sans avoir besoin d'une équipe d'ingénieurs pour tout réajuster.

En bref : LeNEPA est un « traducteur universel » pour les données de séries temporelles qui apprend en prédisant le futur, en sautant l'étape complexe et désordonnée consistant à essayer de déformer le passé.

Résumé Technique : LeNEPA – No-Augmentation Next-Latent Prediction for Time-Series Representation Learning

1. Énoncé du Problème

L'apprentissage auto-supervisé (SSL) pour les séries temporelles a progressé rapidement, mais son déploiement pratique reste entravé par une forte dépendance à des stratégies de vues et d'augmentations spécifiques au domaine. Bien que des méthodes telles que les Joint Embedding Predictive Architectures (JEPA) aient montré un certain succès (par exemple, ECG_JEPA pour PTB-XL), leurs performances sont souvent fragiles lorsque la « recette » (spécifiquement la stratégie de masquage et d'augmentation) est transférée à une famille de signaux structurellement différente sans ré-ajustement.

L'article pose une question pratique plus étroite et spécifique : Comment une recette de SSL se comporte-t-elle lorsqu'une configuration spécifique à la méthode est réutilisée inchangée après le changement de la famille de signaux de pré-entraînement ? Plutement que de comparer contre des références optimisées, les auteurs traitent cela comme un « test de résistance à recette fixe » pour mesurer le coût de la dépendance aux invariances spécifiques au domaine (comme la morphologie de l'ECG) lorsqu'elles sont appliquées à de nouveaux types de données.

2. Méthodologie : LeNEPA

Les auteurs introduisent LeNEPA (Latent Euclidean Next-Embedding Prediction Architecture), une architecture SSL légère, sans augmentation, conçue pour produire des plongements de séquences (embeddings) utiles sans nécessiter d'ingénierie de vue par jeu de données.

Architecture Centrale

Backbone (Dorsale) : Un Transformer causal traite une séquence de plongements de patchs générés par des convolutions à foulée (style ViT).
Objectif : Prédiction autoregressive du prochain jeton latent (next-latent-token prediction). À chaque pas de temps $t$ , le modèle prédit le jeton latent à $t+1$ en minimisant l'erreur quadratique moyenne (MSE) dans un espace projeté.
Sans Augmentation : Contrairement aux variantes de JEPA qui reposent sur le masquage ou le recadrage, LeNEPA opère directement sur la séquence brute sans augmentation de données.

Mécanismes de Stabilisation

Une architecture standard de type Next-Embedding Prediction (NEPA) repose généralement sur un réseau enseignant mis à jour via une moyenne mobile exponentielle (EMA) et des arrêts de gradient (stop-gradients) pour éviter l'effondrement. LeNEPA remplace ces éléments par :

SIGReg (Sketched Isotropic Gaussian Regularization) : Au lieu des arrêts de gradient, LeNEPA utilise SIGReg pour régulariser la distribution des plongements de jetons vers une Gaussienne isotrope. Crucialement, les auteurs ont découvert que la SIGReg temporelle (régulariser l'ensemble des jetons au sein de chaque échantillon sur l'axe temporel) est le stabilisateur le plus efficace, empêchant l'effondrement le long de la dimension temporelle là où une régularisation globale échoue.
Régularisation Guillotine : La perte de prédiction est calculée dans un espace projeté léger (utilisant un projecteur $h_\psi$ ). Ce projecteur est jeté lors de l'évaluation, garantissant que les représentations apprises résident dans la dorsale et non dans la tête de projection.

Fonction de Perte

La perte totale combine la perte de prédiction et le terme de régularisation :
$\mathcal{L} = \lambda_{pred}\mathcal{L}_{pred} + \lambda_T \mathcal{L}_{SIG}^{time}$
Où $\mathcal{L}_{pred}$ est la MSE entre la prédiction projetée et la cible projetée (décalée d'un pas), et $\mathcal{L}_{SIG}^{time}$ applique une régularisation isotrope au ensemble de jetons temporels.

3. Protocole d'Évaluation

L'étude emploie deux protocoles d'évaluation distincts pour séparer la portabilité de la recette du transfert de checkpoint :

Réutilisation de la Recette Fixe (PTB-XL vs. Diag) :
- Jeux de données : PTB-XL (ECG réel à 12 dérivations) et Diag (un corpus diagnostique synthétique généré via Aionoscope avec divers types de signaux).
- Configuration : LeNEPA et une ligne de base JEPA sont entraînés indépendamment sur les deux jeux de données.
- Contrainte : Les « recettes » sont fixées sur la base du réglage de PTB-XL. La recette JEPA utilise un calendrier de masquage optimisé pour l'ECG ; LeNEPA utilise sa configuration fixe sans augmentation. Ni l'un ni l'autre n'est ré-ajusté pour Diag.
- Sonde : Des sondes linéaires gelées (frozen linear probes) sont entraînées sur les couches intermédiaires de la dorsale (0–8) pour mesurer la qualité de la représentation.
Vérification de l'Encodeur Gelé (CauKer vers UCR-128) :
- Une variante de LeNEPA pré-entraînée sur le jeu de données CauKer est gelée et évaluée sur l'archive complète UCR-128 à l'aide d'une Forêt Aléatoire, suivant le protocole MantisV2. Cela teste si un encodeur unique sans augmentation peut se généraliser à 128 tâches univariées diverses.

4. Résultats Clés

Réutilisation de la Recette Fixe (PTB-XL vs. Diag)

Fragilité de JEPA : La recette JEPA optimisée pour l'ECG performe fortement sur PTB-XL (domaine d'origine) mais se dégrade significativement lorsqu'elle est réutilisée sans modification sur le jeu de données structurellement différent, Diag. Cela souligne la dépendance de JEPA vis-à-vis des hypothèses d'augmentation spécifiques au domaine.
Robustesse de LeNEPA : LeNEPA préserve des gains utiles sur les sondes gelées sur les deux jeux de données sans modification. Il surpasse la recette JEPA fixe sur Diag, tant en termes de performance finale que de dynamique d'entraînement.
Dynamique d'Apprentissage : LeNEPA démontre une acquisition plus rapide des représentations précoces. Il atteint 80 % de son gain final d'AUROC/AUPRC après seulement 2 à 5k mises à jour, contre 5 à 10k mises à jour pour la lecture JEPA.

Vérification de l'Encodeur Gelé (UCR-128)

Une exécution de LeNEPA-CauKer (graine unique, meilleur checkpoint) atteint 77,65 % de précision moyenne sur UCR-128 en utilisant une Forêt Aléatoire.
Ce résultat se situe à 1,16 point de Mantis (78,81 %) et à 0,24 point de MOMENT (77,89 %), malgré le fait que LeNEPA utilise une dorsale causale, aucune augmentation artisanale et pas de branches de première différence (désavantages structurels par rapport à Mantis pour ce benchmark spécifique).

Ablations et Diagnostics

Sensibilité des Couches : Contra-irement à JEPA, qui culmine souvent dans les couches supérieures, LeNE la et NEPA atteignent des scores de sonde optimaux dans les couches intermédiaires (typiquement $L_4$ ou $L_5$ ). La dernière couche est souvent moins performante, suggérant que les blocs profonds se spécialisent dans la tâche de prédiction tandis que les couches intermédiaires conservent des caractéristiques plus générales.
Axe de la SIGReg : La SIGReg temporelle était le seul placement de régularisation ayant fourni des gains soutenus sur les deux jeux de données.
Projecteur : L'utilisation d'un projecteur jetable (style Guillotine) améliore la performance par rapport au calcul direct de la perte sur la dorsale, validant la séparation de l'espace de perte de l'espace de représentation.

5. Signification et Revendications

L'article conclut que la prédiction de latent sans augmentation est un candidat prometteur pour le SSL de séries temporelles lorsque la contrainte opérationnelle est de réutiliser une recette de SSL avec un minimum d'ingénierie de vue par jeu de données.

Revendications Modestes : Les auteurs déclarent explicitement qu'ils ne prétendent pas créer un nouveau « modèle de fondation » surpassant tous les benchmarks optimisés. Ils démontrent plutôt que la suppression des dépendances d'augmentation réduit la fragilité des recettes de SSL lorsque les familles de signaux changent.
Impact Pratique : Les résultats suggèrent que pour des applications nécessitant un pré-entraînement portable (ex: télémétrie industrielle, finance, physiologie), un objectif sans augmentation comme LeNEPA offre une alternative plus robuste aux variantes de JEPA qui nécessitent une ingénierie de vue méticuleuse et spécifique au domaine.
Limites : L'étude reconnaît que le tokenizer convolutionnel nécessite toujours une conception spécifique au jeu de données (taille du noyau, foulée) et que le corpus synthétique Diag sert de preuve contrôlée plutôt que de substitut direct pour tout transfert diagnostique réel. Le résultat UCR-128 est basé sur une seule graine et le meilleur checkpoint, servant de preuve d'existence plutôt que de revendication définitive sur un classement.

Code Source : Disponible sur https://github.com/langotime/lenepa-milets-2026.