Résumé Technique : Mantis : Un modèle de fondation léger pour la classification de séries temporelles

Énoncé du Problème

Bien que les modèles de fondation aient révolutionné les domaines de la vision et du langage, leur application à la classification de séries temporelles (TSC) reste sous-explorée. La littérature existante se concentre principalement sur la prévision de séries temporelles, utilisant souvent des paradigmes de pré-entraînement (par exemple, la reconstruction masquée ou la modélisation autorégressive) qui sont intrinsèquement mieux adaptés à l'imputation ou à la prédiction plutôt qu'aux tâches discriminatives. De plus, bien que la classification de séries temporelles soit un problème fondamental dans divers domaines tels que la reconnaissance d'activités humaines, la santé, la finance et les neurosciences, il existe une pénurie de modèles de fondation spécifiquement conçus pour cette tâche. En outre, les approches existantes reposent souvent sur le réglage fin (fine-tuning), alors qu'il est nécessaire d'avoir des capacités robustes d'extraction de caractéristiques en zero-shot capables de généraliser sans données étiquetées étendues ou mises à jour de paramètres.

Méthodologie

Les auteurs présentent Mantis, un modèle de fondation léger basé sur les Transformers, pré-entraîné exclusivement sur des données synthétiques via un apprentissage contrastif auto-supervisé. La méthodologie repose sur trois piliers techniques fondamentaux :

1. Tokeniseur de Séries Temporelles Multi-Vues

Pour adapter efficacement l'architecture Transformer aux séries temporelles, Mantis emploie une Unité de Génération de Tokens dédiée qui projette les séquences brutes vers un nombre fixe de tokens (32) afin de contrôler les coûts d'attention. Cette unité traite l'entrée via trois branches parallèles :

• Branche de Signal : Applique une normalisation par instance, suivie d'une convolution et d'un pooling moyen pour extraire des caractéristiques au niveau des patchs.
• Branche Différentielle : Applique la même procédure de partitionnement à la différence temporelle du premier ordre du signal pour encourager la stationnarité et réduire l'influence des tendances à long terme.
• Branche Statistique : Divise le signal brut (non normalisé) en patchs non chevauchants et encode la moyenne et l'écart type de chaque patch à l'aide d'un Encodeur Scalaire Multi-Échelles.
  Ces caractéristiques sont concaténées et projetées linéairement en plongements (embeddings) de tokens.

2. Pré-entraînement Contrastif Synthétique

Contrairement à de nombreux modèles de fondation pré-entraînés sur des jeux de données réels (qui peuvent chevaucher les benchmarks d'évaluation), Mantis est pré-entraîné exclusivement sur des données synthétiques générées par CauKer.

• Objectif : Le modèle est entraîné à l'aide d'une perte contrastive InfoNCE auto-supervisée. Le but est d'apprendre des représentations où les augmentations d'une même série temporelle sont proches (paires positives) tandis que les représentations de séries différentes sont éloignées (paires négatives).
• Augmentation : La stratégie d'augmentation principale est le Random Crop Resize (RCR), qui découpe aléatoirement un segment de la série temporelle et le redimensionne à la longueur d'origine. Cela encourage l'invariance à l'étirement et à la compression temporels, ce qui est crucial pour la classification mais moins adapté à la prévision.
• Raisonnement : Les données synthétiques offrent une grande diversité et une efficacité d'échantillonnage élevée, garantissant que le modèle apprend des représentations généralisables sans fuite de données provenant de benchmarks standards comme UCR ou UEA.

3. Méthodologie de Test Améliorée

Pour combler l'écart de performance entre les modèles de fondation et les approches spécialisées, les auteurs proposent un pipeline d'inférence qui exploite l'encodeur gelé :

• Représentations par Couche : Au lieu de s'appuyer uniquement sur la dernière couche du Transformer, le modèle utilise des représentations de couches intermédiaires. Les expériences montrent que les couches intermédiaires encodent souvent des caractéristiques plus discriminantes pour les tâches de classification, particulièrement à mesure que les données de pré-entraînement augmentent.
• Agrégation de Tokens de Sortie : Les auteurs proposent de concaténer le token [CLS] avec la moyenne des tokens non-classification, capturant des informations complémentaires souvent rejetées dans les Transformers discriminatifs standards.
• Auto-Ensemblement (SE) : La série temporelle d'entrée (et sa différence du premier ordre) est interpolée à plusieurs longueurs de séquence. Comme le nombre de tokens est fixe, varier la longueur d'interpolation modifie le champ récepteur et le chevauchement entre les tokens, générant des embeddings complémentaires qui sont concaténés.
• Fusion d'Embeddings Cross-Modèle : Les embeddings de Mantis sont combinés avec ceux d'autres modèles de fondation (par exemple, des modèles basés sur la vision comme TiViT-H ou TiConvNext) pour exploiter des aspects complémentaires des données de séries temporelles.

Contributions Clés

1. Architecture Mantis : Un modèle de fondation basé sur les Transformers, léger et spécifiquement adapté à la classification de séries temporelles, doté d'une stratégie de tokenisation multi-vues novatrice.
2. Pré-entraînement Synthétique : Démonstration que le pré-entraînement exclusivement sur des données synthétiques via l'apprentissage contrastif produit une forte généralisation zero-shot, surpassant les modèles pré-entraînés sur des données réelles de taille similaire.
3. Optimisation au Temps de Test : Introduction d'une suite de techniques d'inférence (sélection de couches intermédiaires, agrégation de tokens, auto-ensemblement et fusion cross-modèle) qui augmentent considérablement les performances zero-shot sans nécessiter de réglage fin.
4. Performance de l'État de l'Art : Établissement de nouveaux résultats records sur plusieurs benchmarks (UCR, UEA, HAR, EEG).

Résultats Expérimentaux

Des expériences approfondies ont été menées sur quatre collections de jeux de données diversifiés :

• Archive UCR (128 jeux de données univariés) : Mantis et ses variantes (SE-Mantis, modèles fusionnés) ont systématiquement surpassé les modèles de fondation existants (ex: MOMENT, Chronos2, TiRex) et les baselines spécialisées (ex: TS2Vec, Catch22+). Mantis a atteint une précision moyenne de 0,8195 sur l'ensemble du benchmark UCR, dépassant le second meilleur modèle de fondation.
• Archive UEA (27 jeux de données multivariés) : Mantis a nettement surpassé les autres modèles de plus de 2 %, atteignant une précision de 0,7420.
• Reconnaissance d'Activités Humaines (HAR) & EEG : Mantis a démontré des performances solides sur des benchmarks spécifiques au domaine, incluant des données de capteurs inertiels et des signaux d'interface cerveau-machine, surpassant souvent les adaptations de modèles de vision et d'autres TSFM.
• Efficacité : Mantis est hautement efficace, avec seulement 2,2 millions de paramètres (après élagage/pruning), et des temps d'inférence comparables aux baselines statistiques comme Catch22+.

Signification et Revendications

L'article affirme que Mantis établit un nouvel état de l'art pour la classification de séries temporelles en zero-shot, démontrant que :

• Le Pré-entraînement Spécifique à la Tâche Compte : Les modèles pré-entraînés avec des objectifs alignés sur la classification (perte contrastive) et des architectures adaptées à la TSC surpassent les modèles de prévision à usage général.
• Les Données Synthétiques sont Viables : Le pré-entraînement sur des données synthétiques est une stratégie hautement efficace en termes d'échantillonnage qui évite la fuite de données et impose une généralisation robuste hors distribution (out-of-distribution).
• Les Couches Intermédiaires sont Critiques : Les "lois d'échelle" (scaling laws) du pré-entraînement en classification de séries temporelles sont débloquées au moment du test en exploitant les représentations des couches intermédiaires plutôt que la seule couche finale.
• Déploiement Léger : Une haute performance peut être obtenue avec des modèles légers qui ne nécessitent pas de réglage fin intensif, facilitant le déploiement dans des environnements aux ressources limitées.

Les auteurs soulignent que leur travail comble le fossé entre le succès des modèles de fondation dans d'autres modalités et les besoins spécifiques de la classification de séries temporelles, offrant une solution robuste, légère et généralisable pour divers domaines d'application.