UTICA: Multi-Objective Self-Distllation Foundation Model Pretraining for Time Series Classification

Ce papier présente UTICA, un modèle fondation pour la classification de séries temporelles pré-entraîné via une auto-distillation non contrastive de style DINOv2, qui atteint des performances de pointe sur les benchmarks UCR et UEA en apprenant des représentations combinant invariance temporelle et structure locale fine.

L'essentiel

🕵️‍♂️ Le Détective des Données : L'histoire d'Utica

Imaginez que vous avez une montagne de données temporelles : des battements de cœur, des cours boursiers, des capteurs de température ou des signaux sismiques. Ces données sont comme des chansons qui racontent une histoire dans le temps.

Le problème ? La plupart des "super-intelligences" (les modèles d'IA) actuelles sont formées pour prédire la prochaine note de la chanson (ce qui va se passer demain). C'est bien pour la météo, mais terrible pour comprendre la chanson elle-même (diagnostiquer une maladie, détecter une panne, classer un type de mouvement).

C'est ici qu'intervient Utica, le nouveau détective proposé par les chercheurs.

1. Le Problème : La "Mauvaise Hypothèse" des anciens détectifs

Jusqu'à présent, pour apprendre à ces IA à comprendre les données, on utilisait une méthode appelée "apprentissage contrastif".

• L'analogie : Imaginez un professeur qui montre deux photos à un élève et dit : "Regarde, ces deux photos sont du même chien (positif), mais celle-ci est différente (négatif)."
• Le souci : Avec les séries temporelles, c'est comme si le professeur disait : "Ce battement de cœur est différent de celui de ton voisin." Mais si votre voisin a le même rythme cardiaque que vous, l'IA se trompe ! Elle pense qu'ils sont différents alors qu'ils sont similaires. Cela crée de la confusion.

2. La Solution : Utica, l'élève qui apprend tout seul

Les chercheurs ont décidé de changer de méthode. Au lieu de comparer des données entre elles (ce qui est risqué), ils ont créé Utica, un modèle qui apprend en se regardant dans le miroir, un peu comme un artiste qui dessine son propre portrait.

Ils s'inspirent d'une technique célèbre en vision par ordinateur (DINOv2) et l'adaptent aux données temporelles. Voici comment ça marche, avec deux astuces magiques :

A. Le jeu des "Crops" (Les morceaux de puzzle)
Imaginez que vous avez une longue bande de dessin animé.

• La vue globale : Utica regarde la bande entière (ou un gros morceau) pour comprendre l'histoire globale.
• La vue locale : Utica regarde aussi de tout petits détails (un seul cadre du dessin).
• L'astuce : L'IA doit apprendre que le petit détail fait partie de la grande histoire, même si on le regarde de loin ou de très près. C'est comme comprendre qu'une feuille (local) fait partie d'un arbre (global), peu importe si on zoome ou non.

B. Le jeu du "Cache-cache" (Le Masquage)
C'est la deuxième astuce.

• Imaginez que vous cachez une partie du dessin animé avec un post-it.
• L'élève (Student) doit deviner ce qui se cache sous le post-it en regardant le reste du dessin.
• Le maître (Teacher) a la réponse complète (il voit tout le dessin).
• L'élève essaie de deviner, le maître corrige doucement. Cela force l'IA à comprendre la structure fine et les détails cachés, pas juste la surface.

3. Le Résultat : Un champion polyvalent

En combinant ces deux jeux (regarder de loin/près et deviner les parties cachées), Utica apprend à comprendre les données de manière très profonde.

• Le test : Les chercheurs l'ont mis à l'épreuve sur deux immenses bibliothèques de données (UCR et UEA), qui contiennent des milliers de problèmes différents (de la reconnaissance de la parole à l'analyse médicale).
• Le verdict : Utica a gagné la plupart des courses ! Il est plus performant que les anciens champions (comme Mantis ou Moment), que ce soit en "faisant des devinettes" (frozen) ou en "apprenant sur le tas" (fine-tuning).

🎯 En résumé, pourquoi c'est génial ?

Pensez à Utica comme à un chef cuisinier qui ne se contente pas de suivre une recette (prédire le futur).

• Il goûte le plat (les données) sous tous les angles.
• Il comprend les épices cachées (les détails locaux).
• Il comprend l'équilibre global du plat (la structure temporelle).

Grâce à cette méthode, il devient capable de dire : "Ah, ce plat a un goût de 'panne électrique' !", même s'il n'a jamais vu exactement ce plat avant, juste en ayant appris à comprendre la "cuisine" des données temporelles.

C'est une avancée majeure car cela montre qu'on n'a pas besoin de comparer des données entre elles pour apprendre, mais qu'on peut apprendre en observant et en reconstruisant la réalité, ce qui est beaucoup plus sûr et efficace pour les données complexes comme les séries temporelles.

Résumé technique

1. Problématique et Contexte

Le domaine des Modèles Fondamentaux pour les Séries Temporelles (TSFM) a connu une croissance rapide, mais la majorité des approches actuelles se concentrent sur la prévision (forecasting). Ces modèles utilisent souvent des objectifs de type autoregressif, supervisé ou de reconstruction masquée (comme les auto-encodeurs masqués).

Cependant, pour des tâches de classification (détection de pannes, diagnostics cardiovasculaires, décodage EEG), ces objectifs présentent des limites :

• Ils privilégient la cohérence temporelle locale au détriment de la structure sémantique globale.
• Les méthodes de apprentissage contrastif (comme Mantis), bien que performantes, reposent sur l'hypothèse risquée que tous les échantillons d'un batch sont sémantiquement distincts. Dans les séries temporelles, où des échantillons peuvent partager des dynamiques ou des structures fréquentielles similaires, cela génère des faux négatifs, nuisant à la qualité des représentations apprises.

L'objectif de ce travail est d'explorer les méthodes non-contrastives (auto-distillation), qui ont connu un grand succès en vision par ordinateur (ex: DINOv2), pour pré-entraîner un modèle fondamental dédié à la classification de séries temporelles.

2. Méthodologie : Utica

Les auteurs proposent Utica, un modèle fondamental basé sur une architecture Transformer, pré-entraîné via une stratégie d'auto-distillation multi-objectifs inspirée de DINOv2.

Architecture

• Backbone : Un encodeur Transformer classique (6 couches, dimension cachée $D=256$).
• Générateur de Tokens (Mantis) : Utilise le générateur de tokens de Mantis pour transformer les séries univariées en entrées de Transformer. Il combine trois transformations complémentaires :
  1. La série normalisée par instance.
  2. La dérivée première (pour capturer la stationnarité).
  3. Les encodages patch-level de la moyenne et de l'écart-type des segments bruts.
• Token [CLS] : Un token apprenable est ajouté pour représenter l'embedding global de la séquence.

Pré-entraînement et Données

• Données Synthétiques : Le modèle est pré-entraîné exclusivement sur des données synthétiques générées via un Graphe Acyclique Dirigé (DAG) causal. Les nœuds racines suivent des Processus Gaussiens (GP) avec des noyaux de covariance et des fonctions de moyenne non stationnaires aléatoires. Les nœuds non-racines sont générés par des combinaisons linéaires pondérées et des non-linéarités.
• Cadre Étudiant-Professeur (Student-Teacher) :
  • Le Professeur a des poids mis à jour par une moyenne mobile exponentielle (EMA) des poids de l'Étudiant.
  • L'Étudiant voit toutes les vues augmentées, tandis que le Professeur ne voit que les vues globales.

Objectifs de Perte (Loss Functions)

La perte totale $L$ est la somme de trois composantes :
$$L = L_{DINO} + L_{iBOT} + 0.1 \times L_{KoLeo}$$

1. Perte DINO (Alignement Global et Local) :

   • Utilise une stratégie de multi-crop : 2 vues globales (40-100% de la séquence) et 8 vues locales (10-40%).
   • Minimise la divergence entre les distributions de probabilité du token [CLS] de l'Étudiant et du Professeur.
   • Encourage l'invariance à l'échelle temporelle et au bruit local.
   • Le Professeur utilise l'algorithme Sinkhorn-Knopp pour centrer et affiner les cibles, évitant l'effondrement (collapse) des représentations.

2. Perte iBOT (Reconstruction Locale Dense) :

   • Applique un masquage de patchs (ratio aléatoire entre 10% et 70%) aux vues globales de l'Étudiant.
   • L'Étudiant doit prédire la distribution des tokens des patchs masqués, tandis que le Professeur observe la séquence complète non masquée.
   • Cela force le modèle à apprendre des caractéristiques locales fines et la structure interne des segments.

3. Régularisateur KoLeo (Kozachenko-Leonenko) :

   • Appliqué aux tokens [CLS] globaux de l'Étudiant avant la projection.
   • Estimé l'entropie différentielle pour encourager une distribution uniforme des caractéristiques dans le batch, empêchant ainsi l'effondrement des représentations.

3. Contributions Clés

1. Adaptation de DINOv2 aux Séries Temporelles : Première application réussie d'une architecture de distillation non-contrastive (DINOv2) combinée à un objectif de reconstruction masquée (iBOT) spécifiquement pour la classification de séries temporelles.
2. Stratégie d'Augmentation Hybride : Combinaison innovante de croppings multi-échelles (pour l'invariance globale) et de masquage de patchs (pour la compréhension locale), surpassant les approches utilisant une seule stratégie.
3. Pré-entraînement sur Données Synthétiques : Démonstration qu'un modèle fondamental peut être pré-entraîné efficacement uniquement sur des données synthétiques générées par un DAG causal, éliminant le besoin de vastes corpus de données réelles étiquetées ou non.
4. Performance État-de-l'Art (SOTA) : Le modèle Utica établit de nouveaux records sur les benchmarks UCR et UEA, surpassant des modèles massifs comme Moment (385M paramètres) et des modèles contrastifs comme Mantis.

4. Résultats Expérimentaux

Les expériences ont été menées sur les archives UCR (128 jeux de données univariées) et UEA (21 jeux de données multivariées), avec deux régimes d'évaluation : Linear Probing (représentations gelées) et Fine-tuning (entraînement complet).

• UCR (Linear Probing) : Utica atteint une précision moyenne de 0.794 (52 victoires sur 128 jeux de données), surpassant Mantis (0.792) et Moment (0.779).
• UCR (Fine-tuning) : Utica atteint 0.857 (60 victoires), contre 0.850 pour Mantis.
• UEA : Utica obtient le meilleur rang moyen dans les deux régimes (1.60 en Linear Probing, 1.50 en Fine-tuning).
• Étude d'Ablation : La combinaison des pertes DINO et iBOT est cruciale. Utiliser uniquement l'un ou l'autre (DINO+KoLeo ou iBOT+KoLeo) donne des performances nettement inférieures (0.747 et 0.735 respectivement) par rapport à la combinaison complète (0.794). Utica surpasse également l'approche data2vec adaptée aux séries temporelles de +1.38%.

5. Signification et Conclusion

Ce travail démontre que les méthodes non-contrastives sont une stratégie de pré-entraînement prometteuse et complémentaire pour les modèles fondamentaux de séries temporelles. En évitant les hypothèses de négatifs faux inhérentes aux méthodes contrastives, Utica apprend des représentations plus robustes, invariantes à l'échelle et riches en détails locaux.

L'approche suggère que l'avenir des TSFM pour la classification ne réside pas nécessairement dans l'augmentation massive des paramètres ou des données réelles, mais dans l'ingénierie d'objectifs d'apprentissage auto-supervisé plus sophistiqués (distillation multi-vues + reconstruction) et l'utilisation efficace de données synthétiques générées causalement. Les auteurs prévoient d'explorer d'autres architectures de backbone et le passage à l'échelle des paramètres dans leurs travaux futurs.