Résumé Technique : ChronosAD

Énoncé du Problème

La détection d'anomalies dans les séries temporelles est critique dans des domaines tels que la finance, la santé et l'industrie, pourtant les méthodes existantes font face à des défis importants en matière de généralisation. Les approches actuelles sont souvent adaptées à des domaines spécifiques, s'appuyant sur des caractéristiques extraites manuellement ou des heuristiques propres au domaine, ce qui limite la scalabilité. De plus, bien que des modèles de fondation pour séries temporelles aient émergé, ils présentent deux limitations principales pour les tâches de détection d'anomalies :

1. Focus Univarié : La plupart des modèles de fondation sont conçus pour des contextes univariés, échouant à modéliser explicitement les relations inter-canaux (inter-variables) essentielles pour les systèmes multivariés complexes.
2. Biais de Prévision : Ces modèles sont principalement optimisés pour la prévision de signaux, où leurs performances peuvent être limitées dans des contextes difficiles, plutôt que pour la tâche distincte de la détection d'anomalies.

Par conséquent, il existe un besoin pour une architecture qui exploite les représentations généralisables des modèles de fondation tout en répondant aux exigences spécifiques de la détection d'anomalies multivariées avec un minimum de réglage spécifique à la tâche.

Méthodologie : ChronosAD

Le document propose ChronosAD, une nouvelle architecture à deux étapes qui utilise un modèle de fondation de séries temporelles comme extracteur de caractéristiques zero-shot, suivi d'un module de raffinement personnalisé.

1. Formulation du Problème

L'entrée est une série temporelle multivariée $X \in \mathbb{R}^{C \times L_{total}}$, où $C$ est le nombre de canaux et $L_{total}$ est la longueur totale. La série est segmentée en fenêtres non chevauchantes de longueur $l$. L'objectif est de classifier chaque segment comme normal ($0$) ou anormal ($1$) à l'aide d'une fonction de score $f$.

2. Pipeline à deux étapes

Étape 1 : Extraction de Caractéristiques Zero-Shot (Encodeur Chronos)

• Le modèle emploie Chronos [10], un modèle de fondation de séries temporelles pré-entraîné, comme encodeur gelé.
• Chaque canal univarié de l'entrée multivariée est traité indépendamment via l'encodeur Chronos pour générer des vecteurs d'incorporation (embeddings) de dimension fixe ($E_c$).
• Facteur d'Échelle : Chronos fournit un facteur d'échelle $s$ pour chaque instance, calculé comme la moyenne des valeurs absolues au sein de la fenêtre de contexte (pondérée par un masque d'attention). Cela capture l'échelle naturelle des données, favorisant la généralisation à travers différents jeux de données avec des magnitudes variables.
• Prétraitement : Avant d'entrer dans la seconde étape, les embeddings subissent une normalisation L2 pour standardiser les magnitudes et une activation SeLU pour assurer un flux de gradient stable et atténuer la disparition du gradient.

Étape 2 : Raffinement Temporel (Bloc Temporel)

• Un Bloc Temporel personnalisé traite les embeddings normalisés pour capturer les dépendances temporelles et les interactions inter-canaux.
• BiLSTM : La séquence est traitée par des réseaux de mémoire à court et long terme bidirectionnels (BiLSTM) pour encoder les caractéristiques temporelles avant et arrière ($h_c$).
• Attention Multi-Têtes : La sortie du BiLSTM est raffinée à l'aide d'un mécanisme d'attention multi-têtes. Les requêtes ($Q$), les clés ($K$) et les valeurs ($V$) sont dérivées des états cachés pour calculer les poids d'attention, mettant en évidence les motifs saillants.
• Agrégation : Les sorties de l'attention sont moyennées et sommées pour réduire la dimensionnalité, suivies d'une couche linéaire pour produire un embedding raffiné ($e_c$).
• Fusion : Le facteur d'échelle $s$ est concaténé à l'embedding raffiné. Enfin, les embeddings de tous les $C$ canaux sont concaténés le long de la dimension des caractéristiques et passés à travers un réseau entièrement connecté (FCN) pour produire le score d'anomalie final.

Entraînement : Le modèle est entraîné dans un cadre supervisé en utilisant une perte de l'entropie croisée binaire pondérée (WBCE).

Contributions Clés

1. Architecture Novatrice : ChronosAD introduit un pipeline à deux étapes qui adapte efficacement un modèle de fondation de séries temporelles (Chronos) pour la détection d'anomalies, en le traitant comme un extracteur de caractéristiques zero-shot plutôt que comme un moteur de prévision.
2. Adaptation Multivariée : Contrairement aux modèles de fondation univariés standards, ChronosAD emploie une architecture multi-chemins avec fusion de canaux, modélisant explicitement les interactions inter-canaux aux côtés de la dynamique temporelle.
3. Bloc Temporel Personnalisé : L'intégration du BiLSTM et de l'attention multi-têtes permet au modèle de raffiner les embeddings du modèle de fondation, capturant à la fois les dépendances temporelles bidirectionnelles et les motifs saillants spécifiques à la détection d'anomalies.
4. Réglage Minimal : L'approche nécessite un minimum de réglage spécifique à la tâche, exploitant les connaissances pré-entraînées du modèle de fondation pour une généralisation robuste.

Résultats Expérimentaux

Les auteurs ont évalué ChronosAD sur 11 benchmarks diversifiés, incluant des jeux de données de l'archive UCR, industriels réels (CWRU), médicaux (MIT-BIH) et cyber-physiques (SWaT). Le modèle a été comparé à 11 méthodes de pointe (ex: AnoGAN, Deep-SVDD, USAD, KalmanAE).

• Performance : ChronosAD a surpassé les méthodes existantes avec une moyenne de 4,72 % en AUC et 6,60 % en AP.
• Réalisations Spécifiques :
  • A atteint des scores quasi parfaits ou parfaits (AUC $\approx$ 100 %) sur des jeux de données comme TwoPatterns, FordA et CWRU.
  • A démontré une robustesse sur des jeux de données multivariés complexes comme SWaT et des données médicales comme MIT-BIH.
• Étude d'Ablation :
  • L'encodeur Chronos a été identifié comme le composant le plus critique ; son retrait a provoqué une chute significative des performances (AUC $\downarrow$ 18,34 %).
  • La normalisation L2 et les mécanismes d'attention étaient également cruciaux, leur suppression entraînant des baisses de performance notables.
  • Les autres composants (SeLU, BiLSTM, Facteur d'Échelle) ont apporté des améliorations incrémentales mais mesurables en termes de stabilité et de précision.
• Analyse de l'Espace Latent : Les visualisations t-SNE montrent que le modèle sépare avec succès les points normaux et anormaux en clusters distincts, avec des variétés (manifolds) claires même dans des jeux de données complexes.

Signification et Revendications

Le document positionne ChronosAD comme une étude préliminaire démontrant la viabilité de l'adaptation des modèles de fondation de séries temporelles pour les tâches de détection d'anomalies en aval.

• Validation des Modèles de Fondation : Les résultats valident que les modèles de fondation, lorsqu'ils sont couplés à des couches de raffinement appropriées, peuvent servir de puissants extracteurs de caractéristiques généralisables pour la détection d'anomalies à travers divers domaines (industriel, médical, automobile, cyber-physique).
• Contexte Supervisé : Les auteurs cadrent explicitement ce travail dans un contexte supervisé pour faciliter l'évaluation initiale. Ils reconnaissent que la détection d'anomalies est traditionnellement non supervisée et notent que, bien que les données étiquetées soient rares, les technologies émergentes comme les jumeaux numériques rendent leur acquisition plus réalisable.
• Voie Future : Les auteurs affirment que ces résultats servent à valider leur approche comme une « voie viable pour une investigation future plus rigoureuse », suggérant spécifiquement que les travaux futurs se concentreront sur l'extension de l'approche vers des environnements non supervisés afin de permettre des comparaisons directes avec les bases non supervisées dominantes.

Le document conclut que ChronosAD ouvre la voie à de futures recherches sur la détection d'anomalies non supervisée utilisant les modèles de fondation, offrant une alternative robuste aux heuristiques actuelles spécifiques au domaine.