Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

Le papier présente AxonAD, un détecteur d'anomalies non supervisé pour les séries temporelles multivariées qui améliore la détection des ruptures de dépendances structurelles en combinant l'erreur de reconstruction avec un score de mismatch basé sur la prévisibilité des vecteurs de requête de l'attention.

L'essentiel

🚗 Le Problème : Quand la voiture "ment" sans crier

Imaginez que vous conduisez une voiture autonome. Normalement, tout est synchronisé : si vous tournez le volant à gauche, la voiture tourne à gauche. Si vous appuyez sur l'accélérateur, elle va plus vite.

Les systèmes de surveillance actuels fonctionnent un peu comme un mécanicien qui écoute le moteur. Si le moteur fait un bruit bizarre (une amplitude anormale), il sonne l'alarme.

Mais voici le piège : parfois, le moteur ne fait aucun bruit bizarre. Les pièces fonctionnent parfaitement. Le problème, c'est la coordination.

• Exemple : Le volant tourne à gauche, mais la voiture continue tout droit.
• Exemple : Le conducteur accélère, mais la voiture ne bouge pas.

Pour un système classique, tout semble "normal" car chaque pièce fonctionne dans ses limites. Mais pour un humain, c'est une catastrophe imminente. C'est ce qu'on appelle une anomalie de coordination. Les anciens détecteurs la ratent souvent.

🕵️‍♂️ La Solution : AxonAD, le détective de la "prévisibilité"

Les chercheurs (de Mercedes-Benz et d'une université allemande) ont créé un nouveau détecteur appelé AxonAD. Au lieu de juste écouter les bruits, il écoute la pensée du système.

Voici comment cela fonctionne, avec une analogie simple :

1. Le "Cerveau" qui anticipe (La Dynamique Prévisible)

Imaginez que vous regardez un film. Si vous connaissez bien l'histoire, vous pouvez prédire la prochaine phrase du personnage.

• En temps normal : Le système de la voiture "sait" ce qui va se passer. Si le volant tourne, il s'attend à ce que l'accélération change d'une certaine manière. C'est prévisible.
• En cas d'anomalie : Soudain, le volant tourne mais rien ne se passe. Le système dit : "Attends, j'avais prévu que la voiture bouge, mais elle ne bouge pas ! Mon attente (ma 'prédiction') ne correspond pas à la réalité."

AxonAD ne regarde pas seulement les chiffres (la vitesse, l'angle), il regarde l'attention du modèle. Il se demande : "Est-ce que ce que le système va 'regarder' ensuite est logique par rapport à ce qu'il a vu avant ?"

2. Les Deux Gardes du Corps

AxonAD utilise deux gardes du corps qui surveillent la situation en même temps :

• Le Garde "Reconstruction" (Le Mécanicien) : Il essaie de recréer la scène exacte. "Si je vois le volant tourner, je dois pouvoir dessiner la voiture qui tourne." Si le dessin est moche, il y a un problème.
• Le Garde "Prédiction" (Le Psychologue) : C'est la nouveauté. Il essaie de deviner ce que le système va faire attention à la seconde suivante.
  • Si le système est normal, le garde dit : "Ah oui, la prochaine chose logique est de regarder l'accélération."
  • Si le système est en panne (coordination brisée), le garde dit : "Hé ! J'avais prévu de regarder l'accélération, mais le système regarde quelque chose d'autre ! C'est bizarre !"

3. Le Score Final : La Somme des Soupçons

À la fin, AxonAD additionne les deux soupçons :

• Si le dessin est moche OU si la prédiction est fausse = ALERTE !
• C'est comme si vous aviez deux amis qui vous disent : "Ça a l'air bizarre" et "Ça ne correspond pas à ce qu'on attendait". Même si l'un des deux se trompe, l'autre vous sauve.

🎯 Pourquoi c'est génial ?

1. Il ne se fait pas avoir par le silence : Même si les valeurs (vitesse, angle) sont normales, s'il y a une rupture dans la logique (la coordination), AxonAD le sent immédiatement. C'est comme sentir qu'une conversation est faussée même si les mots sont corrects.
2. Il apprend tout seul : Il n'a pas besoin qu'on lui montre des exemples de pannes. Il apprend simplement comment la voiture se comporte quand tout va bien, et il sonne l'alarme dès que ça dévie de cette "mémoire".
3. Il est rapide : Il peut analyser des milliers de données en une fraction de seconde, ce qui est crucial pour des voitures qui roulent à 100 km/h.

🏆 Les Résultats

Sur des données réelles de voitures Mercedes et sur des bases de données publiques, AxonAD a battu tous les autres détecteurs.

• Il a trouvé beaucoup plus de pannes cachées (les ruptures de coordination).
• Il a mieux localisé quand la panne a commencé.

En résumé

Imaginez un détective qui ne se contente pas de vérifier si les suspects ont des armes (les valeurs anormales), mais qui vérifie aussi si leur comportement est cohérent avec leur histoire (la coordination). AxonAD, c'est ce détective pour les voitures autonomes : il repère les mensonges subtils de la machine avant qu'ils ne deviennent des accidents.

Résumé technique

1. Problématique

La détection d'anomalies dans les séries temporelles multivariées (comme les données de télémétrie des véhicules autonomes) fait face à une limitation majeure des approches actuelles basées sur la reconstruction résiduelle.

• La limite des méthodes résiduelles : Les modèles flexibles (comme les auto-encodeurs ou les Transformers) peuvent souvent reconstruire avec précision les valeurs de chaque canal individuel, même lorsque la coordination structurelle entre les canaux est rompue. Par exemple, une commande de direction peut être cohérente en amplitude mais ne plus produire l'accélération latérale attendue.
• Le défi : Détecter ces "ruptures de coordination" où les amplitudes des signaux restent dans des plages normales, mais où les dépendances croisées (inter-canaux) changent de manière anormale. Les méthodes classiques manquent souvent ces anomalies car leur score d'anomalie repose uniquement sur l'erreur de reconstruction.

2. Méthodologie : AxonAD

L'auteur propose AxonAD, un détecteur non supervisé qui traite l'évolution des vecteurs de requête (query vectors) dans les mécanismes d'attention comme un processus prévisible à court terme. L'idée centrale est que, dans des dynamiques nominales, les requêtes qui guident l'attention évoluent de manière prévisible ; une anomalie structurelle perturbe cette prévisibilité.

L'architecture repose sur trois composantes principales (voir Figure 2 de l'article) :

1. Voie de Reconstruction (Online) :

   • Utilise une attention auto-attention bidirectionnelle pour reconstruire la fenêtre d'entrée $X$.
   • Calcule un score d'erreur de reconstruction ($d_{rec}$) basé sur l'erreur quadratique moyenne (MSE).

2. Voie Prédictive d'Attention (History-Only) :

   • Un prédicteur causal (réseau de convolution temporel) prend en entrée un flux d'embeddings décalé dans le temps (pour éviter la fuite d'information vers le futur).
   • Il prédit l'évolution future des vecteurs de requête ($\hat{q}_{pred}$) sur un horizon court, sans prédire les clés, les valeurs ou les poids d'attention eux-mêmes.

3. Encodeur Cible EMA (Exponential Moving Average) :

   • Un encodeur cible avec des paramètres $\theta_{tgt}$ mis à jour via une moyenne mobile exponentielle (EMA) des paramètres en ligne.
   • Il génère des requêtes cibles stables ($q_{tgt}$) pour servir de référence lors de l'entraînement.

Entraînement et Inférence :

• Objectif d'entraînement : Minimiser l'erreur de reconstruction ET une perte de similarité cosinus masquée (style JEPA) entre les requêtes prédites et les requêtes cibles EMA. Seule la partie prédictive est mise à jour (le gradient est bloqué sur la cible).
• Score d'anomalie final : À l'inférence, le score final $S$ est la somme de deux composantes normalisées de manière robuste (médiane et IQR) :
  $$S = r_z(d_{rec}) + r_z(d_q)$$
  Où $d_q$ est le score de mismatch de requête, calculé comme la distance cosinus moyenne entre les requêtes prédites et les requêtes cibles sur les derniers pas de temps (queue de la fenêtre).

3. Contributions Clés

• Prévisibilité des Requêtes : Introduction d'une nouvelle perspective où les vecteurs de requête sont traités comme un signal temporel prévisible plutôt que comme une décision de routage ponctuelle. Cela rend le modèle sensible aux changements structurels même si les amplitudes sont normales.
• Score de Mismatch de Requête : Utilisation de la distance cosinus dans l'espace des requêtes comme signal d'anomalie complémentaire aux résidus de reconstruction. Ce score capture spécifiquement les ruptures de dépendance.
• Schéma d'Entraînement Stable : Utilisation d'un encodeur cible EMA et d'une supervision masquée dans l'espace des requêtes, évitant la supervision directe sur les cartes d'attention ou les valeurs de sortie, ce qui stabilise l'apprentissage.
• Combinaison Robuste : Une méthode de normalisation robuste permettant de combiner efficacement les scores de reconstruction et de mismatch sans nécessiter d'étalonnage basé sur des étiquettes.

4. Résultats Expérimentaux

Les évaluations ont été menées sur deux jeux de données :

1. Télémétrie propriétaire (Véhicules) : 80 000 pas de temps, 19 canaux. Les anomalies sont principalement des ruptures de coordination (ex: direction vs accélération).
2. TSB-AD Benchmark : Suite multivariée standardisée (17 jeux de données, 180 séries temporelles).

Performances :

• Sur la télémétrie : AxonAD surpasse largement les meilleures méthodes de base (SISVAE, LSTMAD).
  • Gain de 2,2x sur l'AUC-PR (0,285 vs 0,128).
  • Gain de 1,6x sur le Event-F1 (0,420 vs 0,255), indiquant une meilleure localisation temporelle des anomalies.
• Sur TSB-AD : AxonAD obtient les meilleurs scores moyens sur les métriques sans seuil (AUC-PR : 0,437, VUS-PR : 0,493) et sur la localisation de plage (Range-F1 : 0,471).
• Ablations : Les études montrent que la prédiction des requêtes est supérieure à la prédiction des clés, des valeurs ou des états cachés. La combinaison des deux scores (reconstruction + mismatch) est essentielle pour couvrir tous les types d'anomalies.
• Efficacité : Latence d'inférence très faible (0,069 ms par fenêtre), compatible avec le temps réel pour la surveillance de flotte.

5. Signification et Impact

Ce travail démontre que l'analyse de la dynamique interne des modèles d'attention (spécifiquement l'évolution des requêtes) offre un signal d'anomalie puissant et complémentaire aux méthodes traditionnelles basées sur la reconstruction des données brutes.

• Pour l'industrie automobile : La méthode est particulièrement adaptée à la détection de défauts subtils dans les systèmes complexes où les capteurs restent dans leurs plages nominales mais perdent leur synchronisation (ex: problèmes de transmission, de direction ou de freinage).
• Généralisation : La capacité à détecter des anomalies structurelles sans étiquettes et à s'adapter à divers domaines (TSB-AD) suggère une applicabilité large pour la surveillance de systèmes critiques.
• Innovation Conceptuelle : L'article propose un changement de paradigme en utilisant la "surprise" de l'attention (l'imprévisibilité des requêtes) comme indicateur de défaut, plutôt que de se fier uniquement à la capacité du modèle à reconstruire les données d'entrée.