Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

Il paper introduce AxonAD, un rilevatore di anomalie non supervisionato per serie temporali multivariate che combina l'errore di ricostruzione con una misura di discrepanza nell'evoluzione delle query dell'attenzione per identificare efficacemente sia le deviazioni strutturali tra i canali che le variazioni di ampiezza.

L'essenziale

🚗 Il Problema: L'Auto che "Mente" con i Dati

Immagina di guidare un'auto moderna. L'auto è piena di sensori: sterzo, acceleratore, freni, velocità laterale. Normalmente, questi sensori lavorano in perfetta armonia, come un'orchestra. Se giri il volante a sinistra, l'auto si sposta a sinistra. È una "coreografia" perfetta.

Ora, immagina un guasto strano:

• L'auto gira il volante a sinistra (il comando è normale).
• Ma l'auto non si sposta a sinistra (la reazione è sbagliata).
• Tuttavia, i numeri sui singoli sensori (la posizione dello sterzo, la velocità) sembrano tutti normali. Non c'è nessun valore "fuori scala" o rosso lampeggiante.

I vecchi sistemi di allarme guardano solo se un singolo numero è troppo alto o troppo basso (come se guardassero solo se il violino suona troppo forte). Se i numeri sono normali, pensano che tutto vada bene. Ma in realtà, l'orchestra sta suonando una canzone sbagliata: la relazione tra i sensori è rotta. Questo è il tipo di guasto che AxonAD deve trovare.

---

🧠 La Soluzione: AxonAD, il "Profeta" dell'Attenzione

Gli autori hanno creato un nuovo sistema chiamato AxonAD. Per capire come funziona, usiamo due metafore:

1. Il "Cervello" che prevede il futuro (La Dinamica delle Query)

Immagina che il sistema di intelligenza artificiale abbia un "cervello" che osserva i dati e decide su cosa concentrarsi. In termini tecnici, questo cervello usa delle "Query" (domande) per chiedere ai dati: "Su quale parte del segnale devo guardare adesso?".

In una situazione normale, queste domande seguono un ritmo prevedibile, come i passi di un ballerino che sa esattamente dove metterà il piede dopo.

• Il trucco di AxonAD: Invece di guardare solo i dati grezzi, AxonAD guarda come il cervello si muove.
• Crea un "doppio" del sistema: uno che guarda il presente e uno che cerca di prevedere il futuro basandosi solo sul passato.
• Se il sistema sta funzionando bene, la previsione del futuro corrisponde perfettamente alla realtà.
• Se c'è un guasto "invisibile" (come lo sterzo che non gira l'auto), il "doppio" che prevede il futuro dirà: "Aspetta, secondo la mia esperienza, ora dovresti guardare qui!", ma il sistema reale guarderà altrove. C'è un disallineamento.

Questo disallineamento è come se il ballerino facesse un passo previsto, ma improvvisamente scivolasse in una direzione diversa. Anche se i suoi piedi sembrano normali, il movimento è rotto. AxonAD rileva questo "scivolamento" mentale.

2. Due Sentinelle che lavorano insieme

Il sistema usa due metodi di controllo contemporaneamente, come due guardie di sicurezza:

• Sentinella A (Ricostituzione): Guarda i dati e cerca di ricostruirli. Se i dati sono strani, la ricostruzione viene male (come cercare di ricomporre un puzzle rotto).
• Sentinella B (Previsione delle Query): Guarda la "mente" del sistema (le query). Se la mente del sistema si comporta in modo inaspettato rispetto al passato, suona l'allarme.

Alla fine, AxonAD somma i segnali di entrambe le sentinelle. Se una delle due dice "C'è qualcosa che non va", il sistema lancia l'allarme. Questo permette di catturare sia i guasti evidenti (rumore forte) sia quelli subdoli (rotture di coordinazione).

---

🏆 I Risultati: Perché è meglio degli altri?

Gli autori hanno testato AxonAD su dati reali di auto (telemetria) e su molti altri dataset pubblici.

• Nei dati delle auto: AxonAD ha battuto tutti gli altri sistemi, trovando guasti che gli altri ignoravano completamente. È stato come avere un meccanico che sente il "rumore" nel motore anche quando il tachimetro segna tutto normale.
• Velocità: È incredibilmente veloce. Una volta addestrato, può controllare migliaia di finestre di dati in un secondo, perfetto per essere usato in tempo reale su un'auto in movimento.

💡 In Sintesi

Immagina di dover controllare se un'orchestra sta suonando bene.

• I metodi vecchi controllano se ogni musicista sta suonando la nota giusta.
• AxonAD controlla se i musicisti stanno ascoltandosi a vicenda. Se il violino suona la nota giusta ma non guarda il direttore d'orchestra, AxonAD lo sa subito, anche se la nota è perfetta.

È un sistema che non si fida solo dei numeri, ma capisce la logica e la relazione tra i dati, rendendolo molto più intelligente nel trovare guasti nascosti.

Sommario tecnico

1. Il Problema: Anomalie di Coordinazione nei Dati Multivariati

Il paper affronta una limitazione fondamentale dei rilevatori di anomalie tradizionali nelle serie temporali multivariati, specialmente in contesti critici come la guida autonoma e il monitoraggio dei veicoli.

• Limitazione degli approcci basati su residui: I metodi esistenti si basano spesso sulla ricostruzione del segnale o sulla previsione dei valori. Se un modello flessibile riesce a ricostruire accuratamente i valori di ciascun canale (ampiezza), anche quando le relazioni tra i canali sono alterate, l'anomalia passa inosservata.
• Il caso d'uso specifico: In un veicolo, un comando di sterzo potrebbe essere coerente internamente e produrre un'accelerazione laterale plausibile in termini di ampiezza, ma essere "disaccoppiato" dalla dinamica reale del veicolo (es. un ritardo o una risposta errata). Questa è un'anomalia di coordinazione (o rottura delle dipendenze strutturali) che i metodi basati solo sull'errore di ricostruzione non rilevano.

2. Metodologia: AxonAD

Gli autori propongono AxonAD, un rilevatore di anomalie non supervisionato che sfrutta la dinamica prevedibile dei vettori di query all'interno dei meccanismi di attenzione.

Architettura del Modello

Il sistema è composto da tre componenti principali (vedi Figura 2 del paper):

1. Percorso di Ricostruzione (Online): Un encoder basato su self-attention bidirezionale che ricostruisce la finestra di input. Genera un punteggio di errore di ricostruzione ($d_{rec}$).
2. Percorso Predittivo (History-Only): Un predittore causale che mappa solo il contesto passato (con uno shift temporale per evitare la fuga di informazioni) per prevedere i futuri vettori di query multi-head.
3. Target Encoder EMA: Un encoder target i cui parametri sono aggiornati tramite una media mobile esponenziale (EMA) dei parametri online. Questo fornisce target stabili per l'addestramento senza gradienti diretti.

Meccanismo di Addestramento e Inferenza

• Obiettivo di Addestramento: Il modello viene addestrato con un obiettivo misto:
  • Minimizzare l'errore quadratico medio (MSE) di ricostruzione.
  • Minimizzare la perdita di cosine distance (distanza angolare) tra le query previste dal predittore e le query target generate dall'EMA encoder. Questo viene fatto su una parte mascherata della finestra temporale (stile JEPA - Joint Embedding Predictive Architecture).
• Punteggio di Anomalia: Durante l'inferenza, il punteggio finale $S$ è la somma di due componenti standardizzate robustamente (usando mediana e IQR sui dati nominali):
  1. $d_{rec}$: Errore di ricostruzione (rileva anomalie di ampiezza).
  2. $d_q$: Punteggio di "mismatch" delle query. Misura la deviazione coseno tra le query previste e quelle target sugli ultimi $k$ timestep della finestra. Se la dinamica strutturale cambia, la previsione delle query fallisce, producendo un alto $d_q$ anche se i valori dei dati sembrano normali.

3. Contributi Chiave

1. Predizione delle Query come Segnale Diagnostico: Tratta i vettori di query dell'attenzione come un segnale temporale prevedibile. La rottura di questa prevedibilità indica uno spostamento nelle dipendenze strutturali tra i canali.
2. Punteggio Ibrido Complementare: Combina l'errore di ricostruzione (per anomalie di ampiezza) con il mismatch delle query (per anomalie di coordinazione). Questo permette di rilevare sia deviazioni di valore che rotture di relazione.
3. Schema di Addestramento Stabile: Utilizza un target encoder EMA e una supervisione mascherata direttamente nello spazio delle query, evitando la supervisione diretta sulle mappe di attenzione o sui valori, garantendo coerenza tra l'obiettivo di training e il segnale di scoring.

4. Risultati Sperimentali

Il modello è stato valutato su due dataset principali:

• Telemetria Veicolare Proprietaria: Un dataset reale con 19 canali e annotazioni di intervallo.
  • Risultato: AxonAD ha superato tutti i baseline (inclusi LSTMAD, OmniAnomaly, USAD, Transformer-based) con un margine significativo.
  • Metriche: AUC-PR di 0.285 (contro 0.128 del secondo migliore, SISVAE) e un Event-F1 di 0.420 (vs 0.255). Questo dimostra una capacità superiore nel localizzare temporalmente le anomalie e nel rilevare i "break di coordinazione".
• TSB-AD Multivariate Suite: 17 dataset, 180 serie temporali.
  • Risultato: AxonAD ha ottenuto il miglior punteggio medio in tutte le metriche threshold-free (AUC-PR: 0.437, VUS-PR: 0.493) e nelle metriche di localizzazione (Range-F1: 0.471).
  • Robustezza: Ha vinto nella maggior parte delle serie temporali (180 su 180) rispetto ai baseline, con test statistici significativi ($p < 10^{-4}$).

Studi di Ablazione

• La rimozione del ramo di previsione delle query degrada le prestazioni, confermando che la predizione delle query è il motore principale del miglioramento.
• L'uso della distanza coseno è superiore alla semplice MSE nello spazio delle query.
• La combinazione dei due punteggi ($d_{rec} + d_q$) è essenziale; usare solo uno dei due riduce la copertura delle diverse tipologie di anomalie.
• L'EMA con momento $m=0.9$ offre il miglior compromesso tra stabilità e reattività.

5. Significato e Impatto

• Rilevamento di Anomalie "Nascoste": AxonAD risolve il problema delle anomalie che non alterano i valori assoluti dei sensori ma ne cambiano le relazioni dinamiche, un caso critico per la sicurezza nei sistemi autonomi.
• Efficienza Computazionale: Nonostante l'addestramento iterativo, l'inferenza è estremamente veloce (0.069 ms per finestra), rendendo il modello adatto per il monitoraggio in tempo reale (streaming) su flotte di veicoli.
• Generalizzazione: L'approccio non richiede calibrazione basata su etichette per la soglia di allarme, grazie alla standardizzazione robusta dei punteggi, facilitando il deployment su dataset eterogenei.

In sintesi, AxonAD rappresenta un avanzamento significativo nell'analisi delle serie temporali, spostando il focus dalla semplice ricostruzione dei valori alla previsione della struttura di attenzione interna del modello, permettendo di "sentire" quando le relazioni tra i dati si rompono prima che i dati stessi diventino chiaramente errati.