Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

Het artikel introduceert AxonAD, een onbewaakte detector voor multivariate tijdsreeksanomalieën die structurele verschuivingen in cross-kanaal afhankelijkheden opsporen door de voorspelbaarheid van query-dynamiek in multi-head attention te benutten, wat resulteert in verbeterde prestaties ten opzichte van bestaande methoden.

De kern

Het Grote Probleem: De "Stille" Pijl

Stel je voor dat je een auto rijdt. Normaal gesproken draai je het stuur naar links, en de auto draait ook naar links. De banden glijden niet, de motor geeft precies de juiste kracht. Alles werkt in harmonie.

Nu gebeurt er iets raars: je draait het stuur naar links, maar de auto blijft rechtuit rijden. Of nog gekker: je draait het stuur, en de auto draait, maar de banden glijden alsof je op ijs rijdt, terwijl de snelheid normaal is.

Het probleem met oude detectoren:
De meeste bestaande systemen kijken alleen naar de afzonderlijke nummers.

• "Is de snelheid te hoog?" Nee.
• "Is het stuur te ver gedraaid?" Nee.
• "Is de motor te hard?" Nee.
  Omdat elk getal op zich normaal is, denkt het systeem: "Alles is goed!" Terwijl de auto eigenlijk op hol slaat. Dit noemen de auteurs een coördinatiebreuk. De verbanden tussen de verschillende onderdelen zijn verbroken, maar de onderdelen zelf lijken nog prima.

De Oplossing: AxonAD (De "Toekomstvoorspeller")

De onderzoekers (van Mercedes-Benz en de Hogeschool Esslingen) hebben een nieuw systeem bedacht dat heet AxonAD. In plaats van alleen naar de nummers te kijken, kijkt dit systeem naar de verwachtingen van het systeem zelf.

Stel je voor dat je een orkest hebt. De dirigent (het systeem) weet precies wat elke muzikant (de sensoren) gaat spelen.

1. De Normale Situatie: De dirigent denkt: "Nu komt de viool een hoge noot spelen." En ja, de viool speelt die hoge noot. Alles is voorspelbaar.
2. De Anomalie: De dirigent denkt: "Nu komt de viool een hoge noot spelen." Maar plotseling speelt de viool een lage noot, of de trompet speelt in plaats daarvan. De verwachting van de dirigent komt niet uit.

AxonAD doet precies dit. Het leert hoe de auto zich normaal gedraagt en probeert te voorspellen wat er volgend moment gaat gebeuren, niet op basis van de nummers zelf, maar op basis van hoe het systeem "denkt" (de zogenaamde attention queries).

Hoe werkt het? (De Twee Sporen)

Het systeem heeft twee manieren om te kijken of er iets mis is:

1. De "Reconstructie" (Het Spiegeltje):
   Dit is de oude manier. Het systeem probeert het verleden na te bouwen. "Als ik deze data zie, kan ik het volgende plaatje maken?" Als het plaatje er raar uitziet, is er iets mis. Dit werkt goed als een sensor echt kapot gaat (bijv. een waarde die te hoog is).

2. De "Voorspelling" (De Toekomstblik):
   Dit is het nieuwe, slimme deel. Het systeem zegt: "Op basis van wat er net is gebeurd, moet het volgende denkbeeldige punt op deze plek zitten."

   • Als de auto normaal rijdt, zit het voorspelde punt precies waar het moet zijn.
   • Als er een coördinatiebreuk is (zoals sturen zonder draaien), springt het voorspelde punt ergens anders heen. Het systeem wordt "verrast" (surprised).

De Grootte van de Verrassing:
Het systeem meet hoe ver het voorspelde punt afwijkt van de werkelijkheid. Hoe groter de afstand, hoe groter de waarschuwing.

Waarom is dit zo goed?

• Het ziet wat anderen missen: Het detecteert problemen die ontstaan door slechte samenwerking tussen onderdelen, zelfs als de onderdelen zelf nog gezond lijken.
• Het is snel: Het kan in real-time werken in een auto, zonder dat de bestuurder merkt dat er iets gebeurt.
• Het is slim getraind: Het systeem heeft zichzelf geleerd wat "normaal" is door naar duizenden normale rijmomenten te kijken, zonder dat mensen handmatig regels hebben opgeschreven.

De Resultaten

De onderzoekers hebben dit getest op echte Mercedes-gegevens en op een grote verzameling van 180 verschillende datasets.

• Resultaat: AxonAD vond veel meer fouten dan de beste bestaande systemen.
• Specifiek voor auto's: Het kon veel beter detecteren wanneer het stuur en de versnelling niet meer met elkaar "in gesprek" waren, wat cruciaal is voor de veiligheid.

Samenvatting in één zin

In plaats van alleen te kijken of de nummers op het dashboard te hoog of te laag zijn, kijkt AxonAD of de auto nog steeds doet wat hij zou moeten doen op basis van wat er net is gebeurd; als de auto verrast wordt door zijn eigen gedrag, weet het systeem dat er iets mis is.

Technische samenvatting

1. Het Probleem

Multivariate tijdreeksanomalieën (afwijkingen in data met meerdere kanalen) manifesteren zich vaak niet als simpele amplitude-uitwijkingen (bijv. een sensor die een extreme waarde aangeeft), maar als verschuivingen in de onderlinge afhankelijkheden tussen kanalen.

• Voorbeeld uit autonoom rijden: Een stuurcommando kan intern consistent zijn, maar niet de verwachte zijwaartse versnelling genereren. De individuele waarden (stuurhoek, versnelling) blijven binnen normale grenzen, maar de coördinatie tussen hen is verbroken.
• Beperking van bestaande methoden: Traditionele residual-based detectoren (op basis van reconstructie) missen deze anomalieën vaak. Flexibele sequentiemodellen kunnen de individuele signalen immers nog steeds plausibel reconstrueren, zelfs als de onderlinge structuur verandert. Een lage reconstructiefout garandeert dus niet dat de volledige afhankelijkheidsstructuur behouden blijft.

2. Methodologie: AxonAD

De auteurs introduceren AxonAD, een onbewaakte (unsupervised) detector die de evolutie van query-vectoren in multi-head attention-mechanismen behandelt als een voorspelbaar proces. Het model bestaat uit twee gekoppelde paden:

A. Architectuur

1. Online Reconstructiepad:

   • Een encoder met bidirectionele self-attention reconstrueert het invoerwindow.
   • De reconstructiefout ($d_{rec}$) wordt berekend als de gemiddelde kwadratische fout (MSE) tussen de invoer en de reconstructie. Dit vangt amplitude-afwijkingen.

2. Predictive Attention Pad (Het kerninnovatie):

   • Dit pad voorspelt de evolutie van de query-vectoren ($Q$) puur op basis van historische context (zonder toekomstige informatie).
   • Het gebruikt een causaal tijdsvoorspeller (een TCN) die een tijdverschoven embedding-stroom mapt naar toekomstige query-vectoren.
   • Training: Het model wordt getraind met een masked cosine loss tegen een EMA (Exponential Moving Average) target encoder. De target encoder heeft dezelfde architectuur maar wordt bijgewerkt via EMA (zonder gradients), wat zorgt voor stabiele doelen.
   • Inference: Op het einde van het venster wordt de voorspelde query ($\hat{q}_{pred}$) vergeleken met de EMA-target query ($q_{tgt}$). De afwijking wordt gemeten als een cosine mismatch score ($d_q$) over de laatste $k$ tijdstippen ("tail").

B. Final Anomaly Score

De uiteindelijke anomalie-score $S$ is de som van twee gestandaardiseerde componenten:
$$S(X) = r_z(d_{rec}) + r_z(d_q)$$
Waarbij $r_z$ een robuuste standaardisatie is (gebaseerd op mediaan en IQR) die alleen op nominale trainingsdata wordt berekend.

• Complementariteit: $d_{rec}$ vangt amplitude-anomalieën, terwijl $d_q$ structuur- en coördinatie-anomalieën vangt (waarbij de attention-structuur "verrast" wordt door onverwachte query-dynamiek).

3. Belangrijkste Bijdragen

1. Voorspelbare Query-dynamiek: AxonAD behandelt query-vectoren niet als een eenmalige routeringsbeslissing, maar als een tijdsafhankelijk signaal dat voorspelbaar moet zijn onder normale omstandigheden.
2. Query-mismatch als score: Het introduceert een nieuwe anomalie-score gebaseerd op de cosine-afstand tussen voorspelde en target query's. Dit vult reconstructieresiduen aan en is specifiek gevoelig voor verschuivingen in cross-channel afhankelijkheden.
3. Stabiele trainingsschema: Het gebruik van een EMA-target encoder met gemaskerde supervisie in de query-ruimte (geïnspireerd op JEPA-architecturen) vermijdt directe supervisie op attention-maps of value-outputs, wat leidt tot robuustere representaties.

4. Resultaten

De auteurs evalueren AxonAD op twee sets:

1. Propriëtaire voertuigtelemetrie: 80.000 tijdstappen met 19 kanalen (stuur, versnelling, etc.).
2. TSB-AD Benchmark: 17 datasets met in totaal 180 multivariate tijdreeksen.

Kernresultaten:

• Prestatie: AxonAD presteert aanzienlijk beter dan sterke baselines (zoals OmniAnomaly, USAD, VAE-varianten en Transformer-modellen).
  • Op de telemetrie-data: AUC-PR van 0.285 (t.o.v. 0.128 voor de volgende beste, SISVAE) en een Event-F1 van 0.420 (t.o.v. 0.255).
  • Op de TSB-AD benchmark: Hoogste gemiddelde AUC-PR (0.437) en Range-F1 (0.471).
• Ablatie-studies:
  • Het combineren van reconstructie- en query-mismatch scores is essentieel; het verwijderen van één van beide leidt tot significante prestatieverlies.
  • Het voorspellen van query-vectoren werkt beter dan het voorspellen van keys, values of attention-maps.
  • De EMA-momentum ($m=0.9$) is cruciaal voor stabiliteit; extremen leiden tot degradatie.
• Efficiëntie: De inferentielatentie is extreem laag (0.069 ms per venster), wat geschikt is voor real-time fleet monitoring.

5. Betekenis en Conclusie

AxonAD biedt een nieuwe kijk op tijdreeksanomaliedetectie door te focussen op de voorspelbaarheid van de interne attention-mechanismen in plaats van alleen op de ruwe data-reconstructie.

• Significantie: De meth lost het probleem op van "verborgen" anomalieën waarbij de data-waarden normaal lijken, maar de systemische interactie verstoord is. Dit is kritiek voor toepassingen zoals autonoom rijden, industriële monitoring en fleet management.
• Toepasbaarheid: Omdat de methode onbewaakt is en geen labels nodig heeft voor de drempelbepaling (gebruikmakend van robuuste statistieken op trainingsdata), is deze direct inzetbaar in productieomgevingen met streaming data.

Kortom, AxonAD bewijst dat het monitoren van de "verwachte" dynamiek van attention-query's een krachtig signaal is om structurele storingen in complexe systemen te detecteren die door traditionele methoden worden gemist.