SMT-AD: a scalable quantum-inspired anomaly detection approach

Deze paper introduceert SMT-AD, een schaalbare, quantum-geïnspireerde methode voor anomaliedetectie die gebruikmaakt van superpositie van multiresolutie-tensoren en Fourier-embeddings om met een lineair groeiend aantal parameters concurrerende prestaties te leveren en tegelijkertijd de modelcomplexiteit te reduceren.

De kern

Stel je voor dat je een enorme berg post moet sorteren. De meeste enveloppen zijn gewoon normale brieven van vrienden of rekeningen (de "normale" data). Maar af en toe zit er een brief in die raar is: misschien is het een oplichterij, een vals paspoort of een gestolen creditcardtransactie. Dat is de "anomalie" of afwijking.

Het vinden van die ene rare brief in een berg van duizenden is heel lastig, vooral omdat je die rare brieven vaak niet kent voordat je ze ziet. Je moet dus leren wat "normaal" is, en dan elke afwijking daarvan als verdacht beschouwen.

Dit artikel introduceert een nieuwe, slimme manier om dit te doen, genaamd SMT-AD. Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. De "Quantum-geïnspireerde" Magie (Maak je geen zorgen over de naam)

De naam klinkt ingewikkeld ("Superposition of Multiresolution Tensors"), maar het idee is eigenlijk heel simpel. Stel je voor dat je een foto van een gezicht hebt. Je kunt die foto op verschillende manieren bekijken:

• Op afstand: Je ziet alleen de grote lijnen (neus, ogen, mond).
• Van dichtbij: Je ziet de details (pukkels, rimpels, vlekjes).

Deze nieuwe methode, SMT-AD, kijkt naar de data op alle niveaus tegelijk. Het gebruikt een wiskundig trucje (geïnspireerd op quantumfysica) om de data te "ontleden" in verschillende lagen van detail. Het is alsof je een foto niet alleen bekijkt met je blote ogen, maar ook met een loep en een microscoop, allemaal in één keer.

2. Hoe het werkt: De "Normale" Lijn

Het systeem wordt getraind met alleen maar "normale" voorbeelden (bijvoorbeeld duizenden veilige creditcardtransacties).

• De Leerling: Het systeem leert een soort "ideaal plaatje" van wat normaal is.
• De Test: Als er een nieuwe transactie binnenkomt, legt het systeem deze naast het ideaalplaatje.
• De Score: Als de transactie eruitziet als het ideaalplaatje, krijgt hij een hoge score (hij is veilig). Als hij er heel anders uitziet (bijvoorbeeld een aankoop in een ander land om 3 uur 's nachts), krijgt hij een lage score. Die lage score is het alarmbelletje.

3. Waarom is dit zo slim? (De Analogie van de Lijst)

Oude methodes om dit te doen, waren vaak als een zware, traag lopende robot die elke brief één voor één moet lezen en vergelijken met een enorme lijst. Dat kost veel tijd en energie.

SMT-AD is als een slimme, snelle scanner:

• Lichtgewicht: Het heeft veel minder "herinneringen" (parameters) nodig dan de oude methodes. Het is alsof je in plaats van een hele bibliotheek vol boeken alleen een slimme samenvatting nodig hebt.
• Schaalbaar: Je kunt het op een kleine computer laten draaien (zelfs op een telefoon of een sensor in een fabriek), niet alleen op een enorme supercomputer.
• Snel: Omdat het zo is ontworpen, kan het heel veel data tegelijk verwerken (parallel), net zoals een team van mensen dat allemaal tegelijk een stapel post sorteert, in plaats van één persoon die alles één voor één doet.

4. Het verrassende geheim: Wat is er echt belangrijk?

Een van de coolste dingen aan SMT-AD is dat het niet alleen zegt dat iets verdacht is, maar ook waarom.
Stel je voor dat je een verdachte transactie hebt. De oude methodes zeggen: "Dit is raar."
SMT-AD zegt: "Dit is raar, vooral omdat de locatie en het bedrag samen een rare combinatie vormen, terwijl het tijdstip normaal is."

Het systeem kan zelf ontdekken welke stukjes van de data (bijvoorbeeld welke cijfers in een creditcardtransactie) het belangrijkst zijn om op te letten. Door die belangrijke stukjes extra te benadrukken en de onbelangrijke te negeren, wordt het systeem zelfs nog beter en nog sneller.

Samenvatting

Kortom, SMT-AD is een nieuwe, snelle en slimme manier om oplichting en fouten op te sporen.

• Het leert wat "normaal" is zonder dat het duizenden voorbeelden van oplichting nodig heeft.
• Het is zo lichtgewicht dat het op kleine apparaten kan werken.
• Het is zo nauwkeurig dat het net zo goed (of beter) presteert dan de beste methodes die we nu hebben, maar dan veel efficiënter.

Het is alsof je van een zware, trage bewakingscamera bent veranderd in een slimme, energieke hond die precies weet waar hij moet snuffelen en dat ook nog eens op een batterijtje kan doen.

Technische samenvatting

Probleemstelling

Anomalie-detectie is een fundamenteel probleem in het machine learning, met toepassingen die variëren van fraudeopsporing en cyberbeveiliging tot gezondheidszorg en industriële monitoring. Het doel is zeldzame of ontypische samples te identificeren die afwijken van de dominante populatie van normale data.
In veel praktische scenario's zijn anomalieën schaars, heterogeen en vaak niet beschikbaar tijdens het trainingsproces. Dit leidt tot een one-class learning setting, waarbij modellen uitsluitend worden getraind op normale data en anomalieën moeten detecteren als afwijkingen van de geleerde "normaliteit". Bestaande methoden, zoals One-Class SVM (OC-SVM) en Isolation Forest (IF), zijn effectief maar kunnen beperkt zijn in schaalbaarheid of interpretatie. Tensor-netwerken bieden een veelbelovend kader, maar bestaande benaderingen (zoals TNAD) maken vaak gebruik van sequentiële optimalisatieprocedures die de schaalbaarheid en parallelisatie beperken.

Methodologie: SMT-AD

De auteurs stellen SMT-AD (Superposition of Multiresolution Tensors for Anomaly Detection) voor, een hoogst paralleliseerbare, quantum-geïnspireerde aanpak. De architectuur bestaat uit drie kerncomponenten:

1. Preprocessing en Feature Embedding:

   • Rank-based Normalisatie: Ruwe data wordt genormaliseerd via rangschikking (ranking) om de invloed van outliers te minimaliseren en de marginaal te standaardiseren naar Uniform(0, 1).
   • Fourier-gestuurde Multiresolutie Embedding: Elke genormaliseerde invoer wordt gemapt naar een Matrix Product State (MPS) met niet-lineariteit. Hiervoor wordt een Fourier-embedding gebruikt waarbij elke feature wordt weergegeven over meerdere resolutieschalen (frequentiemodi $p = 1, \dots, P$). Dit stelt het model in staat om zowel grove als fijne variaties in de data te vangen.

2. Het Model (MPO Superpositie):

   • Het model gebruikt een Matrix Product Operator (MPO) met een bond-dimension van 1.
   • In plaats van één complexe operator, wordt het model opgebouwd als een superpositie van $M$ mengcomponenten over $P$ resolutieschalen.
   • De operator bestaat uit sitewise SO(2)-rotaties. De parameters ($\theta$ en gewichten $c$) worden getraind.
   • Het aantal leerbare parameters groeit lineair met het aantal features ($L$), het aantal Fourier-modi ($P$) en het aantal superpositiecomponenten ($M$). Dit maakt het model zeer compact en geschikt voor lage-resource hardware.

3. Trainings- en Classificatieproces:

   • Het model wordt uitsluitend getraind op normale data ($N$).
   • Het doel is om de output MPS zo dicht mogelijk bij een vaste referentiestaat (de "normaliteit", gedefinieerd als $|0\rangle^{\otimes L}$) te brengen.
   • De normaliteitsscore $a(x)$ wordt berekend als het kwadraat van de overlap tussen de output MPS en de referentiestaat.
   • Training verloopt via minimalisatie van de negatieve log-likelihood van deze score voor normale data, met Tikhonov-regularisatie om parameter-explosie te voorkomen.

Kernbijdragen

• Schaalbaarheid en Parallelisatie: In tegenstelling tot traditionele tensor-netwerk methoden die sequentiële sweeps vereisen, is SMT-AD volledig vectoriseerbaar en paralleliseerbaar. Dit maakt het ideaal voor edge computing en low-end hardware.
• Efficiënte Parametrisatie: Het aantal parameters is extreem laag (lineaire schaling) in vergelijking met andere methoden, terwijl het toch voldoende expressieve kracht behoudt door de superpositie van MPO's.
• Interpreteerbaarheid via Quantum-metrics: Omdat het model een expliciete tensor-netwerkstructuur heeft, kunnen kwantum-informatieconcepten worden gebruikt voor analyse:
  • Entanglement Entropy: Wordt gebruikt om de belangrijkheid van features te bepalen. Features met hoge entropie in anomalieën maar lage entropie in normale data worden geïdentificeerd als kritiek.
  • Mutual Information: Toont aan hoe anomalieën worden gekenmerkt door een collectieve herschikking van feature-correlaties in plaats van alleen lokale afwijkingen.
• Feature Selectie: Door alleen de features met hoge entropie te selecteren, kan de modelgrootte worden verkleind terwijl de prestaties (met name de AUPRC) worden verbeterd.

Resultaten

Het model is getest op vijf standaard datasets: Wine, Lymphography, Thyroid, Satellite en Credit Card (fraude).

• Prestaties: SMT-AD bereikt consequent sterke AUROC-scores die gelijk zijn aan of beter zijn dan gevestigde baselines zoals OC-SVM, Isolation Forest (IF) en de eerdere tensor-netwerk methode (TNAD).
  • Op datasets zoals Wine, Lymphography en Thyroid bereikt het bijna perfecte AUROC-scores (>98-99%).
  • Op de Credit Card dataset (zeer onbalans: 0.17% anomalieën) behaalt SMT-AD de hoogste AUROC (94.8%), hoewel de AUPRC lager is dan bij OC-SVM (wat wordt toegeschreven aan een hogere false-positive rate bij de drempelwaarde, maar nog steeds een enorme verbetering ten opzichte van een willekeurige gok).
• Resolutie en Kalibratie: De embedding-resolutie ($P$) fungeert als een kalibratiemechanisme. Intermediaire waarden (bijv. $P=2$ of $P=3$) leveren de beste scheiding tussen normale en anomalieën op. Te lage of te hoge waarden leiden tot onder- of oververtrouwen.
• Efficiëntie: SMT-AD vereist aanzienlijk minder parameters dan concurrenten. Voor de Credit Card dataset volstaat een model met slechts 620 parameters (en zelfs 380 na feature selectie) om de beste prestaties te leveren, vergeleken met duizenden tot miljoenen parameters bij andere methoden.

Significantie

SMT-AD vertegenwoordigt een belangrijke stap in de toepassing van quantum-geïnspireerde algoritmen voor machine learning in de praktijk.

1. Efficiëntie: Het bewijst dat complexe anomalie-detectie mogelijk is met minimale rekenkracht, wat het toepasbaar maakt voor Edge Computing en het Internet of Things (IoT).
2. Interpretatie: Het biedt een nieuwe manier om te begrijpen waarom een sample als anomalie wordt gezien, door gebruik te maken van entanglement entropy om kritieke features te isoleren.
3. Schaalbaarheid: Door de lineaire schaling van parameters en de mogelijkheid tot volledige parallelisatie, overwint het de schaalbaarheidsproblemen van eerdere tensor-netwerk methoden en maakt het de weg vrij voor toepassing op zeer grote datasets zonder de noodzaak van zware GPU-clusters.

Kortom, SMT-AD combineert de wiskundige elegantie van tensor-netwerken met praktische efficiëntie en interpretatie, wat het een veelbelovende kandidaat maakt voor real-time, resource-beperkte anomalie-detectie.