Wasserstein normalized autoencoder for anomaly detection

Het Grote Plaatje: Een naald in een hooiberg zoeken (zonder te weten hoe de naald eruitziet)

Stel je voor dat je een beveiligingsbeambte bent bij een gigantisch vliegveld. Elke dag lopen er duizenden mensen door je controlepunt. Je weet precies hoe een "normale" reiziger eruitziet: ze dragen een rugzak, een jas, misschien hebben ze een koffie bij zich. Dit zijn je Standard Model-deeltjes (de achtergrond).

Maar af en toe loopt er iemand doorheen die iets vreemds bij zich draagt — misschien een lichtgevende doos of een pak gemaakt van onzichtbare stof. Dit is Nieuwe Fysica (het signaal). Het probleem is dat je niet precies weet hoe die "lichtgevende doos" eruitziet. Het kan van alles zijn. Als je probeelt je beveiligingssysteem te leren om een specifiek type lichtgevende doos te herkennen, mis je misschien een ander type.

Dus besluit je je systeem alleen te leren hoe "normaal" eruitziet. Als iets niet in het "normale" patroon past, markeer je het als een anomalie. Dit wordt Anomaly Detection genoemd.

Het Probleem: De "Te Behulpzame" Robot

Het artikel bespreekt een specifiek type AI dat een Autoencoder wordt genoemd. Denk aan een Autoencoder als een robot die probeert een foto van een normale reiziger te onthouden, deze te comprimeren tot een klein briefje, en vervolgens de foto opnieuw te tekenen op basis van dat briefje.

Het Doel: Als de robot een normale reiziger ziet, moet hij deze perfect opnieuw tekenen (lage foutmarge). Als hij een vreemd wezen ziet, moet hij moeite hebben om dit opnieuw te tekenen (hoge foutmarge), en dan markeer je het vreemde wezen.
De Fout: Soms is de robot te goed. Als het vreemde wezen eigenlijk simpeler is dan de normale reizigers (misschien is het vreemde wezen gewoon een saaie grijze vlek, terwijl normale reizigers complexe patronen hebben), kan de robot per ongeluk ook het vreemde wezen perfect leren natekenen.
Het Resultaat: De robot denkt dat het vreemde wezen normaal is omdat hij het gemakkelijk kan natekenen. Het beveiligingssysteem faalt. In het artikel noemen ze dit "Outlier Reconstruction." Het is als een vervalser die zo goed is in het kopiëren van schilderijen dat hij per ongeluk een nep-meesterwerk zo goed vervalst dat het museum denkt dat het echt is.

De Eerste Poging: De "Genormaliseerde" Robot (NAE)

Om dit op te lossen, probeerden de wetenschappers een slimmere robot genaamd een Normalized Autoencoder (NAE).

In plaats van alleen maar te proberen de foto opnieuw te tekenen, probeert deze robot de waarschijnlijkheid te leren van hoe een normale reiziger eruitziet. Het gebruikt een wiskundige truc waarbij een "Markov Chain" (denk aan een random walk) wordt gebruikt om nep-"negatieve" voorbeelden te genereren. De robot vraagt zichzelf af: "Als ik een willekeurige reiziger bedenk, lijkt deze dan op de echte reizigers die ik heb gezien?"

Het Doel: Het probeert ervoor te zorgen dat alles wat "vreemd" is (lage waarschijnlijkheid) een hoge "foutscore" krijgt.
De Nieuwe Fout: Deze robot is instabiel. Soms raakt hij in de war en begint hij te "divergeren". Hij kan besluiten dat de beste manier om het spel te winnen is door alles slecht te laten natekenen, of hij kan instorten naar een staat waarin hij alles perfect natekent, inclusief de vreemde wezens, alleen maar om zijn eigen wiskundige score te minimaliseren. Het is als een student die, in plaats van te studeren, besluit te spieken door het antwoordmodel op een manier te onthouden die de toets kapot maakt.

De Oplossing: De "Wasserstein" Robot (WNAE)

Dit is de belangrijkste bijdrage van het artikel. De wetenschappers introduceerden de Wasserstein Normalized Autoencoder (WNAE).

Om dit te begrijpen, stel je voor dat je twee zandhopen hebt:

Hoop A: Echte reizigers (jouw trainingsdata).
Hoop B: De huidige gok van de robot over hoe reizigers eruitzien (de geleerde distributie).

Bij de oude methoden probeerde de robot gewoon de vormen van de hopen met elkaar te laten overeenkomen. Maar soms probeerde de robot te vals te spelen door een hoop te maken die weliswaar op de echte leek, maar eigenlijk op de verkeerde plek lag.

De Wasserstein-afstand is een manier om de "kosten" te meten om het zand van Hoop B naar Hoop A te verplaatsen. Stel je voor dat je korrels zand van de ene hoop naar de andere moet dragen. De Wasserstein-afstand vraagt: "Wat is de minimale hoeveelheid inspanning (afstand x gewicht) die nodig is om mijn nep-hoop in de echte hoop te veranderen?"

Hoe de WNAE werkt:

Het probeert niet alleen de afbeelding opnieuw te tekenen; het probeert de "inspanning" te minimaliseren die nodig is om de nep-data exact gelijk te laten lijken aan de echte data.
Als de robot probeert te vals te spelen door een vreemd wezen perfect na te tekenen, wordt de "inspanning" (Wasserstein-afstand) om die data van het vreemde wezen terug naar de "normale" hoop te verplaatsen enorm groot.
De robot wordt gedwongen om te stoppen met vals spelen. Hij leert dat de enige manier om de inspanning te minimaliseren, het strikt leren van de vorm van de "normale" hoop is en het met rust laten van de "vreemde" zaken.

Waarom dit belangrijk is voor het artikel

De wetenschappers hebben dit getest op de CMS, een enorme deeltjesdetector bij CERN (de Large Hadron Collider). Ze waren op zoek naar Semivisible Jets (SVJs).

Het Scenario: Stel je een straal van deeltjes voor (zoals een spray uit een tuinslang) die half zichtbaar is (standaard deeltjes) en half onzichtbaar (Donkere Materie).
De Uitdaging: Deze jets lijken erg veel op normale jets van top-quarks (een veelvoorkomende achtergrond). Standaard robots slaagden er niet in om ze van elkaar te onderscheiden omdat ze de "vreemde" jets bleven "reconstrueren" alsof het normale jets waren.
Het Resultaat: De WNAE was in staat om de "normale" jet-distributie perfect te leren zonder ooit een enkele "vreemde" jet te hebben gezien tijdens de training. Het slaagde erin om de onzichtbare donkere-materie-jets als anomalieën te markeren.

De Kernboodschap

Het artikel beweert dat zij, door de Wasserstein-afstand als leraar te gebruiken, een robot hebben gebouwd die:

Niet vals speelt: Het kan niet zomaar vreemde dingen perfect natekenen om de score te verlagen.
Stabiel is: Het crasht niet of raakt niet in de war zoals de vorige "genormaliseerde" versie.
Signaal-agnostisch is: Het hoeft niet te weten hoe het "vreemde" ding eruitziet. Het weet alleen hoe "normaal" eruitziet, en alles wat niet in dat model past, wordt gemarkeerd.

Kortom, ze hebben een kapot beveiligingssysteem gerepareerd door het een betere manier te geven om te meten hoe "ver weg" een verdachte persoon staat van de menigte, waardoor ervoor wordt gezorgd dat zelfs een zeer slim vermomde indringer wordt gepakt.

Technische Samenvatting: Wasserstein Genormaliseerde Autoencoder voor Anomaliedetectie

Probleemstelling
Ongesuperviseerd machine learning, in het bijzonder Autoencoders (AE's), is een krachtig instrument voor het identificeren van nieuwe fysica bij de Large Hadron Collider (LHC) door Standard Model (SM) achtergrondgebeurtenissen te scheiden van potentiële Beyond-the-Standard-Model (BSM) signalen, zonder te vertrouwen op specifieke signaalhypothesen. Echter, standaard AE's lijden aan een kritieke foutmodus die bekend staat als "outlier reconstructie" (outlier reconstruction). In dit scenario leert het netwerk anomalieën (outliers) met een lage fout te reconstrueren, vaak omdat deze outliers minder complex zijn dan de trainingsdata (een fenomeen dat "complexiteitsbias" wordt genoemd) of simpelweg omdat het netwerk vrij is om de reconstructiefout te minimaliseren in regio's van de faseruimte buiten de trainingsdistributie. Dit resulteert in een verlies van onderscheidingsvermogen, waarbij de reconstructiefout geen onderscheid kan maken tussen de achtergrond en het signaal.

Eerdere pogingen om dit aan te pakken met behulp van Genormaliseerde Autoencoders (NAE's), die de AE-reconstructiefout formuleren als een energiefunctie binnen een Boltzmann-distributie, hebben ook problemen ondervonden. NAE-training vertoont vaak numerieke instabiliteit, waaronder de divergentie van de loss-functie en "mode collapse", waarbij het netwerk een waarschijnlijkheidsdistributie leert die aanzienlijk overlapt met het signaal, wat opnieuw leidt tot een zwakke prestatie bij anomaliedetectie. Bovendien ontbreekt het bestaande NAE-training aan een robuuste, signaal-agnostische stopconditie om overtraining en outlier reconstructie te voorkomen.

Methodologie
De auteurs introduceren de Wasserstein Genormaliseerde Autoencoder (WNAE), een nieuw probabilistisch model dat is ontworpen om de beperkingen van zowel standaard AE's als NAE's te overwinnen. De methodologie verloopt als volgt:

Probabilistisch Kader: Net als de NAE behandelt de WNAE de AE-reconstructiefout $l_\theta(x)$ als een energiefunctie $E_\theta(x)$ . Het model definieert een genormaliseerde waarschijnlijkheidsdistributie $p_\theta(x)$ met behulp van de Boltzmann-distributie: $p_\theta(x) = \frac{1}{\Omega_\theta} \exp(-E_\theta(x))$ .
Markov Chain Monte Carlo (MCMC): Om de distributie $p_\theta$ te leren, gebruikt het model een Langevin Monte Carlo-algoritme om "negatieve" voorbeelden uit $p_\theta$ te samplen. Deze samples worden iteratief gegenereerd met behulp van de gradiënt van de energiefunctie ten opzichte van de inputkenmerken.
De Wasserstein-afstand Objectief: De kerninnovatie is het gebruik van de 1-Wasserstein afstand (Earth Mover's Distance) als het directe trainingsdoel. In plaats van de negatieve log-likelihood te minimaliseren (wat een onhandelbare partitiefunctie met zich meebrengt en tot instabiliteit leidt), minimaliseert de WNAE de Wasserstein-afstand $W(p_{data}, p_\theta)$ $W (p_{d a t a}, p_{θ})$ tussen de trainingsdata-distributie $p_{data}$ $p_{d a t a}$ en de modeldistributie $p_\theta$ $p_{θ}$ .
- De loss-functie is gedefinieerd als de Wasserstein-afstand tussen de positieve samples (uit $p_{data}$ ) en de negatieve samples (uit $p_\theta$ ).
- Deze aanpak maakt gebruik van de Kantorovich-Rubinstein dualiteit, waardoor een stabiele, differentieerbare loss-functie ontstaat die niet lijdt onder de verdwijnende gradiënten of mode collapse die gebruikelijk zijn bij andere generatieve modellen.
Trainingsdynamiek: De training omvat twee fasen: een grove aanpassing waarbij de Wasserstein-afstand scherp afneemt naarmate het model zich aanpast aan de fysieke data, gevolgd door een fijnafstemmingsfase. Er wordt een learning rate scheduler gebruikt om stabiliteit te garanderen. Cruciaal is dat de Wasserstein-afstand dient als een signaal-agnostische stopconditie; de training wordt gestopt wanneer de afstand begint toe te nemen, wat duidt op het begin van mode collapse of outlier reconstructie.

Casestudy en Data
Het algoritme wordt toegepast op de zoektocht naar Semivisibele Jets (SVJs), een signatuur van "hidden valley"-modellen waarbij deeltjes uit de donkere sector jets produceren die zowel zichtbare Standard Model-deeltjes als onzichtbare donkere materie-toestanden bevatten.

Achtergrond: Gesimuleerde top-antitop ( $t\bar{t}$ ) productie met extra jets.
Signaal: SVJ-events gegenereerd via een bifundamentale scalaire mediator, met variërende onzichtbare fracties ( $r_{inv}$ ) en mediator-massa's ( $m_\Phi$ ).
Kenmerken: De input bestaat uit 8 jet-substructuur variabelen (bijv. major/minor assen, energie-flow polynomialen, $N$ -subjettiness, softdrop massa) afgeleid van particle-flow reconstructie.

Belangrijkste Resultaten

Falen van Standaard AE: Wanneer getraind op $t\bar{t}$ achtergrond, faalt een standaard AE in het onderscheiden van SVJs van de achtergrond, wat een Area Under the Curve (AUC) score oplevert die dicht bij 0,5 ligt (willekeurig gokken) vanwege outlier reconstructie.
NAE Instabiliteit: Hoewel de NAE aanvankelijk de discriminatie verbetert, lijdt deze aan loss-divergentie en mode collapse. De AUC verslechtert in de loop van de tijd naarmate de negatieve energie divergeert, en het model faalt in het onderscheiden van het signaal van de achtergrond zonder een signaal-afhankelijke stopconditie.
WNAE Prestaties: De WNAE vertoont een stabiele, convergente training.
- Het bereikt sterke classificatieprestaties over een breed scala aan SVJ-signaalhypothesen, met AUC-scores die aanzienlijk hoger zijn dan die van de standaard AE en vergelijkbaar met of zelfs beter dan de NAE op zijn optimale punt.
- De Wasserstein-afstand correleert effectief met de AUC-score, waardoor een betrouwbare stopconditie wordt geboden die voorkomt dat het model de signaaldistributie leert.
- De WNAE mitigeert complexiteitsbias. In tegen tegenstelling tot standaard AE's, die moeite hebben wanneer het signaal minder complex is dan de achtergrond, identificeert de WNAE succesvol top-quark jets als anomalieën, zelfs wanneer getraind op SVJ-signalen. Dit demonstreert het vermogen om de ware waarschijnlijkheidsdichtheid van de trainingsdata te leren in plaats van enkel de reconstructiefout te minimaliseren.

Betekenis en Claims
Het artikel claimt dat de WNAE direct een fundamentele foutmodus van outlier reconstructie bij autoencoder-gebaseerde anomaliedetectie aanpakt. Door de Wasserstein-afstand tussen de trainingsdata-distributie en de door het model geleerde distributie te minimaliseren, zorgt het algoritme ervoor dat regio's in de faseruimte die verschillen van de trainingsdata, een hoge reconstructiefout krijgen toegewezen.

De auteurs benadrukken dat de WNAE volledig ongesuperviseerd en signaal-agnostisch blijft. Het vereist geen kennis van de signaalhypothese tijdens de training, noch vertrouwt het op ad-hoc regularisatie om de NAE-loss te stabiliseren. De methode biedt een robuust, stabiel en effectief instrument voor anomaliedetectie in de hogere energie-fysica, in staat om nieuwe fysica-signaturen zoals semivisibele jets te identificeren tegen complexe Standard Model-achtergronden. Het artikel concludeert dat hoewel de WNAE stabiel is voor de bestudeerde taak, het nog steeds onderhevig kan zijn aan generieke beperkingen van anomaliedetectiemodellen, zoals de overlap van signaal- en achtergronddistributies of contaminatie van trainingsdata met anomalieën, hoewel het een pad biedt voor zelf-gesuperviseerde verfijning in dergelijke gevallen.