Optimal Transport Event Representation for Anomaly Detection

Dit artikel introduceert een op optimaal transport gebaseerde, fysiek onderbouwde representatie voor gebeurtenissen die bij zwak toezicht op anomaliedetectie in deeltjesfysica aanzienlijk betere prestaties levert dan standaard methoden, zelfs bij zeer lage signaalinjecties.

De kern

Hoe een wiskundige "verhuiskost" helpt om nieuwe deeltjes te vinden

Stel je voor dat je in een enorm drukke treinhalte staat (deeltjesversneller LHC). Duizenden mensen (deeltjes) rennen heen en weer. De meeste mensen zijn gewone reizigers (bekende natuurkunde). Maar soms, heel zelden, loopt er een groepje mensen die precies hetzelfde gedrag vertoont en een vreemd ritme heeft (een nieuw, onbekend deeltje).

Het probleem? Je moet die ene kleine groep vinden tussen miljoenen gewone reizigers, terwijl je niet weet hoe ze eruit zien of hoe ze zich gedragen.

Deze paper introduceert een slimme nieuwe manier om die "vreemde groep" te vinden, zonder dat je een supercomputer nodig hebt die maandenlang moet leren.

1. Het oude probleem: Te simpel of te complex

Tot nu toe hadden onderzoekers twee opties:

• Optie A (De simpele manier): Je telt alleen het aantal mensen in de trein en hun gemiddelde snelheid. Dit werkt goed als de vreemde groep heel duidelijk is, maar als ze zich verstoppen, mis je ze.
• Optie B (De zware manier): Je neemt een foto van iedereen op het station, inclusief hun schoenmaat, haarstijl en wat ze in hun hand houden. Je gooit dit naar een supersterke AI. Het probleem? Als de vreemde groep heel klein is (bijvoorbeeld 0,5% van de mensen), raakt de AI in de war. Het heeft te veel ruis en te weinig signaal om te leren.

2. De nieuwe oplossing: "Optimal Transport" (De verhuiskost)

De auteurs van dit papier gebruiken een wiskundig concept dat Optimal Transport heet. Laten we dit vergelijken met een verhuisbedrijf.

Stel je hebt twee huizen:

• Huis A: De standaard treinreizigers (de achtergrond).
• Huis B: Een trein met een paar vreemdelingen erin (het signaal).

De vraag is: Hoeveel moeite kost het om Huis A om te vormen tot Huis B?
Je moet meubels (deeltjes) van de ene plek naar de andere slepen. De "Optimal Transport" berekent de minimale energie die nodig is om de meubels zo efficiënt mogelijk te verplaatsen om het ene huis in het andere te veranderen.

• Als de twee huizen bijna hetzelfde zijn, is de verhuiskost laag.
• Als er in Huis B een hele nieuwe kamer is (een nieuw deeltje), is de verhuiskost plotseling heel hoog.

3. De slimme truc: De "Tangentruimte"

Normaal gesproken is het berekenen van deze verhuiskost voor elke trein heel duur en langzaam. De auteurs gebruiken een slimme wiskundige truc (linearisatie).

In plaats van elke trein opnieuw te vergelijken met elke andere trein, vergelijken ze elke trein met één standaard-referentietrein (een leeg, perfect symmetrisch raster).

• Ze vragen: "Hoe moet ik de meubels in deze specifieke trein verplaatsen om ze op de plekken van de standaardtrein te krijgen?"
• Het antwoord op die vraag is een nieuwe, compacte beschrijving van die trein. Het is alsof je van een hele foto een korte, precieze lijst maakt met alleen de belangrijkste veranderingen.

4. Waarom werkt dit zo goed?

De paper toont aan dat deze nieuwe beschrijving (de "OT-representatie") een brug slaat tussen de simpele en de zware methoden:

• Het vangt de vorm: Het ziet niet alleen hoeveel deeltjes er zijn, maar ook hoe ze gerangschikt zijn. Net als dat je ziet dat een groepje vreemdelingen in een kring staat, terwijl de gewone reizigers willekeurig rondlopen.
• Het werkt bij weinig data: Zelfs als er maar 0,5% vreemdelingen zijn (1 op de 200), werkt deze methode wonderbaarlijk goed. De zware AI-methoden faalden hier, maar deze nieuwe methode vond het signaal bijna twee keer zo goed als de standaardmethodes.
• Het is robuust: Omdat het gebaseerd is op de fysica van de verplaatsing (de "verhuiskost"), is het minder gevoelig voor ruis dan pure data-analyse.

De conclusie in het kort

Stel je voor dat je een naald in een hooiberg zoekt.

• De oude methodes keken alleen naar de kleur van het hooi (te simpel) of probeerden elk hooistukje met een microscoop te scannen (te traag en verward bij weinig naalden).
• Deze nieuwe methode gebruikt een magnetische metaalzoeker die precies weet hoe een naald eruitziet in de ruimte. Zelfs als er maar één naald is, piept hij hard.

De auteurs laten zien dat je niet altijd de zwaarste AI-modellen nodig hebt. Soms is een slimme, op de natuurkunde gebaseerde manier om de data te bekijken (zoals het berekenen van die "verhuiskost") veel effectiever om nieuwe mysteries in het universum op te lossen.

Technische samenvatting

Probleemstelling

In de zoektocht naar nieuwe fysica buiten het Standaardmodel (zoals bij de Large Hadron Collider, LHC) worden traditionele, doelgerichte zoekopdrachten steeds minder effectief. Alternatieve, modelonafhankelijke strategieën, zoals Anomaly Detection (AD), zijn daarom cruciaal. Een veelgebruikte aanpak is zwak toezicht (Weak Supervision - WS), waarbij classifiers worden getraind om een mengsel van signaal en achtergrond te onderscheiden van een puur achtergrondreferentie.

Er zijn echter twee belangrijke uitdagingen bij het kiezen van de juiste eventrepresentatie (hoe de botsingsgebeurtenissen worden vertaald naar invoer voor het machine learning-model):

1. Hoge-niveau observabelen: Traditionele methoden gebruiken handmatig ontworpen kenmerken (zoals jet-massa en $n$-subjettiness). Deze kunnen te beperkt zijn en niet alle signaaleigenschappen vangen.
2. Laag-niveau data (Four-momenta): Het gebruik van ruwe deeltjesdata (laag-niveau vier-momenta) met end-to-end deep learning (zoals foundation models) is krachtig, maar vereist enorme datasets en rekenkracht. In regimes met een zeer laag signaal (ultra-low signal regime) presteren deze modellen vaak slecht omdat ze niet goed kunnen generaliseren zonder voldoende signaalevents.

Methodologie

De auteurs stellen een nieuwe, fysiek onderbouwde tussenrepresentatie voor op basis van Optimal Transport (OT), specifiek de 2-Wasserstein-metriek ($W_2$).

• Optimal Transport (OT): OT definieert de afstand tussen twee waarschijnlijkheidsverdelingen door de meest efficiënte manier te berekenen om de ene in de andere te transformeren. In de context van deeltjesfysica meet dit de minimale "kost" om de transverse impuls ($p_T$) van de deeltjes in het ene event te herschikken naar die van het andere event. Dit is per definitie infrarood en collineair veilig (IRC-safe).
• Linearisatie (LinW2): Omdat het berekenen van de volledige $W_2$-afstand computatieel duur is, gebruiken de auteurs een linearisatiemethode. Hierbij wordt elk event afgebeeld op een raakruimte (tangent space) rondom een vast referentie-event (een uniform rooster van $10 \times 10$punten in het$(y, \phi)$-vlak).
  • Dit resulteert in een LinW2-embedding: een vector van 400 dimensies (voor twee jets) die de structurele informatie van het event compact vastlegt.
• Feature Extractie: Vanuit deze hoge-dimensionale embedding worden de belangrijkste componenten geëxtraheerd met Principal Component Analysis (PCA). De auteurs tonen aan dat de eerste paar PCA-componenten al het merendeel van de variantie in de data verklaren.
• Framework: De methode wordt getest binnen het Classification Without Labels (CWoLa) framework op de LHC Olympics 2020 datasets (R&D1 en R&D2).
  • Data: Mengsels van QCD-dijet achtergrond en een resonant signaal ($W' \to XY$) met variërende signaal-achtergrondverhoudingen (S/B), variërend van 0,2% tot 10%.
  • Classifiers: Voornamelijk Boosted Decision Trees (BDT), maar ook Multilayer Perceptrons (MLP) voor vergelijking.
  • Vergelijking: De prestaties worden vergeleken met standaard hoge-niveau observabelen, volledige fase-ruimte (full phase space) methoden en voorgeïmplementeerde foundation modellen (OmniLearn).

Belangrijkste Bijdragen

1. Conceptuele Shift: In plaats van OT alleen te gebruiken als een metriek om events te vergelijken, introduceren de auteurs LinW2 als een efficiënte, gestructureerde representatie van het event zelf.
2. Fysiek onderbouwde tussenlaag: De methode fungeert als een brug tussen handmatig ontworpen kenmerken en volledig datagedreven deep learning. Het combineert de robuustheid van fysica-informeerde representaties met de flexibiliteit van ML.
3. Efficiëntie: Het is niet nodig om enorme foundation modellen te trainen; een kleine set van OT-gebaseerde kenmerken (slechts 3-5 PCA-componenten) volstaat om aanzienlijke verbeteringen te boeken.

Resultaten

De resultaten tonen een overtuigende superioriteit van de OT-augmentatie, vooral in het ultra-low signaal regime:

• Prestatieverbetering: Bij een signaalinjectie van slechts 0,5% (S/B = 0,5%) bereikt de OT-augmentatie een Significantie Verbetering (SI) van meer dan 25.
  • Dit is meer dan een orde van grootte beter dan methoden die werken met laag-niveau vier-momenta (full phase space) in dit regime.
  • Het is ongeveer 65% beter dan de standaard hoge-niveau observabelen ($m_J, \tau_{21}$).
• Robuustheid: De prestaties van de OT-methode (met slechts 3-5 PCA-componenten) blijven stabiel over een breed spectrum aan signaalfracties.
• Vergelijking met Foundation Models: In het ultra-low regime presteert de OT-methode beter dan het voorgeïmplementeerde foundation model OmniLearn, ondanks dat OmniLearn aanzienlijk meer rekenkracht en data vereist.
• Complementaire Informatie: Ablatiestudies tonen aan dat OT-kenmerken informatie bevatten die niet volledig wordt gedekt door traditionele $n$-subjettiness observabelen. Het combineren van beide levert de beste resultaten op.
• Beperkingen: Bij zeer hoge signaalfracties (rond 10%) presteren de laag-niveau methoden (full phase space) het best, omdat ze dan voldoende data hebben om alle nuances te leren. De OT-methode bereikt hier nog steeds een SI van ~33, wat aanzienlijk hoger is dan de standaard observabelen.

Betekenis en Conclusie

Dit werk onderstreept het belang van fysiek onderbouwde representaties in machine learning voor deeltjesfysica, vooral wanneer signaalstatistieken beperkt zijn.

• Inductieve Bias: Door fysica-principes (zoals IRC-safety en geometrische structuur) in de representatie te bouwen, kunnen modellen effectiever leren met minder data dan puur datagedreven benaderingen.
• Toekomstperspectief: De methode is schaalbaar en kan worden uitgebreid naar complexere event-topologieën (zoals hidden-valley scenario's) en niet-resonante anomalieën.
• Unificatie: De convergentie tussen hoge-orde $n$-subjettiness en OT-kenmerken suggereert dat OT een unificerend raamwerk kan zijn voor het vastleggen van geometrische informatie in botsingsgebeurtenissen.

Kortom, de auteurs tonen aan dat het toevoegen van een paar slimme, op Optimal Transport gebaseerde kenmerken aan standaard datasets de detectiekracht voor zeldzame nieuwe fysica-signaals drastisch kan verhogen, zonder de kosten en complexiteit van enorme foundation modellen.