Neural Fake Factor Estimation Using Data-Based Inference

Technische Samenvatting: Neurale Schatting van de Fake Factor via Data-gebaseerde Inferentie

Probleemstelling
In analyses in de hoge-energiefysica (HEP) ontstaan "fake" achtergronden door gebeurtenissen die niet voldoen aan de formele selectiecriteria voor signalen, maar toch worden geaccepteerd vanwege verkeerd gereconstrueerde of verkeerd geïdentificeerde deeltjes, zoals niet-prompt leptonen of hadronische jets die voor leptonen worden aangezien. Traditioneel worden deze achtergronden geschat met datagedreven technieken, met name de Fake Factor methode. Deze methode extrapoleert de bijdrage van de fake lepton vanuit een kinematisch aangrenzend, minder strikt selectiegebied (Control Region, CR) naar het Signaalregio (SR) met behulp van een schaalfactor (de "fake factor").

De conventionele implementatie van deze methode is gebaseerd op gebinte schatting, waarbij de fake factor wordt berekend als de ratio van twee histogrammen (strikte versus losse selecties) in een laag-dimensionale ruimte (typisch transversale impuls $p_T$ en pseudorapiditeit $\eta$). Deze aanpak kampt met verschillende beperkingen:

1. Binning-artefacten: De keuze van de binning heeft een significante impact op de resultaten; grove bins verliezen kinematische kenmerken, terwijl fijne bins lijden onder statistische fluctuaties, lege bins of negatieve waarden.
2. Dimensionaliteitslimieten: Vanwege beperkte statistiek is de methode meestal beperkt tot een paar variabelen, wat het onmogien maakt om complexe correlaties met andere gebeurtenis-topologievariabelen (bijv. ontbrekende transversale energie $E^{miss}_T$ of jet-multipliciteit) te vangen.
3. Extrapolatie-onzekerheid: Discontinuïteiten veroorzaakt door binning en het onvermogen om hoog-dimensionale afhankelijkheden te modelleren, verslechteren de nauwkeurigheid van de extrapolatie van achtergrond-schattingen naar de signaalregio.

Methodologie
De auteurs stellen een nieuwe Machine Learning (ML)-gebaseerde Fake Factor methode voor die histogramming vervangt door neurale dichtheidsratio-estimatie. Deze aanpak, getiteld Data-Based Inference (DBI), schat een continue, ongebinte fake factor functie op basis van per-event niveau.

De methode is gestructureerd in twee primaire stappen:

1. Subtractie-stap (Verwijdering van echte leptonen):
   Omdat de fake factor afgeleid moet worden van uitsluitend fake leptonen, moet de bijdrage van echte (prompt) leptonen uit zowel de strikte als de losse data-samples worden gesubtraheerd. De auteurs trainen twee onafhankelijke binaire classificaties om de ratio van data versus Monte Carlo (MC) simulatie in de strikte en losse regio's afzonderlijk te schatten ($r_{T,L} = N^{data}/N^{MC}$).

   • Deze classificaties worden getraind om data-gebeurtenissen (label 1) te onderscheiden van MC-gebeurtenissen (label 0).
   • De output wordt gebruikt om data-gebeurtenissen (of MC-gebeurtenissen) te herwegen om "echte-gesubtraheerde" dichtheden te verkrijgen.
   • Om fysieke validiteit te garanderen (positieve gewichten), wordt een soft absolute activatiefunctie toegepast op de logit-output van de classifier, wat ervoor zorgt dat de ratio $r > 1$ is en de resulterende gewichten positief blijven.

2. Ratio-stap (Schatting van de Fake Factor):
   Een derde binaire classifier wordt getraind om onderscheid te maken tussen de strikte (teller) en de losse (noemer) echte-gesubtraheerde samples.

   • De trainingsdataset bestaat uit hergewogen gebeurtenissen uit beide regio's.
   • De classifier leert de likelihood-ratio tussen de twee hypothesen.
   • De uiteindelijke fake factor $F(x)$ voor een gebeurtenis met kenmerken $x$ wordt geschat als de exponent van de classifier-output: $F(x) = \exp(q(x))$.
   • Dit levert een continue functie op die afhankelijk is van een hoog-dimensionale feature-ruimte (bijv. $p_T, \eta, E^{miss}_T, N_{jets}, m_T$).

Modelarchitectuur en Training

• Architectuur: De auteurs maken gebruik van een pre-activation ResNet met vier residual blocks, elk bestaande uit twee lagen van 128 neuronen. Deze architectuur mitigeert vanishing gradients en maakt het mogelijk om diepere netwerken stabiel te trainen vergeleken met standaard feed-forward netwerken.
• Inputverwerking: Numerieke kenmerken worden gestandaardiseerd, en categorische kenmerken worden label-encoded en geëmbed. Een embedding-laag brengt kenmerken naar een hoger-dimensionale ruimte, gevolgd door mean pooling.
• Loss-functie: De training maakt gebruik van binary cross-entropy met een gekwadrateerde regularisatieterm om exploderende dichtheden te voorkomen. Voor de subtractie-classifiers wordt een soft absolute activatie gebruikt; voor de ratio-classifier wordt een lineaire activatie gebruikt.
• Training: Het model wordt getraind met de AdamW-optimizer met early stopping op basis van de validatie-loss.

Belangrijkste Bijdragen

1. Continue, Ongebinte Schatting: De methode biedt een per-event fake factor, waardoor binning-artefacten en discontinuïteiten die inherent zijn aan histogram-gebaseerde methoden worden geëlimineerd.
2. Hoog-dimensionale Flexibiliteit: Door gebruik te maken van neurale netwerken kan de methode simultaan meerdere gecorreleerde kinematische variabelen incorporeren, waardoor complexe afhankelijkheden worden gevangen die traditionele gebinte methoden niet kunnen vatten vanwege de "vloek van dimensionaliteit".
3. Verbeterde Extrapolatie: De continue aard van de estimator maakt een gladdere en stabielere extrapolatie van de control region naar de signaalregio mogelijk.
4. Validatiekader: De auteurs demonstreren een robuust twee-staps validatieproces (subtractie en ratio) met behulp van ATLAS Open Data, wat garandeert dat de methode correct omgaat met de contaminatie door echte leptonen.

Resultaten
De methode werd gevalideerd met een analyse van $W \to e\nu$ gebeurtenissen uit ATLAS Run 2 data.

• Control Region (CR): De ML-gebaseerde methode vertoonde een goede overeenkomst met de traditionele gebinte methode in de CR. Hoewel de gebinte methode iets beter presteerde in lage-$p_T$ regio's met hoge statistiek, demonstreerde de ML-methode superieure modellering in variabelen zoals $E^{miss}_T$ en $m_T$, die moeilijk in gebinte analyses te includeren zijn vanwege statistische beperkingen.
• Signal Region (SR): Bij extrapolatie naar de SR ($m_T > 60$ GeV) bood de ML-gebaseerde methode aanzienlijk betere voorspellingen in zowel vorm als normalisatie vergeleken met de gebinte methode. De gebinte methode vertoonde grotere discrepanties en systematische mismodellering, met name in de distributies van $E^{miss}_T$ en $m_T$, als gevolg van de afhankelijkheid van grove binning en beperkte variabele-inclusie.
• Stabiliteit: De ML-benadering produceerde gladdere distributies met verminderde statistische fluctuaties, met name in regio's met lagere gebeurtenisaantallen of complexe correlaties.

Betekenis en Claims
Het artikel beweert dat de ML-gebaseerde Fake Factor methode een significante vooruitgang vormt in de datagedreven achtergrondschatting voor de hoge-energiefysica. Door over te stappen van discrete, laag-dimensionale binning naar continue, hoog-dimensionale dichtheidsratio-estimatie, kan de methode:

• Mitigeren van veelvoorkomende beperkingen zoals binning-selectiebias en extrapolatie-onzekerheden.
• Het vermogen versterken om complexe correlaties tussen variabelen te modelleren.
• De gevoeligheid verbeteren van zoektochten naar zeldzame signalen door meer accurate achtergrond-schattingen te bieden, waardoor het risico op spooksignalen door mismodellering wordt verkleind.

De auteurs benadrukken dat hoewel de methode is gedemonstreerd op een eenvoudige $W$-boson analyse, het framework inherent aanpasbaar is aan multi-lepton eindtoestanden en andere mis-geïdentificeerde objecten. Zij merken op dat toekomstig werk zich zal richten op het integreren van systematische onzekerheid-estimatie en het toepassen van de methode op complexere LHC-analyses die zoeken naar nieuwe fysica. De code voor de implementatie is publiekelijk beschikbaar gemaakt.