Machine learning method for enforcing variable independence in background estimation with LHC data: ABCDisCoTEC

In de hooggestoken wereld van de deeltjesfysica treden wetenschappers op als kosmische detectives, die door miljarden kleine botsingen heen zeven om een enkele, zeldzame gebeurtenis te vinden die mogelijk een nieuwe natuurwet onthult. Deze botsingen vinden plaats in de Large Hadron Collider, een enorme ring die diep onder de Frans-Zwitserse grens is begraven, waar protonenbundels met bijna de snelheid van het licht tegen elkaar aan botsen. De resulterende straal van deeltjes wordt vastgelegd door detectoren zoals CMS, wat een berg aan data creëert. De uitdaging is niet alleen het vinden van het nieuwe deeltje, bekend als het signaal, maar ook het nauwkeurig weten hoe de achtergrondruis eruitziet. Als de achtergrond onjuist wordt ingeschat, kan een wetenschapper een gewone fluctuatie aanzien voor een ontdekking, of erger nog, een echte ontdekking missen die verborgen ligt in de ruis. Traditioneel hebben natuurkundigen een slimme truc gebruikt genaamd de "ABCD-methode" om deze achtergrond te schatten. Ze verdelen hun data in vier vakken op basis van twee verschillende metingen. Als de twee metingen volledig onafhankelijk van elkaar zijn, kan het aantal achtergrondgebeurtenissen in het lege "signaalvak" worden voorspeld door de tellingen in de andere drie vakken met elkaar te vermenigvuldigen. Het is een betrouwbare manier om echte data te gebruiken om te raden hoe de achtergrond eruitziet, maar het heeft een fatale fout: het werkt alleen als die twee metingen werkelijk onafhankelijk zijn.

Het vinden van twee dergelijke onafhankelijke metingen is ongelooflijk moeilijk. In de complexe chaos van een deeltjesbotsing is bijna alles subtiel met elkaar verbonden. Als de twee metingen die worden gebruikt om de data te sorteren zelfs maar een klein beetje met elkaar verbonden zijn, faalt de voorspelling en wordt de schatting van de achtergrond onbetrouwbaar. Jarenlang hebben natuurkundigen gestreden om de juiste paren variabelen handmatig te vinden, een proces dat traag, moeilijk en vaak onsuccesvol is wanneer het signaal erg veel lijkt op de achtergrond. Een onderzoeker van de CMS-collaboratie bij CERN heeft nu een nieuwe oplossing ontwikkend die deze moeilijke taak automatiseert met behulp van machine learning. Zij hebben een systeem gecreëerd dat een computer leert om zijn eigen twee metingen uit te vinden, waarbij gegarandeerd wordt dat ze onafhankelijk zijn terwijl ze nog steeds uitstekend zijn in het opsporen van het signaal. Deze nieuwe aanpak, die zij ABCDisCoTEC noemen, stelt hen in staat om de achtergrond direct uit de geobserveerde data te schatten met veel hogere precisie, waardoor de noodzaak om te vertrouwen op imperfecte computersimulaties afneemt.

De kern van deze innovatie ligt in de manier waarop het machine learning-model wordt getraind. In het verleden gebruikten onderzoekers een methode genaamd ABCDisCo, die een neuraal netwerk leerde om twee outputs te produceren die statistisch onafhankelijk zijn. Echter, deze methode had een blinde vlek. Het kon ervoor zorgen dat de twee outputs ongecorreleerd waren, maar het kon niet garanderen dat de achtergrondgebeurtenissen zich gelijkmatig over de data zouden verspreiden, wat een strikte vereiste is voor de ABCD-methode om correct te werken. De nieuwe ABCDisCoTEC-methode lost dit op door een specifieke instructie aan het trainingsproces toe te voegen. De computer krijgt nu de opdracht om niet alleen de twee outputs onafhankelijk te maken, maar ook om de "non-closure" te minimaliseren. In eenvoudige termen is non-closure de fout die optreedt wanneer de voorspelling van de drie achtergrondvakken niet overeenkomt met het werkelijke aantal gebeurtenissen dat in het signaalvak wordt gevonden. Door het netwerk direct te leren deze fout te verminderen, leert het systeem de data zo te ordenen dat de achtergrondschatting wiskundig solide is.

Om dit idee te testen, paste de onderzoeker het toe op de zoektocht naar een hypothetisch deeltje genaamd een "stealth supersymmetrische top-squark". Dit deeltje is een partner van de topquark, een zwaar deeltje dat al bekend is, maar het wordt voorspeld door theorieën die verder gaan dan ons huidige begrip van de natuurkunde. Het probleem met het vinden van dit specifieke deeltje is dat het bijna exact lijkt op de achtergrondruis die wordt veroorzaakt door standaard topquark-paren. In eerdere zoektochten beperkte de onzekerheid over hoe goed de achtergrond werd gemodelleerd het vermogen om een signaal te vinden. De nieuwe methode werd getest met gesimuleerde data die de omstandigheden van de Large Hadron Collider nabootst. De resultaten toonden aan dat het ABCDisCoTEC-model erin slaagde om twee nieuwe variabelen te creëren die onafhankelijk van elkaar waren en de stabiliteit en robuustheid van de achtergrondordening aanzienlijk verbeterden. Dit stelde de onderzoeker in staat om de achtergrond in de signaalregio met hoge nauwkeurigheid te voorspellen, wat de gevoeligheid van de zoektocht aanzienlijk verbeterde, waarbij specifieke details en resultaten van de zoektocht in een aparte referentie zijn gedocumenteerd.

Een grote hindernis bij het gebruik van dergelijke complexe machine learning-modellen is het afstemmen van de vele knoppen en schuiven, de zogenaamde hyperparameters, die bepalen hoe het netwerk leert. Normaal gesproken moeten wetenschappers deze instellingen raden of duizenden proeven uitvoeren om de juiste combinatie te vinden, een proces dat tijdrovend en foutgevoelig is. Het artikel introduceert ook een tweede innovatie om dit probleem op te lossen: een wiskundige techniek genaamd de gemodificeerde differentiële methode van multipliers. In plaats van te gokken op de juiste balans tussen de verschillende doelen van de training, behandelt deze methode de vereisten als strikte beperkingen. Het dwingt het netwerk om een oplossing te vinden die voldoet aan specifieke doelen voor onafhankelijkheid en achtergrondnauwkeurigheid zonder dat daarvoor handmatig door eindeloze mogelijkheden gezocht hoeft te worden. Deze aanpak bleek veel sneller en stabieler dan traditionele methoden, waarbij het in een fractie van de tijd convergeerde naar de beste oplossing.

De onderzoeker valideerde vervolgens de bevindingen door de methode toe te passen op echte data verzameld van de Large Hadron Collider. Zij definieerden specifieke regio's in de data, gescheiden van het hoofdonderzoeksterrein, om te controleren of de methode correct werkte op werkelijke botsingsgebeurtenissen. De resultaten lieten zien dat het gedrag van de achtergrond in de echte data overeenkwam met het gedrag gezien in de simulaties, waarbij de non-closure-fout klein en consistent bleef in de validatieregio's. Deze validatie is cruciaal omdat het bevestigt dat de methode robuust genoeg is om te worden gebruikt in echte natuurkundige analyses, en aantoont dat het machine learning-model de onderliggende structuur van de echte data binnen deze specifieke testregio's heeft geleerd.

De implicaties van dit werk reiken veel verder dan deze enkele zoektocht naar een nieuw deeltje. De ABCDisCoTEC-methode vormt een belangrijke stap voorwaarts in het automatiseren van de analyse van hoogenergetische natuurkundige data. Door natuurkundigen in staat te stellen de achtergronden direct uit geobserveerde data met hoge precisie te schatten, vermindert het de afhankelijkheid van theoretische simulaties, die soms onnauwkeurig kunnen zijn. Dit leidt tot betrouwbaardere metingen en een grotere kans op het spotten van subtiele tekenen van nieuwe fysica. De combinatie van de nieuwe trainingsmethode en de geavanceerde optimalisatietechniek biedt een krachtig instrumentarium voor toekomstige experimenten. Het toont aan dat machine learning niet alleen kan worden gebruikt om data te classificeren, maar om de statistische methoden die worden gebruikt om de meest complexe botsingen in het universum te interpreteren, fundamenteel te verbeteren. Terwijl de Large Hadron Collider doorgaat met het verzamelen van data, zullen deze instrumenten essentieel zijn in de voortdurende zoektocht naar de fundamentele bouwstenen van de werkelijkheid.