Data-quality monitoring of luminosity blocks with ATLAS Open Data: an open benchmark and a learned within-run detector

In de hooggestoken wereld van de deeltjesfysica laten de Large Hadron Collider protonen op elkaar botsen om de fundamentele bouwstenen van het universum te onthullen. De machine is echter niet perfect, en dat geldt ook voor de enorme detectoren die de botsingen registreren. Elke seconde genereren deze detectoren een stroom aan gegevens, maar niet alle gegevens zijn betrouwbaar. Soms vertoont een sensor een storing, fluctueert een voeding, of wordt een specifiek deel van de detector stil. Als natuurkundigen deze gebrekkige gegevens zouden gebruiken om naar nieuwe deeltjes te zoeken, zouden ze een defecte sensor voor een ontdekking kunnen aanzien. Om dit te voorkomen, maken de experimenten gebruik van een strikt kwaliteitscontrolesysteem dat de gegevens in kleine intervallen van één minuut controleert. Als er een probleem wordt gevonden, wordt die specifieke minuut aan gegevens als "slecht" gemarkeerd en weggegooid. De uitdaging is dat de detectoren zo complex zijn en de omstandigheden van de ene run naar de andere zo sterk veranderen, dat het extreem moeilijk is om deze subtiele fouten op te sporen. De methoden die worden gebruikt om ze te vinden, zijn een geheim gebleven, opgesloten in de laboratoria, waardoor het voor wetenschappers buiten de samenwerking onmogelijk is om verschillende benaderingen te vergelijken of het systeem te verbeteren.

Een onderzoeker genaamd Renjie Wang heeft dit veranderd door een publieke release van data van de ATLAS-detector te veranderen in een transparante testomgeving. Door echte botsingsgegevens van 2015 en 2016 te nemen en hier geheimhoudend bekende fouten in te injecteren, creëerde Wang een benchmark waarbij het "juiste" antwoord bekend is. Dit maakte een eerlijke vergelijking van verschillende methoden mogelijk om te zien welke het beste in staat is om de gesimuleerde problemen op te sporen zonder vals alarm te slaan. De studie onthulde dat de meest succesvolle strategie niet is om elke minuut aan gegevens te vergelijken met een globaal gemiddelde, maar om te kijken naar hoe elke minuut verschilt van de minuten direct eromheen. Met deze aanpak was een machine learning-systeem, getraind op synthetische fouten, in staat om 43 procent van de geïnjecteerde problemen te identificeren, terwijl het aantal valse alarmen slechts één procent bedroeg. Dit is een significante verbetering ten opzken de oudere scanningsmethoden, die onder dezelfde strikte voorwaarden slechts 25 procent van de fouten vonden.

De kern van het probleem ligt in de aard van de gegevens zelf. De detector registreert botsingen in "luminositeitsblokken", wat ongeveer één minuut durende vensters zijn waarin de omstandigheden als stabiel worden beschouwd. Om te controleren of een blok goed is, vullen wetenschappers histogrammen in, wat in essentie staafdiagrammen zijn die laten zien hoeveel deeltjes van een bepaald type werden gevonden bij verschillende energieën of hoeken. In het verleden probeerden onderzoekers een nieuw blok gegevens te vergelijken met een referentie die is opgebouwd uit vele eerdere runs. Echter, de analyse van Wang toonde aan dat deze aanpak faalt omdat de omstandigheden tussen verschillende runs te veel variëren. Factoren zoals het aantal overlappende botsingen en de specifieke instellingen van de detector veranderen van run naar run, wat verschillen in de gegevens creëert die veel groter zijn dan de statistische ruis van een enkele minuut. Wanneer een nieuw blok wordt vergeleken met een run uit het verre verleden, lijken deze normale variaties op defecten, waardoor het systeem goede gegevens als slecht markeert.

De oplossing die in deze studie werd gevonden, is om veel dichter bij huis te kijken. In plaats van een blok te vergelijken met de volledige geschiedenis van het experiment, vergelijkt het systeem het met de andere blokken binnen dezelfde run. Binnen een enkele run zijn de detectorinstellingen en de algemene omstandigheden vast, en het enige dat geleidelijk verandert, is het aantal botsingen. Door een referentie specifiek voor elke run op te bouwen, kan het systeem de grote, normale variaties wegfilteren en zich concentreren op de plotselinge, grillige afwijkingen die op een echt probleem wijzen. Deze methode transformeert de gegevens in een reeks "residuen", of verschillen, die veel voorspelbaarder gedrag vertonen. Het is binnen deze opgeschoonde verschillen dat de defecten zichtbaar worden.

Om dit te testen, nam Wang de publieke data en injecteerde geheimhoudend acht verschillende soorten gesimuleerde detectorfouten in de gebeurtenissen. Deze omvatten scenario's zoals een dood gebied in de calorimeter waar deeltjes simpelweg verdwijnen, een "hot spot" waar een luidruchtige cel voor neptjes zorgt, of een plotselinge verschuiving in de energieschaal van de metingen. Deze fouten waren verborgen in de gegevens, en het doel was om te zien welk computerprogramma ze kon vinden. De studie vergeleek verschillende benaderingen, waaronder eenvoudige statistische scans en complexere machine learning-modellen. De eenvoudige scans, die zoch even naar specifieke patronen van fouten, vonden ongeveer een kwart van de problemen. Echter, een machine learning-classifier getraind op de residuen van de gegevens presteerde aanzienlijk beter. Dit systeem leerde de subtiele, gecombineerde handtekeningen van fouten over vele verschillende histogrammen te herkennen, in plaats van te zoeken naar één enkel duidelijk patroon.

De resultaten waren duidelijk. Het machine learning-systeem, getraind op synthetische voorbeelden van defecten en gekalibreerd met een strikte statistische methode om een laag aantal valse alarmen te garanderen, detecteerde 43 procent van de geïnjecteerde fouten. Dit was een substantiële sprong ten opzken de 25 procent detectiegraad van de beste traditionele scanningsmethode. Het systeem was bijzonder effectief in het vinden van fouten die verspreid waren over verschillende delen van de gegevens, waarbij geen enkel histogram een dramatische piek vertoonde. De studie benadrukte echter ook de grenzen van wat gevonden kan worden. Sommige typen fouten, zoals een specifiek module die uitschakelt op een manier die slechts een klein deel van de gegevens beïnvloedt, waren te subtiel om door welke methode dan ook te worden gezien, gezien de hoeveelheid gegevens in een enkele minuut. Bovendien had het systeem moeite wanneer het werd geconfronteerd met een type fout dat het nog nooit eerder had gezien. Als de trainingsdata alleen specifieke voorbeelden bevatten van dode regio's of hot spots, zou het systeem een volledig ander soort falen missen.

Om dit aan te pakken, testten de onderzoekers een "vangnet"-benadering. Ze voegden generieke, patroononafhankelijke voorbeelden van detectorfouten toe aan de trainingsdata — simulaties die geen specif kind specifiek bekend fouten nabootsen, maar de algemene gedachte vertegenwoordigen dat er iets misgaat. Deze aanpassing stelde het systeem in staat om 34 procent van de onbekende fouttypen te vangen, een grote verbetering ten opzken de 18 procent die werd gevangen door het systeem dat alleen op bekende patronen was getraind. De afruil was een kleine daling in prestaties op de bekende typen, maar het algemene vermogen om onbekende problemen te detecteren nam toe. Dit suggereert dat voor een real-world detector, waarbij de volledige lijst van mogelijke defecten nooit compleet is, een systeem dat getraind is op een mix van bekende en generieke fouten de meest robuuste keuze is.

De studie onderzocht ook hoeveel historische gegevens nodig zijn om deze systemen te laten werken. Een veelvoorkomende zorg is dat een nieuwe detector mogelijk niet genoeg gegevens uit het verleden heeft om aan het begin van een jaar een betrouwbare referentie op te bouwen. Het onderzoek toonde aan dat het machine learning-systeem een geschiedenis van ongeveer acht voorgaande runs nodig heeft om de eenvoudige scanningsmethoden te overtreffen. Met minder runs is het systeem te conservatief en mist het te veel fouten, maar met een bescheiden hoeveelheid geschiedenis wordt het snel het superieure instrument. Dit inzicht is cruciaal voor de praktische inzet van dergelijke systemen, aangezien het betekent dat ze relatief vroeg in een periode van gegevensverzameling al effectief kunnen zijn.

Uiteindelijk demonstreert dit werk dat de sleutel tot het monitoren van complexe wetenschappelijke instrumenten niet ligt in het zoeken naar globale anomalieën, maar in het begrijpen van de lokale context. Door zich te concentreren op de verschillen binnen een enkele run en machine learning te gebruiken om de subtiele patronen van afwijking te interpreteren, kunnen wetenschappers een veel hoger percentage fouten vangen zonder goede gegevens weg te gooien. De benchmark die in deze studie is gecreëerd, is nu publiek toegankelijk, waardoor andere onderzoekers hun eigen ideeën tegen dezelfde real-world data kunnen testen. Deze transparantie is een vitale stap vooruit, die het veld verplaatst van een verzameling geïsoleerde, propriëtaire methoden naar een gedeelde, competitieve omgeving waar de beste technieken kunnen worden geïdentificeerd en verfijnd ten behoeve van alle toekomstige natuurkundige ontdekkingen.