MEDIC: a network for monitoring data quality in collider experiments

Dit artikel introduceert MEDIC, een op machine learning gebaseerd, simulatie-gedreven raamwerk voor het automatisch detecteren en lokaliseren van storingen in de datakwaliteit van deeltjesfysica-experimenten.

De kern

Stel je voor dat je een gigantisch, super-complexe raceauto bouwt: de Large Hadron Collider (LHC). Deze auto rijdt niet op een circuit, maar door een tunnel onder de Alpen, en hij schiet deeltjes tegen elkaar aan met de snelheid van het licht. Het doel? Nieuwe mysteries van het universum ontdekken.

Maar er is een groot probleem: deze auto is zo groot en complex dat hij duizenden sensoren heeft. Als één van die sensoren even een beetje "stout" doet (bijvoorbeeld door een elektrisch storingetje), kan de hele race verpest worden. De data die je verzamelt, is dan onbetrouwbaar.

In de wetenschap noemen we het controleren van deze sensoren Data Quality Monitoring (DQM). Vroeger deden mensen dit handmatig. Ze keken naar grafieken en zeiden: "Hé, die lijn ziet er raar uit, iets is kapot." Maar met de enorme hoeveelheid data die de LHC produceert, is dit voor mensen te veel werk en te traag.

Hier komt MEDIC in beeld.

Wat is MEDIC?

MEDIC staat voor Monitoring for Event Data Integrity and Consistency. Het is een slim computerprogramma (een kunstmatige intelligentie) dat is getraind om als een super-waakhond te fungeren.

In plaats van dat een mens urenlang naar grafieken staart, kijkt MEDIC naar de data en zegt direct: "Hé, er is iets mis! En ik weet precies welk onderdeel van de detector het probleem veroorzaakt."

Hoe werkt het? (De Simulatie)

Het grootste probleem bij het trainen van zo'n slimme hond is: hoe leer je hem wat "fout" is, als je nog geen echte fouten hebt gezien in de echte machine?

De auteurs van dit papier hebben een slimme oplossing bedacht: ze trainden MEDIC in een virtuele wereld.

Stel je voor dat je een videospelletje maakt van die raceauto. In dat spel kun je alles simuleren. Je kunt zeggen: "Oké, vandaag doen we alsof de sensoren in de linkerkant van de auto kapot zijn." Of: "Vandaag doen we alsof de sensoren in de achterkant niet werken."

1. De Virtuele Werkplaats: Ze gebruikten een softwareprogramma genaamd Delphes. Dit is een snelle simulator die doet alsof het de echte detector is.
2. Het Spel van "Aan en Uit": Ze lieten de simulator duizenden keren een botsing nabootsen. Soms deden ze alles normaal. Soms schakelden ze bewust een stukje van de detector uit (een "glitch").
3. De Leerling: MEDIC keek naar deze virtuele data. Het zag: "Ah, als dit stukje uit staat, ziet de data er zo uit. Als dat stukje uit staat, ziet het er anders uit."

Door dit duizenden keren te oefenen in de simulator, leerde MEDIC de patronen van een defecte detector, zonder dat er ooit een echte machine kapot hoefde te gaan.

De Architectuur: Een Team van Experts

MEDIC is niet zomaar één brein; het is meer als een team van drie experts die samenwerken:

• Expert 1 (De Spoorzoeker): Kijkt naar de sporen die de deeltjes achterlaten.
• Expert 2 (De Energie-Meter): Kijkt naar de energie die de deeltjes afgeven in de muren van de detector.
• Expert 3 (De Balans-Meester): Kijkt naar de totale energie in het spel.

Elke expert kijkt naar zijn eigen stukje data. Daarna komen ze samen in een "vergaderzaal" (een neurale netwerkschakeling) en zeggen: "Ik zie een probleem in de energie-metingen, en de spoorzoeker bevestigt dat." Samen beslissen ze of er een fout is en waar die zit.

Waarom is dit zo cool?

1. Snelheid: Mensen zijn traag. Computers zijn snel. MEDIC kan in een fractie van een seconde zeggen: "Er is een storing in de HCAL-barrel."
2. Vooruitlopen: Omdat MEDIC getraind is op simulaties, is hij klaar om te werken voordat de echte machine zelfs maar aanstaat. Als de echte machine later een storing krijgt, is MEDIC al klaar om het te herkennen.
3. Geen Paniek: Soms denkt MEDIC dat er een storing is, terwijl het gewoon een rare statistische flater is. Daarom is het systeem zo ontworpen dat hij niet bij elke kleine rare piek alarm slaat. Hij wacht tot hij een paar keer op rij ziet dat er iets mis is, voordat hij de menselijke operators waarschuwt. Dit voorkomt dat mensen gestrest raken door valse alarmen.

Conclusie

Kortom: MEDIC is een slimme, virtueel getrainde robot die helpt om de gigantische deeltjesversnellers van de toekomst gezond te houden. In plaats van dat mensen urenlang naar grafieken staren, doet de AI het zware werk. Het is als het hebben van een super-slimme monteur die de auto al kent voordat hij zelfs maar gebouwd is, zodat hij direct weet wat er mis is als het motorlampje gaat branden.

Dit papier laat zien dat we met simpele computerspellen (simulaties) heel geavanceerde, echte wetenschappelijke problemen kunnen oplossen.

Technische samenvatting

Titel: MEDIC: Een netwerk voor het bewaken van datakwaliteit in collider-experimenten

Auteurs: Juvenal Bassa, Arghya Chattopadhyay, Sudhir Malik en Mario Escabi Rivera (Universiteit van Puerto Rico, Mayagüez).

---

1. Het Probleem

Datakwaliteitsbewaking (DQM - Data Quality Monitoring) is een kritische component in deeltjesfysica-experimenten, zoals die aan de Large Hadron Collider (LHC) bij CERN. De huidige uitdagingen zijn:

• Extreme complexiteit en schaal: Detectoren bestaan uit duizenden subcomponenten en genereren enorme datavolumes.
• Menselijke beperkingen: Traditionele DQM-systemen vertrouwen op menselijke "shifters" die histogrammen van live data vergelijken met referentie-uitvoer. Dit is tijdrovend, vatbaar voor menselijke fouten en reageert traag op anomaliën.
• Afhankelijkheid van geverifieerde data: Bestaande methoden vereisen vaak reeds geverifieerde datasets om referenties op te stellen, wat de ontwikkeling van monitoringtools vertraagt, vooral bij toekomstige upgrades (zoals de HL-LHC).
• Noodzaak voor automatisering: Er is een dringende behoefte aan geautomatiseerde, machine learning (ML)-gebaseerde systemen die anomalieën in real-time kunnen detecteren en de bron van storingen kunnen lokaliseren.

2. Methodologie

De auteurs introduceren MEDIC (Monitoring for Event Data Integrity and Consistency), een end-to-end, simulatie-gedreven DQM-framework.

A. Simulatie-gedreven aanpak

In plaats van te wachten op echte data, gebruiken de auteurs een aangepaste versie van Delphes (een snelle detector-simulatie) om een synthetische dataset te genereren.

• Scenario's: Ze simuleren vier specifieke toestanden:
  1. Normale run (alle systemen intact).
  2. HCAL barrel glitch (5° torens gedeactiveerd).
  3. HCAL endcap glitch (10° torens gedeactiveerd).
  4. HCAL forward glitch (20° torens gedeactiveerd).
• Voordeel: Dit stelt hen in staat om een "ground truth" te hebben zonder menselijke tussenkomst en maakt het mogelijk om DQM-modellen te trainen voordat de hardware zelfs maar gebouwd is.
• Dataset: Gebruikmakend van MadGraph5_aMC@NLO en Pythia8 voor deeltjesgeneratie, worden proton-proton botsingen (13 TeV) gesimuleerd. De data wordt verwerkt in een schuivend venster (sliding window) van $W$ opeenvolgende gebeurtenissen om tijdsreekspatronen te vangen.

B. Architectuur van MEDIC

Het MEDIC-neuraal netwerk is ontworpen om directe kinematische informatie van deeltjes te verwerken zonder tussenliggende histogrammen. De architectuur bestaat uit drie parallelle takken die later worden samengevoegd:

1. Tracks-tak: Verwerkt 30 willekeurig geselecteerde sporen (7 features elk) via een Transformer-encoder (multi-head self-attention) om permutatie-invariantie te garanderen.
2. Towers-tak: Verwerkt 30 willekeurig geselecteerde calorimeter-torens (8 features elk) eveneens via een Transformer-encoder.
3. MET-tak: Verwerkt het ontbrekende transversale energie (MET) als een globaal vector (3 features) via een niet-lineaire projectie.

De uitkomsten van deze drie takken worden gestapeld tot een tensor van vorm $[128, 3, W]$ en vervolgens verwerkt door een 2D-Convolutional Neural Network (CNN) met drie blokken (64, 128, 256 kanalen) om lokale correlaties in de tijd (over het venster $W$) te leren.

• Uitvoer: Een fully connected classifier met softmax-uitvoer voor de kansverdeling over de vier klassen (Normaal, Barrel glitch, Endcap glitch, Forward glitch).

C. Training en Validatie

• Verliesfunctie: Kullback-Leibler (KL) divergentie, omdat het model een waarschijnlijkheidsverdeling moet leren in plaats van alleen een harde classificatie.
• Validatiestrategie: $k$-fold cross-validatie (met $k=5$) gecombineerd met een ensemble-methode. De uiteindelijke voorspelling is een gemiddelde van de uitkomsten van 5 onafhankelijk getrainde modellen, wat de robuustheid verhoogt tegen statistische fluctuaties.
• Optimalisatie: Gebruik van de Adam-optimizer, early stopping en een batchgrootte van 64.

3. Belangrijkste Bijdragen

• End-to-End Framework: MEDIC werkt direct op ruwe kinematische input (tracks, towers, MET) zonder handmatige feature-extractie of histogrammen, wat de latentie verlaagt en de gevoeligheid voor subtiele inconsistenties verhoogt.
• Locatie van Fouten: Het systeem kan niet alleen detecteren dat er een fout is, maar ook localiseren welke detectorcomponent (barrel, endcap, forward) defect is.
• Simulatie als Fundament: Het bewijst dat een volledig DQM-systeem kan worden ontwikkeld, getraind en gevalideerd puur op basis van simulaties, wat de ontwikkelingstijd voor toekomstige experimenten (zoals HL-LHC) drastisch verkort.
• Open Source: De volledige code, configuraties en parameterkaarten zijn beschikbaar via een GitHub-repository, wat reproduceerbaarheid garandeert.

4. Resultaten

De prestaties werden geëvalueerd op een testset met verschillende venstergroottes ($W$).

• Optimale Venstergrootte: De beste prestaties werden behaald bij $W = 30$ gebeurtenissen.
  • Multi-class Accuracy: 89,7%
  • AUC (Area Under Curve): 0,963
  • Brier Score: 0,001 (zeer lage kalibratiefout).
• Binair Classificatie: Zelfs zonder expliciete training voor "normaal vs. abnormaal", presteerde het model sterk in het onderscheiden van normale runs van defecte runs (Accuracy ~90,3%, AUC ~0,961).
• Robuustheid: Het ensemble-benadering en de cross-validatie toonden aan dat het model stabiel is en niet overfit op specifieke willekeurige selecties van tracks of torens.
• Efficiëntie: De inferentie-tijd schaalt lineair met de venstergrootte, wat het geschikt maakt voor online monitoring.

5. Betekenis en Toekomstperspectief

• Paradigmaverschuiving: Dit werk markeert een verschuiving van histogram-gebaseerde, mens-gestuurde DQM naar een geautomatiseerd, ML-gedreven systeem dat werkt op gebeurtenis-niveau.
• Toekomstige Toepassingen: Hoewel de huidige simulatie beperkt is tot deeltjes-niveau (geen gedetailleerde elektronische signalen zoals in Geant4), toont het aan dat zelfs vereenvoudigde simulaties effectief zijn voor het detecteren van storingen.
• Scalabiliteit: Het modulaire ontwerp van MEDIC maakt het mogelijk om het systeem uit te breiden naar meer defectscenario's, ongecontroleerde data (unsupervised learning) of om te schalen naar toekomstige colliders.
• Mens-in-de-lus: Het systeem is ontworpen om shifters te assisteren door waarschuwingen te geven bij persistente anomalieën (over meerdere vensters), waardoor de menselijke workload wordt verminderd en de reactietijd op storingen wordt verkort.

Conclusie: MEDIC biedt een veelbelovende, robuuste en schaalbare oplossing voor de datakwaliteitsbewaking van de volgende generatie deeltjesfysica-experimenten, waarbij simulatie een centrale rol speelt in de ontwikkeling en validatie van monitoringtools.