Continual Learning via Ensemble-Based Depth-Wise Masked Autoencoders for Data Quality Monitoring in High-Energy Physics

Dit artikel introduceert DepthViT, een lichtgewicht ensemble-gebaseerd maskerend autoencoder-architectuur die via continu leren de prestaties van datakwaliteitsmonitoring voor anomaliedetectie in de hoge-energiefysika behoudt ondanks veranderingen in datastromen.

De kern

De Slimme Wachter die Altijd Leert: Hoe AI de Deeltjesfysica Redt

Stel je voor dat je een enorme, supergeavanceerde camera hebt die deeltjes vastlegt die met bijna de lichtsnelheid door de lucht vliegen. Dit is wat er gebeurt in de CMS-detector bij CERN (het beroemde deeltjesversnellerlab in Zwitserland). Deze camera moet 24 uur per dag, 7 dagen per week, perfect werken. Maar net als elke machine in de echte wereld, slijt deze camera. Sommige pixels worden dof, andere worden te fel, en de omgeving verandert (kou, straling, magnetische velden).

In het verleden keken mensen met hun ogen naar de beelden om te zien of er iets mis was. Dat is traag en foutgevoelig. Nu gebruiken we Kunstmatige Intelligentie (AI) om dit te doen. Maar hier zit een groot probleem:

Het Probleem: De "Verouderde" AI

Stel je een AI voor die is getraind op foto's van een zomerdag. Als je die AI nu vraagt om een sneeuwstorm te herkennen, zal hij waarschijnlijk in de war raken. Hij denkt dat de sneeuw een fout is, terwijl het gewoon winter is.

In de deeltjesfysica gebeurt dit ook. De data verandert langzaam (zoals de seizoenen) of soms heel snel (zoals een plotselinge sneeuwstorm). Een AI die is getraind op "oude" data, wordt steeds slechter in het vinden van echte fouten in de "nieuwe" data. Dit noemen de auteurs modeldegradatie. De AI wordt "starr" en ziet geen verschil meer tussen een normale verandering en een echte storing.

De Oplossing: De "DepthViT" Camera

De auteurs hebben een nieuwe, slimme AI-architectuur bedacht die ze DepthViT noemen.

• De Analogie: Stel je voor dat je een foto van een cake maakt. Een normale AI kijkt naar de hele foto en probeert te raden wat er op de foto staat. DepthViT kijkt echter naar de diepte van de cake. In de deeltjesfysica zitten de deeltjes in verschillende lagen (dieptes). Een deeltje dat diep de detector in gaat, ziet er anders uit dan een deeltje dat vlak voor de lens blijft.
• Het Slimme Trucje: DepthViT behandelt elke laag van de detector als een eigen wereldje. Hij leert niet dat "rood" altijd "rood" is (zoals bij een gewone camera), maar hij begrijpt dat in deze specifieke lagen de regels anders zijn. Hierdoor is hij veel lichter en sneller dan andere AI-modellen (hij is ongeveer 100 keer kleiner!).

De Magie: Het "Ensemble" (Het Team)

De echte kracht zit hem niet alleen in de camera, maar in hoe ze hem gebruiken. Ze gebruiken een strategie die ze Continual Learning noemen.

Stel je voor dat je een team van veiligheidswachten hebt:

1. De Oude Wacht: Kent de detector van jaren geleden. Hij weet hoe het eruit zag toen alles nieuw was.
2. De Nieuwe Wacht: Kent de detector van vandaag. Hij weet hoe het eruit ziet nu de machine wat ouder is.

In plaats van één wacht te hebben die probeert alles te onthouden (en daardoor vergeten wat hij vroeger wist), houden ze een team bij.

• Als er een storing is, kijkt de nieuwe wacht eerst.
• Maar als de nieuwe wacht twijfelt (omdat de data heel anders is dan wat hij gewend is), roept hij de oude wacht erbij.
• Als één van hen zegt: "Hé, dit ziet er raar uit!", dan wordt het alarm afgeblazen.

Dit heet een Ensemble. Het team werkt samen. De oude wacht zorgt dat ze niet vergeten hoe het vroeger was (stabiliteit), en de nieuwe wacht zorgt dat ze zich aanpassen aan de huidige situatie (aanpasbaarheid).

Wat Levert Dit Op?

De auteurs hebben dit getest met data van 2018 en 2022.

• Zonder team: De AI werd na verloop van tijd dom. Hij miste storingen of riep onterecht alarm.
• Met het team: Het systeem bleef 99% nauwkeurig, zelfs toen de data enorm veranderde. Ze konden zelfs kleine storingen vinden die een mens of een oude AI zou missen.

Waarom is dit belangrijk voor jou?

Hoewel dit over deeltjesfysica gaat, werkt dit principe overal waar machines ouder worden en data verandert:

• Fabrieken: Een productielijn met sensoren die na 10 jaar anders gaan meten.
• Ziekenhuizen: Medische apparatuur die verouderd is.
• Auto's: Zelfrijdende auto's die moeten leren van nieuwe weersomstandigheden zonder hun oude kennis te verliezen.

Kortom: De auteurs hebben een slimme, lichte AI bedacht die samenwerkt in een team van "oud en nieuw". Zo kunnen ze continu fouten opsporen, zelfs als de wereld om hen heen verandert. Het is alsof je een veiligheidsdienst hebt die nooit vergeten is hoe het was, maar altijd klaar is voor wat er nu gebeurt.

Technische samenvatting

Probleemstelling

In het veld van de Hoge-Energie Fysica (HEP), en specifiek bij het Compact Muon Solenoid (CMS) experiment bij CERN, is Data Quality Monitoring (DQM) cruciaal om de werking van detectoren te waarborgen en anomalieën (zoals dode kanalen, gedegradeerde kanalen of "hot" kanalen) te detecteren. Traditionele methoden worden steeds vaker vervangen door Machine Learning (ML) voor Anomaly Detection (AD).

Echter, ML-modellen die zijn getraind op statische datasets lijden onder distributieveranderingen (distributional shifts) in de datastromen. CMS-detectoren opereren in extreme omstandigheden (straling, cryogene temperaturen, magnetische velden), wat leidt tot geleidelijke of plotselinge degradatie van componenten en veranderingen in de machineparameters. Dit veroorzaakt een verschuiving in de inkomende datastromen tussen verschillende "runs" en jaren.

• Gevolg: Modellen die niet zijn aangepast, ondergaan modeldegradatie en vertonen prestatieverlies (catastrophic forgetting), wat leidt tot het afwijzen van goede data of het missen van echte anomalieën.
• Uitdaging: Bestaande oplossingen voor Continue Machine Learning (CML), zoals regularisatie of replay-mechanismen, zijn vaak inefficiënt, vereisen veel geheugen of werken niet goed bij grote, onvoorspelbare verschuivingen.

Methodologie

De auteurs stellen een nieuwe architectuur en een continu leerframework voor om deze uitdagingen aan te pakken.

1. DepthViT Architectuur (Depth-wise Vision Transformer)

In plaats van een standaard Vision Transformer (ViT) te gebruiken, introduceren de auteurs DepthViT, een lichtgewicht masked autoencoder die is geoptimaliseerd voor de specifieke aard van HCAL-data (Hadron Calorimeter).

• Dieptewijze Convoluties: In tegenstelling tot RGB-afbeeldingen waar kanalen (R, G, B) dezelfde fysieke punt vertegenwoordigen, vertegenwoordigen de dieptelagen in de HCAL verschillende fysieke afstanden en interactieprofielen. DepthViT gebruikt dieptewijze convoluties (separate kernels per kanaal) in plaats van gedeelde kernels over alle kanalen.
• Cross-Diepte Aandacht (Cross-Depth Attention): Het model past een nieuw aandachtmechanisme toe dat relaties tussen patches langs de kanaal-dimensie (diepte) berekent, in plaats van langs de sequentie-dimensie. Dit behoudt informatie over kanaalspecifieke relaties zonder de parametergrootte te laten exploderen.
• Efficiëntie: DepthViT is extreem lichtgewicht (~300.000 parameters), wat ongeveer 1/100e is van een standaard ViT-B/16, waardoor het ideaal is voor ensemble-methoden.

2. Anomalie Detectie Mechanisme

• Z-score Berekening: Het model wordt getraind op "pristine" (anomalievrije) data. Tijdens inferentie wordt de fout (verschil tussen voorspelling en werkelijkheid) berekend. Een Z-score wordt berekend over een tijdsvenster van $T$ "Lumisections" (LS).
• Gap-Score Methode: Om robuustheid te bieden tegen statische drempels, wordt een Gap-Score gebruikt. Dit meet het verschil tussen de twee grootste Z-scores in een verdeling. Een grote gap duidt op een anomalie. Dit werkt beter dan een vaste drempel, vooral bij degradatie van het model.

3. Continu Leer Framework (Ensemble Strategie)

Om degradatie door dataverschuivingen te voorkomen, wordt een ensemble-strategie ontwikkeld:

• Ensemble van Experts: In plaats van één model te updaten, worden meerdere DepthViT-modellen getraind op data van recente runs.
• Logische OR: De output van het ensemble wordt bepaald door een logische OR-operatie: als enig model in het ensemble data als anomalie labelt, wordt de hele dataset als anomalie gemarkeerd. Dit verlaagt de False Negative Rate (FNR).
• Dynamische Updates:
  1. Statistiek Update: De $\mu_{err}$ en $\sigma_{err}$ waarden (gebruikt voor de Z-score) worden periodiek bijgewerkt met de nieuwste data, zonder het model zelf te finetunen.
  2. Model Ensemble: Nieuwe modellen worden getraind op de nieuwste data en toegevoegd aan het ensemble, terwijl de oudste modellen worden verwijderd (sliding window).
• Schaaltechnieken: Er worden twee parallelle schaalmethoden gebruikt (Max Scaling en Quantile Scaling) om zowel kleine als grote anomalieën beter te detecteren.

Belangrijkste Bijdragen

1. DepthViT Architectuur: Een nieuwe, lichtgewicht masked autoencoder die de fysieke aard van calorimeter-data (diepte-afhankelijke interacties) beter modelleert dan traditionele ViT's.
2. Ensemble-Based CML Strategie: Een praktische aanpak die modeldegradatie mitigeert door een ensemble van gespecialiseerde modellen te combineren met dynamische statistiek-updates, zonder de noodzaak van zware replay-mechanismen of complexe regularisatie.
3. Robuustheid: Het systeem behoudt hoge precisie (>99%) en stabiliteit bij zowel kleine (geleidelijke) als grote (plotselinge) distributieveranderingen tussen data-jaren (2018 vs. 2022).

Resultaten

De methode is getest op DigiOccupancy-kaarten van de CMS HCAL-detectoren uit 2018 en 2022.

• Baseline Prestaties: Een enkel model, getraind op 2018-data, faalde volledig bij 2022-data (hoge False Negative Rate door grote verschuivingen, o.a. door een defect in de detector in 2018).
• Statistiek Update Alleen: Het bijwerken van $\mu_{err}$ en $\sigma_{err}$ verbeterde de recall aanzienlijk, maar de precisie bleef lager bij grote verschuivingen.
• Ensemble Alleen: Het ensemble van modellen verlaagde de False Negative Rate, maar verhoogde de False Positive Rate (FPR) iets.
• Gecombineerde Aanpak (Optimaal): De combinatie van een ensemble van modellen (getraind op recente data) én het bijwerken van de Z-score statistieken resulteerde in:
  • Precisie > 99% voor alle geteste anomalie-strengths.
  • Een stabiele verhouding tussen correcte detecties en het aantal anomalieën.
  • Een significante verbetering in zowel FPR als FNR ten opzichte van single-model baselines en eerdere CML-technieken.

Betekenis en Toekomst

Dit werk presenteert een pad naar adaptieve anomaliedetectiesystemen die langdurig kunnen opereren in dynamische data-omgevingen.

• Voor HEP: Het biedt een oplossing voor het monitoren van detectoren in lange lopende experimenten zoals de LHC, waar data-kwaliteit essentieel is voor fysica-analyses.
• Brede Toepasbaarheid: De strategie is direct toepasbaar in industriële monitoring (bijv. productielijnen met verouderende sensoren) waar data natuurlijk evolueert.
• Architecturale Innovatie: De DepthViT-architectuur kan worden uitgebreid naar andere onderzoeksvelden waar informatie lokaal is (patches), maar waar kanalen niet noodzakelijkerwijs dezelfde fysieke punt vertegenwoordigen (bijv. spectrale data of multi-kanaal optische data).

Kortom, de auteurs tonen aan dat een lichtgewicht, ensemble-gebaseerde aanpak een praktische en effectieve manier is om modeldegradatie te bestrijden zonder de noodzaak van het hertrainen op historische data.