VIGILant: an automatic classification pipeline for glitches in the Virgo detector

Dit artikel introduceert VIGILant, een automatisch classificatie- en visualisatiekader voor glitches in de Virgo-detector dat, na evaluatie van verschillende machinelearning-modellen, een ResNet34-neuraal netwerk implementeert voor nauwkeurige en snelle glitchherkenning en dagelijks operationeel is sinds run O4c.

De kern

🛡️ VIGILant: De Wapenmeester van de Virgo-detector

Stel je voor dat de Virgo-detector (een gigantisch instrument in Italië dat zwaartekrachtgolven van het heelal opvangt) een zeer gevoelige microfoon is. Deze microfoon luistert naar het gefluister van botsende zwarte gaten. Maar er is een groot probleem: de microfoon is ook erg gevoelig voor ruis.

Soms maakt de microfoon een rare geluidsknal, een piep of een trilling. Dit zijn geen kosmische signalen, maar "glitches" (foutjes). Deze kunnen komen door een vrachtwagen die voorbijrijdt, een trillende motor, of zelfs een defect in de apparatuur zelf. Deze glitches zijn als vliegen in een soep: ze verpesten het recept (de data) en maken het onmogelijk om de echte smaak (het kosmische signaal) te proeven.

De wetenschappers hebben een nieuwe oplossing bedacht: VIGILant.

🕵️‍♂️ Wat is VIGILant?

VIGILant is een automatische computerprogramma (een "pijplijn") dat als een super-snelle, onuitputtelijke inspecteur werkt. Zijn enige taak is om de data van de Virgo-detector te scannen, de glitches te vinden en ze direct te classificeren.

Het werkt als een slimme postsorteerder:

1. De detector stuurt een berg brieven (data) binnen.
2. VIGILant pakt elke brief op.
3. Het kijkt of het een echte post is (een kosmisch signaal) of een reclamefolder (een glitch).
4. Als het een reclamefolder is, kijkt het precies wat voor type folder het is: is het een "Trillende Motor"? Een "Vluchtende Vlieg"? Of een "Onbekend Soort"?
5. Vervolgens toont het dit allemaal op een interactief dashboard voor de onderzoekers, zodat ze weten wat er aan de hand is.

🧠 Hoe leert de computer dit?

In het verleden keken mensen met hun blote ogen naar de grafieken van deze glitches, of gebruikten ze een systeem dat vooral was getraind op de andere grote detector (LIGO in de VS). Maar Virgo is anders gebouwd, dus wat voor LIGO een "Trillende Motor" is, kan voor Virgo iets heel anders zijn. Het oude systeem was vaak te zelfverzekerd en maakte fouten.

VIGILant gebruikt twee verschillende manieren om te leren, net als een student die voor een examen studeert:

1. De "Statische" Methode (Bomen):
   De computer kijkt naar een lijst met getallen (zoals de hoogte van de piek, de duur van het geluid). Het bouwt een soort boomdiagram met ja/nee-vragen.

   • Vergelijking: "Is het geluid hoger dan 500 Hz? Ja. Is het korter dan 1 seconde? Ja. Dan is het een 'Blip'."
   • Dit werkt snel en is makkelijk te begrijpen, maar het is niet altijd heel slim.

2. De "Visuele" Methode (ResNet):
   De computer kijkt niet naar getallen, maar naar kleurplaatjes (spectrogrammen) van de glitches. Het ziet hoe het geluid eruitziet als een landschap.

   • Vergelijking: Dit is alsof je een kind leert een hond te herkennen. Je zegt niet: "Hij heeft vier poten en een staart" (de getallen), maar je laat het kind duizenden foto's van honden zien. Het kind leert de vorm en het patroon.
   • De ResNet (een soort kunstmatige intelligentie) is hierin de winnaar. Hij heeft gekeken naar duizenden plaatjes en leert de subtiele verschillen tussen de soorten glitches.

🏆 De resultaten

De onderzoekers hebben de twee methoden laten wedijveren.

• De "Statische" methode was snel, maar maakte nogal wat fouten bij lastige gevallen.
• De "Visuele" methode (ResNet) was buitengewoon goed. Hij had een nauwkeurigheid van 98%. Hij kon zelfs de zeldzame en lastige glitches herkennen die de andere methoden verwarren.

Bovendien is hij razendsnel. Het kost de computer slechts een fractie van een seconde om een glitch te analyseren. Hij is dus snel genoeg om elke dag te werken zonder de onderzoekers te vertragen.

📊 Het Dashboard: Een weersvoorspelling voor ruis

Sinds de Virgo-detector weer actief is (tijdens de "O4c" run), draait VIGILant elke dag. Hij maakt een dashboard voor de onderzoekers.

Stel je dit voor als een weerkaart voor ruis:

• Je ziet een kaart met stippen: elke stip is een glitch.
• De kleur vertelt je wat voor soort glitch het is (bijv. rood voor "Trillende Motor", blauw voor "Vluchtende Vlieg").
• De grootte van de stip vertelt je hoe hard het geluid was.
• Als er plotseling heel veel rode stippen verschijnen, weten de ingenieurs: "Oh, er is iets mis met de motor, we moeten dat controleren."

Het systeem heeft ook een slimme truc: als het niet zeker is wat een glitch is, zegt hij niet "Ik denk dat het X is", maar "Ik heb hier geen vertrouwen in". Dit helpt de onderzoekers om precies die rare, onbekende glitches te vinden die ze verder moeten onderzoeken.

🚀 Waarom is dit belangrijk?

Zonder VIGILant zouden de onderzoekers uren moeten besteden aan het handmatig zoeken naar deze foutjes in de data. Met VIGILant kunnen ze zich richten op het echte werk: het ontdekken van het heelal.

Het is alsof je een detective bent die een moordzaak onderzoekt. VIGILant is de robot-assistent die alle getuigenverklaringen (de data) doorzoekt, de neppe verklaringen (de glitches) eruit filtert en de echte aanwijzingen (de zwaartekrachtgolven) op een bord zet. Hierdoor kunnen we het universum beter begrijpen dan ooit tevoren.

Kortom: VIGILant is de onzichtbare wachter die zorgt dat de Virgo-detector scherp blijft luisteren naar de stem van het heelal, door alle storende ruis automatisch te herkennen en te sorteren.

Technische samenvatting

Probleemstelling

Gravitationele-golf (GW) detectoren, zoals Virgo, zijn voortdurend blootgesteld aan tijdelijke, niet-Gaussische ruisbronnen, bekend als "glitches". Deze glitches kunnen astrophysieke signalen nabootsen (vooral bij hoge massa zwarte gaten) of overlappen met echte signalen, wat de detectie en parameterbepaling ernstig belemmert.

• Huidige uitdaging: Bestaande tools zoals Gravity Spy zijn voornamelijk getraind op data van LIGO. Vanwege de aanzienlijke verschillen in hardware en operationele gevoeligheid tussen LIGO en Virgo, presteert dit model suboptimaal voor Virgo-data. Het model neigt tot oververzekerde (overconfident) en onjuiste classificaties voor Virgo-glitches.
• Behoefte: Er is een dringende noodzaak voor een specifiek voor Virgo ontworpen, geautomatiseerd classificatiesysteem dat nauwkeurig is, interpreteerbaar en dagelijks operationeel kan zijn om detectorkarakterisering te ondersteunen.

Methodologie

De auteurs introduceren VIGILant (Virgo Glitch Identification and Learning), een automatisch pijplijn voor classificatie en visualisatie. De aanpak omvat de volgende stappen:

1. Dataset Constructie (Virgo O3b):

   • De dataset is gebaseerd op glitches uit de tweede helft van de derde observatierun (O3b).
   • Er is een kritische herclassificatie (re-labeling) uitgevoerd op basis van visuele inspectie en UMAP-projecties (Uniform Manifold Approximation and Projection).
   • Oorspronkelijke Gravity Spy-klassen met onduidelijke morfologische grenzen (zoals Scattered Light, Low Frequency Burst, Light Modulation) werden samengevoegd tot één klasse: Scattering.
   • Violin Mode en Whistle werden samengevoegd tot Resonance Line.
   • De definitieve dataset bevat 11.193 glitches verdeeld over 7 klassen (o.a. Scattering, Resonance Line, Tomte, Blip, No Glitch, Extremely Loud, Koi Fish).
   • De data is gesplitst in trainings-, validatie- en testsets (70/15/15) met stratified sampling om de onbalans te behouden.

2. Feature Extractie:

   • Omicron Parameters: Structuurdata zoals piekfrequentie, SNR, amplitude, duur en bandbreedte.
   • Spectrogrammen: Beeldrepresentaties gegenereerd via Q-transformatie. Voor elke glitch worden drie spectrogrammen gemaakt met verschillende tijdsvensters (0,5s, 2,0s, 4,0s). Deze worden gestapeld in één "encoded" afbeelding (170x140 pixels, 3 kanalen) om verschillende tijdschalen tegelijkertijd te analyseren.

3. Machine Learning Modellen:
   Twee benaderingen werden geëvalueerd:

   • Tree-based modellen: Decision Trees (DT), Random Forests (RF) en XGBoost, getraind op de Omicron-parameters.
   • Convolutional Neural Networks (CNN): ResNet-architecturen (ResNet18, ResNet34, ResNet50) getraind op de spectrogram-afbeeldingen.

4. Implementatie:
   De beste model wordt dagelijks uitgevoerd op het Virgo-computersysteem. Het proces omvat het ophalen van triggers, clustering, genereren van spectrogrammen, inferentie en het updaten van een interactief dashboard.

Belangrijkste Resultaten

• Modelprestaties:

  • De ResNet34 (CNN) behaalde de beste prestaties met een F1-score van 0,9772 en een nauwkeurigheid (accuracy) van 0,9833 op de testset.
  • Tree-based modellen (XGBoost) presteerden redelijk (F1 ~0,90) en waren sneller in training, maar minder accuraat.
  • De inferentietijd voor ResNet is extreem snel: ongeveer 40 milliseconden per glitch (zonder GPU-versnelling), wat geschikt is voor bijna real-time monitoring.

• Analyse van Fouten:

  • De meeste classificatiefouten bleken te wijten te zijn aan fouten in de ground-truth labels (onjuiste labels in de dataset) in plaats van tekortkomingen van het model zelf.
  • Het model presteerde zelfs goed op de minderheidsklasse Koi Fish.

• Betrouwbaarheid en Out-of-Distribution:

  • Er werd een drempelwaarde voor lage betrouwbaarheid ingesteld (2,5e percentiel van de validatie-scores, ~0,85).
  • Bij het testen met "out-of-domain" glitches (nieuwe klassen zoals Air Compressor en 32 Hz Blobs die niet in de trainingsdata zaten), flagde het model 57% van de Air Compressor en 40% van de 32 Hz Blobs als "Low Confidence". Dit toont aan dat het systeem nieuwe of onbekende glitches kan detecteren door lage zekerheid.

Bijdragen en Significatie

1. Operationalisatie: VIGILant is sinds observatierun O4c dagelijks operationeel op de Virgo-site. Het levert een cruciaal product voor detectorkarakterisering aan de Virgo-samenwerking.
2. Interactieve Visualisatie: De pijplijn voedt een interactief dashboard met drie hoofdcomponenten:
   • Een Glitchgram: Een tijd-frequentie plot waar de grootte van de marker de SNR aangeeft en de kleur de geclassificeerde familie.
   • Een Barplot: Dagelijkse tellingen per glitch-familie.
   • Een Heatmap: Maandelijkse samenvatting om trends en afwijkingen in glitch-rates te identificeren.
3. Verbeterde Datakwaliteit: Door de herclassificatie van de O3b-dataset en het gebruik van een op Virgo-specifiek getraind model, wordt de betrouwbaarheid van glitch-analyses aanzienlijk verhoogd ten opzichte van het gebruik van LIGO-georiënteerde modellen.
4. Toekomstperspectief: Het systeem is ontworpen om te evolueren. Plannen zijn er om onbewaakte clustering toe te passen op "Low Confidence" glitches om nieuwe klassen te ontdekken en geavanceerde reconstructiemethoden (zoals Sparse Dictionary Learning) te integreren om glitches uit de data te verwijderen.

Conclusie:
VIGILant vertegenwoordigt een belangrijke stap voorwaarts in de automatische monitoring van gravitationele-golf detectoren. Het combineert de hoge nauwkeurigheid van diepe learning (ResNet) met een praktische, dagelijkse operationele pijplijn, waardoor het Virgo-team beter in staat is om ruis te identificeren, detectorproblemen op te sporen en de gevoeligheid voor echte astrophysieke signalen te maximaliseren.