Transformer Networks for Continuous Gravitational-wave Searches

Technische Samenvatting: Transformer-netwerken voor continue gravitatiegolfzoektochten

Probleemstelling
Continue gravitatiegolven (CWs) uitgezonden door snel roterende, vervormde neutronensterren vereisen langdurige data-analyse voor detectie vanwege hun kleine amplitudes. De theoretisch optimale zoekmethode, coherente matched filtering, wordt computationeel onhaalbaar voor zoektochten met een breed parameterbereik (die grote gebieden aan de hemel en bereiken in frequentie/spin-down beslaan), omdat het aantal vereiste signaal-templates evenredig groeit. De huidige state-of-the-art, semicoherente matched filtering (bijv. de $\mathcal{F}$-statistiek), vermindert de computationele kosten door data op te splitsen in segmenten, maar vereist nog steeds enorme rekenkracht om een hoge gevoeligheid te bereiken. Eerdere pogingen om deep learning, specifiek Convolutional Neural Networks (CNN's), te gebruiken om deze kosten te verlagen, hebben veelbelovend gebleken, maar vereisten uitgebreide handmatige architectuurherontwerpen en hyperparameter-afstemming om een optimale gevoeligheid te benaderen, met name voor zwakke signalen die verspreid zijn over tijd en frequentie.

Methodologie
Deze studie onderzoekt de geschiktheid van de Vision Transformer (ViT) architectuur als alternatief voor CNN's voor CW-detectie, waarbij het probleem wordt geformuleerd als een beeldclassificatie-taak op detector-strain data.

• Input Data: De input bestaat uit Short Fourier Transforms (SFT's), het standaardformaat voor CW-pipelines. In tegenstelling tot eerdere werken, waarbij SFT's werden omgezet in langere spectrogrammen, stapelt deze methode opeenvolgende SFT's direct om een 2D multichannel beeld te vormen (tijd versus frequentie), waarbij de reële en imaginaire delen van twee detectoren (H1 en L1) vier kanalen vormen.
• Architectuur: De auteurs maken gebruik van een standaard ViT-architectuur die is aangepast voor deze specifieke input. Het SFT-beeld wordt verdeeld in patches (tokens) van vaste grootte. Belangrijke ontwerpkeuzes zijn:
  • Patch-dimensies geoptimaliseerd om ervoor te zorgen dat signalen volledig binnen ten minste één patch langs de frequentie-as vallen.
  • Een standaard transformer encoder-keten (vier encoders) met 16 attention heads en een verborgen dimensie van 256.
  • Een custom output-blok met global average pooling en een fully connected layer, wat licht afwijkt van de originele ViT om op de volledige encoder-output te opereren.
• Trainingsstrategie: ViT's worden getraind als binaire classificators (signaal versus ruis) met de Adam-optimizer en binary cross-entropy loss.
  • Benchmarks: De studie stelt benchmarks vast voor tien gerichte zoektochten (10-dagen duur) en zestien zoektochten met een breed parameterbereik (1-dag duur: 10 gericht, 6 all-sky) over vijf referentiefrequenties (20 Hz tot 1000 Hz).
  • Data Generatie: Trainingsdatasets bevatten signalen geïnjecteerd op de matched-filter gevoeligheidsdiepte ($D_{90\%}^F$) van de betreffende benchmark, gemengd met Gaussische ruis.
  • Evaluatie: Prestaties worden gemeten aan de hand van de detectiekans ($p_{det}$) bij een vaste vals-positief kans ($p_{fa} = 1\%$). Voor wide-parameter zoektochten wordt de ViT langs de frequentie-as verschoven om het volledige zoekbandbreedte te dekken, waarbij de waarde van de 'loudest statistic' wordt gebruikt.

Belangrijkste Resultaten
De getrainde ViT's werden geëvalueerd tegen de bijna-optimale $\mathcal{F}$-statistiek matched-filter zoektocht (WEAVE code) op onafhankelijke testdatasets.

1. Gerichte Zoektochten (10-dagen): De ViT's behaalden detectiekansen van $p_{det} \approx 89-90\%$ in bijna alle gevallen, wat de gevoeligheid van de matched-filter zoektocht nagenoeg evenaart. De gevoeligheidsdieptes ($D_{90\%}$) waren vrijwel identiek aan de $\mathcal{F}$-statistiek benchmarks. Opvallend genoeg werd deze prestatie bereikt met een standaard architectuur die geen speciale handmatige herontwerpen vereiste, in tegen tegenstelling tot de CNN's in eerdere studies die moeite hadden met zwakke signalen zonder significante tuning.
2. Zoektochten met Breed Parameterbereik (1-dag):
   • Gerichte Zoektochten: De ViT's benaderden de matched-filter prestaties en behaalden $p_{det} \approx 85-89\%$ (vergeleken met de 90% benchmark), met verschillen in gevoeligheidsdiepte van $\lesssim 1/\sqrt{\text{Hz}}$.
   • All-Sky Zoektochten: De ViT's behaalden $p_{det} \approx 78-88\%$. De gevoeligheid nam af met toenemende frequentie (een daling van $\approx 10\%$ van 20 Hz naar 1000 Hz), wat wordt toegeschreven aan de exponentiële groei in het aantal vereiste templates ($N_T$) in plaats van signaalverspreiding.
3. Generalisatie:
   • Signaalsterkte: De ViT's generaliseerden goed naar signaalsterktes die verschillen van de trainingsdiepte, waarbij ze de efficiëntiecurve van de matched filter nauwgezet volgden.
   • Frequentie: Een enkele ViT getraind op het volledige 20–1000 Hz band vertoonde robuuste prestaties ($p_{det} \approx 70-80\%$) over het gehele bereik, wat wijst op de haalbaarheid van een enkel netwerk voor breedband zoektochten.
   • Hemelpositie: Hoewel over het algemeen uniform, vertoonden de all-sky ViT's lichte biases in detectiekans afhankelijk van de positie aan de hemel (bijv. variaties nabij de polen versus de evenaar), een fenomeen dat ook in eerdere CNN-studies werd waargenomen.

Betekenis en Claims
Het artikel claimt dat de Vision Transformer architectuur een significante vooruitgang betekent ten opzichte van eerdere CNN-gebaseerde benaderingen voor CW-zoektochten. De primaire betekenis ligt in het vermogen van een "standaard" ViT-architectuur om bijna-optimale matched-filter gevoeligheid te bereiken op gerichte zoektochten en hoge gevoeligheid op zoektochten met een breed parameterbereik, zonder de uitgebreide handmatige ontwerpen en hyperparameter-afstemming die voorheen vereist waren voor CNN's.

De auteurs concluderen dat de ingebouwde priors van de ViT met betrekking tot beeldmorfologie minder restrictief lijken en natuurlijker geschikt zijn voor de kenmerken van CW-signalen (die verspreid zijn in tijd en frequentie) dan standaard kleine-kernel CNN's. Hoewel de studie beperkt is tot 1-dag wide-parameter benchmarks vanwege trainingstijdbeperkingen, suggereren de resultaten dat ViT's een computationeel efficiënt en hooggevoelig alternatief bieden voor toekomstige CW-zoektochten, wat potentieel de logistieke last van het trainen van aparte netwerken voor verschillende frequenties of soorten zoektochten kan verminderen. De auteurs geven expliciet aan dat het vaststellen of ViT's CNN's kunnen overtreffen op de moeilijkere 10-dag wide-parameter benchmarks een taak is voor toekomstig werk.