Transformer Networks for Continuous Gravitational-wave Searches

Sintesi Tecnica: Reti Transformer per la Ricerca di Onde Gravitazionali Continue

Enunciato del Problema
Le onde gravitazionali continue (CW) emesse da stelle di neutroni in rapida rotazione e deformate richiedono un'analisi dei dati di lunga durata per essere rilevate, a causa delle loro ampiezze ridotte. Il metodo di ricerca teoricamente ottimale, il filtraggio coerente (matched filtering), diventa computazionalmente impraticabile per ricerche con spazi di parametri ampi (che coprono vaste aree di cielo e intervalli di frequenza/frequenza di rotazione/spin-down), poiché il numero di template di segnale richiesti cresce in modo proibitivo. Lo stato dell'arte attuale, il filtraggio coerente semicoerente (ad esempio, la $\mathcal{F}$-statistica), riduce il costo computazionale suddividendo i dati in segmenti, ma richiede comunque una potenza di calcolo massiccia per raggiungere un'elevata sensibilità. I precedenti tentativi di utilizzare il deep learning, specificamente le Reti Neurali Convoluzionali (CNN), per ridurre tali costi hanno mostrato risultati promettenti, ma hanno richiesto un esteso riprogettazione manuale dell'architettura e una sintonizzazione degli iperparametri per avvicinarsi alla sensibilità ottimale, specialmente per segnali deboli distribuiti nel tempo e nella frequenza.

Metodologia
Questo studio investiga l'idoneità dell'architettura Vision Transformer (ViT) come alternativa alle CNN per la rilevazione di CW, formulando il problema come un compito di classificazione di immagini su dati di strain del rivelatore.

• Dati di Input: L'input consiste in Short Fourier Transforms (SFT), il formato standard per le pipeline CW. A differenza di lavori precedenti che convertivano gli SFT in spettrogrammi più lunghi, questo metodo impila direttamente SFT consecutivi per formare un'immagine 2D multicanale (tempo vs. frequenza), dove le parti reali e immaginarie di due rivelatori (H1 e L1) formano quattro canali.
• Architettura: Gli autori utilizzano una standard architettura ViT adattata per questo specifico input. L'immagine SFT viene suddivisa in patch di dimensioni fisse (token). Le scelte chiave di progettazione includono:
  • Dimensioni delle patch ottimizzate per garantire che i segnali siano completamente contenuti all'interno di almeno una patch lungo l'asse della frequenza.
  • Una catena di encoder transformer standard (quattro encoder) con 16 teste di attenzione e una dimensione nascosta di 256.
  • Un blocco di output personalizzato che presenta un global average pooling e uno strato completamente connesso (fully connected), differendo leggermente dal ViT originale per operare sull'intero output dell'encoder.
• Strategia di Addestramento: I ViT vengono addestrati come classificatori binari (segnale vs. rumore) utilizzando l'ottimizzatore Adam e la perdita di cross-entropia binaria.
  • Benchmark: Lo studio stabilisce benchmark per dieci ricerche mirate (durata di 10 giorni) e sedici ricerche a spazio di parametri ampio (durata di 1 giorno: 10 dirette, 6 all-sky) su cinque frequenze di riferimento (da 20 Hz a 1000 Hz).
  • Generazione dei Dati: I dataset di addestramento includono segnali iniettati alla profondità di sensibilità del matched-filter ($D_{90\%}^F$) del corrispondente benchmark, mescolati con rumore gaussiano.
  • Valutazione: Le prestazioni sono misurate tramite la probabilità di rilevamento ($p_{det}$) a una probabilità di falso allarme fissata ($p_{fa} = 1\%$). Per le ricerche a parametri ampi, il ViT viene traslato lungo l'asse della frequenza per coprire l'intera banda di ricerca, utilizzando il valore della statistica più elevata (loudest statistic).

Risultati Chiave
I ViT addestrati sono stati valutati contro la ricerca a filtraggio adattato (matched-filter) quasi ottimale ($\mathcal{F}$-statistica, codice WEAVE) su dataset di test indipendenti.

1. Ricerche Mirate (10 giorni): I ViT hanno raggiunto probabilità di rilevamento $p_{det} \approx 89-90\%$ in quasi tutti i casi, eguagliando essenzialmente la sensibilità della ricerca a filtraggio adattato. Le profondità di sensibilità ($D_{90\%}$) erano quasi identiche ai benchmark della $\mathcal{F}$-statistica. Notevolmente, questa prestazione è stata raggiunta con un'architettura standard che non ha richiesto alcuna riprogettazione manuale speciale, a differenza delle CNN negli studi precedenti che faticavano con segnali deboli senza una significativa sintonizzazione.
2. Ricerche a Spazio di Parametri Ampio (1 giorno):
   • Ricerche Dirette: I ViT si sono avvicinati alle prestazioni del filtraggio adattato, raggiungendo una $p_{det} \approx 85-89\%$ (rispetto al benchmark del 90%), con differenze di profondità di sensibilità $\lesssim 1/\sqrt{\text{Hz}}$.
   • Ricerche All-Sky: I ViT hanno ottenuto una $p_{det} \approx 78-88\%$. La sensibilità è diminuita all'aumentare della frequenza (scendendo di circa il 10% da 20 Hz a 1000 Hz), a causa della crescita esponenziale nel numero di template richiesti ($N_T$) piuttosto che della diffusione del segnale.
3. Generalizzazione:
   • Forza del Segnale: I ViT si sono generalizzati bene a intensità di segnale diverse dalla profondità di addestramento, seguendo da vicino la curva di efficienza del matched filter.
   • Frequenza: Un singolo ViT addestrato sull'intero intervallo 20–1000 Hz ha dimostrato una prestazione robusta ($p_{det} \approx 70-80\%$) attraverso l'intero range, suggerendo la fattibilità di un singolo network per ricerche a banda larga.
   • Posizione nel Cielo: Sebbene generalmente uniforme, i ViT all-sky hanno mostrato lievi bias nella probabilità di rilevamento a seconda della posizione nel cielo (ad esempio, variazioni vicino ai poli rispetto all'equatore), un fenomeno osservato anche in precedenti studi sulle CNN.

Significatività e Rivendicazioni
L'articolo sostiene che l'architettura Vision Transformer rappresenti un avanzamento significativo rispetto alle precedenti approcci basati su CNN per le ricerche CW. La principale significatività risiede nella capacità di un'architettura ViT "standard" di raggiungere una sensibilità quasi ottimale del filtraggio adattato nelle ricerche mirate e un'elevata sensibilità nelle ricerche a parametri ampi senza l'estesa progettazione manuale e la sintonizzazione degli iperparametri precedentemente richiesti per le CNN.

Gli autori concludono che i priori integrati del ViT riguardo alla morfologia dell'immagine appaiono meno restrittivi e più naturalmente adatti alle caratteristiche dei segnali CW (che sono distribuiti nel tempo e nella frequenza) rispetto alle standard CNN a kernel piccoli. Sebbene lo studio sia limitato ai benchmark a parametri ampi di 1 giorno a causa dei vincoli di tempo di addestramento, i risultati suggeriscono che i ViT offrano un'alternativa computazionalmente efficiente e altamente sensibile per le future ricerche CW, riducendo potenzialmente l'onere logistico di addestrare reti separate per diverse frequenze o tipi di ricerca. Gli autori dichiarano esplicitamente che stabilire se i ViT possano superare le CNN nei più difficili benchmark a parametri ampi di 10 giorni rimane un compito per lavori futuri.