Spiking Neural Networks for Radio Frequency Interference Detection in Radio Astronomy

Sintesi Tecnica: Reti Neurali Spiking per il Rilevamento di Interferenze a Radiofrequenza nella Radioastronomia

Problema
La radioastronomia affronta una sfida critica nel rilevamento delle interferenze a radiofrequenza (RFI), dove segnali indesiderati, terrestri o antropici, contaminano i dati osservativi. I metodi di rilevamento tradizionali si affidano spesso ad algoritmi di somma cumulativa o a modelli di apprendimento automatico basati su Reti Neurali Convoluzionali (CNN) e Vision Transformer. Sebbene efficaci, questi approcci trattano tipicamente gli spettrogrammi come immagini 2D statiche, richiedendo il completamento di un'intera osservazione prima che l'elaborazione possa iniziare. Questa limitazione rende necessario l'archiviazione e l'elaborazione di enormi quantità di dati in strutture di calcolo ad alte prestazioni, molti dei quali sono destinati a essere segnalati come RFI e scartati. Il settore necessita di metodi di rilevamento adattivi e basati sui dati, capaci di operare quasi in tempo reale con un consumo energetico minimo e una riduzione dei requisiti di dati di addestramento.

Metodologia
Gli autori riformulano il rilevamento di RFI come un compito di segmentazione di serie temporali piuttosto che come un problema di segmentazione semantica 2D. Questo approccio sfrutta la dinamica temporale inerente alle Reti Neurali Spiking (SNN). La metodologia principale prevede:

1. Rappresentazione dei Dati: Le "visibilità" in ingresso (dati complessi che variano in frequenza, tempo e baseline) vengono convertite in treni di impulsi (spike trains). Lo studio indaga sette metodi di codifica, tra cui latenza, frequenza (rate), modulazione delta, esposizione delta e tre variazioni della codifica step-forward.
2. Architettura della Rete: Gli autori impiegano SNN feed-forward utilizzando neuroni Leaky Integrate and Fire (LiF) di primo e secondo ordine. Le reti sono addestrate utilizzando la Backpropagation Through Time (BPTT). Per gestire i vincoli di memoria associati a lunghi treni di impulsi, gli spettrogrammi vengono suddivisi in patch di $32 \times 32$ pixel.
3. Pre-elaborazione tramite Normalizzazione Divisiva: Viene introdotto un nuovo passaggio di pre-elaborazione ispirato alla normalizzazione divisiva nelle neuroscienze. Questa tecnica sottrae una somma pesata dei canali di frequenza dello step temporale precedente dallo step corrente. Funziona come un kernel leggero che riduce i gradienti di fondo, aumenta la sparsità degli impulsi e migliora il contrasto tra le caratteristiche RFI e il rumore di fondo.
4. Addestramento e Ottimizzazione: È stata condotta un'estesa ottimizzazione degli iperparametri utilizzando Optuna, variando profondità, larghezza della rete, tassi di decadimento dei neuroni ($\beta$) e tempi di esposizione. Lo studio confronta le prestazioni delle SNN rispetto ad ANN (Reti Neurali Artificiali) di dimensioni identiche e rispetto a baseline algoritmiche esistenti.

Contributi Chiave

• Riformulazione del Compito: Questo lavoro presenta la prima applicazione di SNN al rilevamento di RFI formulato specificamente come problema di segmentazione di serie temporali, che richiede alla rete di produrre previsioni che coprano la stessa risoluzione temporale e spaziale dell'input.
• Normalizzazione Divisiva: L'introduzione di un passaggio di pre-elaborazione ispirato alla normalizzazione divisiva che migliora universalmente le prestazioni di rilevamento attraverso molteplici strategie di codifica, aumentando la sparsità degli impulsi e il contrasto delle caratteristiche.
• Addestramento Diretto su Dati Reali: Per quanto ne sappiamo, questo è il primo studio che riesce ad addestrare con successo SNN da zero su dati reali di radioastronomia (dal Low-Frequency Array, LOFA), andando oltre i precedenti approcci di conversione da ANN a SNN.
• Analisi Esaustiva della Codifica: Una valutazione sistematica di vari metodi di codifica degli impulsi (latenza, delta-esposizione, step-forward) e della loro interazione con i tipi di neuroni (LiF di primo vs secondo ordine) e le tecniche di pre-elaborazione.

Risultati
Lo studio valuta le prestazioni su due dataset: un dataset sintetico che simula l'Hydrogen Epoch of Reionisation Array (HERA) e un dataset reale proveniente dallo strumento LOFAR.

• Dataset Sintetico (HERA): L'approccio SNN ha raggiunto prestazioni competitive, vicine allo stato dell'arte. Nello specifico, la codifica di latenza con normalizzazione divisiva ha prodotto un AUROC di 0,968, un AUPRC di 0,914 e un F1-Score di 0,907. Questi risultati sono paragonabili agli algoritmi tradizionali e ai metodi basati su ANN, nonostante le SNN abbiano dimensioni di modello significativamente ridotte (ad esempio, ~74k parametri contro ~800k per i modelli di tipo UNet).
• Dataset Reale (LOFAR): Le prestazioni sui dati reali sono inferiori rispetto ai dati sintetici, riflettendo l'aumento del rumore e della variabilità delle osservazioni nel mondo reale. Tuttavia, le SNN hanno comunque superato le ANN di dimensioni equivalenti. La migliore configurazione SNN (codifica diretta Step-Forward con normalizzazione divisiva) ha raggiunto un AUPRC di 0,693, superando i precedenti risultati di conversione da ANN a SNN.
• Tipi di Neuroni: Interessante notare che i neuroni LiF di primo ordine hanno performato meglio sul dataset sintetico, mentre i neuroni LiF di secondo ordine hanno mostrato una migliore performance relativa sul dataset rumoroso del mondo reale, suggerendo che il modello più complesso gestisce meglio il rumore reale.
• Efficienza: Stime preliminari suggeriscono che l'implementazione di questo approccio di segmentazione di serie temporali su hardware neuromorfico (ad esempio, SynSense Xylo) potrebbe raggiungere un consumo di potenza nell'ordine di <50 mW per baseline, significativamente inferiore ai requisiti dell'informatica ad alte prestazioni convenzionale.

Significatività e Rivendicazioni
Il documento sostiene che le SNN offrono una via percorribile verso un rilevamento di RFI efficiente e in tempo reale nella radioastronomia. Riformulando il problema come segmentazione di serie temporali, gli autori dimostrano che le SNN possono catturare pattern temporali complessi senza l'overhead computazionale dell'elaborazione basata su immagini 2D. Lo studio evidenzia che, sebbene rimanga un divario di prestazioni tra i risultati sintetici e quelli del mondo reale, l'approccio è promettente per il futuro dispiegamento. Gli autori pongono questo lavoro come un passo fondamentale, suggerendo che l'integrazione del calcolo neuromorfico nella radioastronomia potrebbe fornire vantaggi unici in termini di efficienza energetica e capacità di elaborazione in tempo reale, trasformando potenzialmente il modo in cui i campi scientifici ad alta intensità di dati gestiscono i flussi di dati osservativi. Il documento riconosce con modestia che ulteriori sviluppi nell'architettura (ad esempio, LSTM spiking, capacità di de-noising) e nelle strategie di addestramento (ad esempio, metodi auto-supervisionati) sono necessari per colmare il divario con le prestazioni allo stato dell'arte sui dati del mondo reale.