Advancing RFI-Detection in Radio Astronomy with Liquid State Machines

Technische Samenvatting: Vooruitgang in RFI-detectie in de Radioastronomie met Liquid State Machines

Probleemstelling
Radiofrequentie-interferentie (RFI) van antropogene bronnen vormt een kritieke uitdaging voor huidige en toekomstige radiotelescopen, zoals de Square Kilometre Array (SKA). Traditionele RFI-detectie ("flagging") leunt op complexe heuristische algoritmen en handmatige inspectie, die moeite hebben met het schalen bij het toenemende datavolume en de gevoeligheid van moderne instrumenten. Hoewel machine learning-benaderingen, met name Convolutionele Neurale Netwerken (CNN's), succes hebben getoond bij het behandelen van RFI-detectie als een 2D semantische segmentatieprobleem, brengen zij vaak hoge computationele kosten met zich mee die de real-time operationele toepasbaarheid beperken. Bovendien zijn bestaande pogingen tot RFI-detectie met Spiking Neural Networks (SNN's) grotendeels beperkt gebleven tot eerste-orde Leaky Integrate-and-Fire (LiF) neuronen en hebben zij de inherente temporele dynamiek van radioastronomische spectrogrammen niet volledig benut.

Methodologie
Dit werk formuleert RFI-detectie als een fijnmazig spatio-temporeel tijdreekssegmentatieprobleem in plaats van een statische 2D beeldsegmentatietaak. De auteurs maken gebruik van Liquid State Machines (LSM's), een klasse van reservoir computing met behulp van SNN's, om de tijdvariërende aard van radio-spectrogrammen te verwerken.

• Architectuur: Het kernmodel bestaat uit een recurrent verbonden reservoir van spiking neuronen en een trainbare readout-laag. Het reservoir wordt geïnitialiseerd met een ratio van 80/20 tussen exciterende en inhiberende verbindingen.
• Neuronmodel: Een belangrijke innovatie is het gebruik van tweede-orde Leaky Integrate-and-Fire (LiF) neuronen, gekenmerkt door afzonderlijke synaptische en membraan-tijdconstanten, ruisinjectie en bias-stromen. Dit markeert de eerste toepassing van deze specifieke neuronarchitectuur op RFI-detectie.
• Encoding-strategieën: Drie spike-encoding methoden werden getest om de input-zichtbaarheidsdata om te zetten in spike-treinen:
  1. Latency Encoding: Spike-vertraging proportioneel aan de inputwaarde.
  2. Rate Encoding: Input-intensiteit omgezet naar spike-frequentie.
  3. Direct Encoding: Inputwaarden behandeld als drijvende stromen (identiteitsfunctie) voor de belichtingstijd.
• Readout-lagen: Drie steeds complexere readout-architecturen werden geëvalueerd om de spiking-activiteit van het reservoir in kaart te brengen naar de output-masker:
  1. Lineaire laag.
  2. Lineaire laag met ReLU-activatie.
  3. Transformer Decoder (gebruikmakend van de spiking-geschiedenis als geheugen).
• Dataset: De modellen zijn getraind en getest op synthetische data afgeleid van de Hydrogen Epoch of Reionization Array (HERA) simulator. De data bestaat uit 512×512 spectrogrammen opgedeeld in 32×32 chunks, met ongeveer 3% RFI-verontreiniging.
• Training: Alleen de readout-laag wordt getraind, wat de computationele complexiteit aanzienlijk vermindert vergeleken met het trainen van alle netwerkparameters. Hyperparameters (input-schaarsheid, belichtingstijd, reservoirgrootte) werden geoptimaliseerd met Optuna om de F1-score te maximaliseren.

Belangrijkste Resultaten
De studie evalueerde de prestaties met behulp van Accuracy, AUROC, AUPRC en F1-score over 25 proeven per configuratie.

• Encoding-prestaties: Direct encoding presteerde consistent beter dan latency en rate encoding over alle readout-lagen. Latency encoding presteerde aanzienlijk slechter, een afwijking van eerdere SNN-studies, waarschijnlijk door de vaste aard van de reservoirparameters in deze formulering.
• Readout-complexiteit: Het verhogen van de complexiteit van de readout-laag (Lineair $\to$ ReLU $\to$ Transformer) leverde significante verbeteringen in prestaties op. De Transformer decoder behaalde de hoogste scores, met name wanneer deze werd gecombineerd met direct encoding.
• Beste Prestatie: De optimale configuratie (Direct Encoding + Transformer Readout) bereikte een per-pixel nauwkeurigheid van 98,24% en een F1-score van 0,743.
• Vergelijking met State-of-the-Art: Hoewel de LSM-aanpak niet de F1-scores van volledig getrainde ANN-gebaseerde methoden (bijv. ANN Auto-Encoder met F1=0,910) of ANN2SNN-conversies heeft overtroffen, biedt het een duidelijk voordeel in trainingssimpliciteit. De LSM-aanpak vereist alleen het trainen van de readout-laag, terwijl concurrerende methoden vaak miljoenen parameters trainen in convolutionele of auto-encoder architecturen.
• Beperkingen: De auteurs merken op dat de LSM moeite heeft met instantane, breedbandige en kortstondige RFI-gebeurtenissen, zoals gevisualiseerd in de inferentievoorbeelden.

Betekenis en Claims
Het artikel claimt de verfijning van SNN-technieken toegepast op radioastronomie te hebben gevorderd door:

1. Het Toepassingsdomein Uit te Breiden: Succesvolle toepassing van LSM's op fijnmazige spatio-temporele segmentatie, een taak die voorheen werd gedomineerd door classificatieproblemen.
2. Architecturale Innovatie: Introductie van tweede-orde LiF-neuronen en een hybride SNN-ANN architectuur (LSM reservoir met Transformer readout) voor RFI-detectie.
3. Efficiëntie: Aantonen dat competitieve prestaties kunnen worden behaald met aanzienlijk verminderde trainingscomplexiteit door gebruik te maken van de reservoir-dynamiek en alleen de readout-laag te trainen.
4. Biologische Plausibiliteit: Verder gaan dan eenvoudige eerste-orde neuronmodellen naar meer biologisch plausibele tweede-orde dynamica.

De auteurs concluderen dat hoewel de huidige LSM-prestaties achterblijven bij volledig getrainde deep learning-modellen, de aanpak een veelbelovende, computationeel efficiënte richting biedt voor real-time RFI-detectie. Zij suggereren dat toekomstig werk zich zou kunnen richten op multi-column reservoirs om variërende RFI-tijdschalen te verwerken en op ongesuperviseerde leerparadigma's.