Advancing RFI-Detection in Radio Astronomy with Liquid State Machines

Resumen Técnico: Avances en la detección de RFI en radioastronomía con Máquinas de Estado Líquido

Declaración del Problema
La Interferencia de Radiofrecuencia (RFI) proveniente de fuentes antropogénicas plantea un desafío crítico para los actuales y futuros radiotelescopios, como el Square Kilometer Array (SKA). La detección de RFI tradicional ("flagging") depende de algoritmos heurísticos complejos e inspección manual, los cuales presentan dificultades para escalar con el aumento del volumen de datos y la sensibilidad de los instrumentos modernos. Si bien los enfoques de aprendizaje automático, particularmente las Redes Neuronales Convolucionales (CNN), han mostrado éxito al tratar la detección de RFI como un problema de segmentación semántica 2D, a menudo incurren en altos costos computacionales que limitan su aplicabilidad operativa en tiempo real. Además, los intentos existentes de Redes Neuronales de Picos (SNN) para la detección de RFI se han limitado principalmente a neuronas de tipo Leaky Integrate-and-Fire (LiF) de primer orden y no han aprovechado plenamente la dinámica temporal inherente a los espectrogramas de radioastronomía.

Metodología
Este trabajo formula la detección de RFI como un problema de segmentación de series temporales espacio-temporales de grano fino, en lugar de una tarea de segmentación de imágenes 2D estática. Los autores emplean Máquinas de Estado Líquido (LSM), una clase de computación de reservorio utilizando SNNs, para procesar la naturaleza variable en el tiempo de los espectrogramas de radio.

• Arquitectura: El modelo central consiste en un reservorio de neuronas de picos conectadas recurrentemente y una capa de lectura (readout) entrenable. El reservorio se inicializa con una relación de 80/20 de conexiones excitatorias a inhibitorias.
• Modelo de Neurona: Una innovación clave es el uso de neuronas Leaky Integrate-and-Fire (LiF) de segundo orden, caracterizadas por constantes de tiempo sinápticas y de membrana separadas, inyección de ruido y corrientes de sesgo. Esto marca la primera aplicación de esta arquitectura de neurona específica a la detección de RFI.
• Estrategias de Codificación: Se probaron tres métodos de codificación de picos para convertir los datos de visibilidad de entrada en trenes de picos:
  1. Codificación de Latencia: Retraso de pico proporcional al valor de entrada.
  2. Codificación de Tasa: Intensidad de entrada convertida en frecuencia de picos.
  3. Codificación Directa: Valores de entrada tratados como corrientes conductoras (función identidad) para el tiempo de exposición.
• Capas de Lectura (Readout): Se evaluaron tres arquitecturas de lectura de complejidad creciente para mapear la actividad de picos del reservorio a la máscara de salida:
  1. Capa Lineal.
  2. Capa Lineal con activación ReLU.
  3. Decodificador Transformer (utilizando la historia de picos como memoria).
• Conjunto de Datos: Los modelos fueron entrenados y probados con datos sintéticos derivados del simulador del Hydrogen Epoch of Reionization Array (HERA). Los datos consisten en espectrogramas de 512×512 divididos en fragmentos de 32×32, con aproximadamente un 3% de contaminación por RFI.
• Entrenamiento: Solo la capa de lectura es entrenada, lo que reduce significamente la complejidad computacional en comparación con el entrenamiento de todos los parámetros de la red. Los hiperparámetros (dispersión de entrada, tiempo de exposición, tamaño del reservorio) se optimizaron mediante Optuna para maximizar la puntuación F1.

Resultados Clave
El estudio evaluó el rendimiento utilizando Exactitud, AUROC, AUPRC y F1-Score a través de 25 ensayos por configuración.

• Rendimiento de la Codificación: La codificación directa superó consistentemente a la codificación de latencia y de tasa en todas las capas de lectura. La codificación de latencia funcionó significativamente peor, una desviación de estudios previos de SNN, probablemente debido a la naturaleza fija de los parámetros del reservorio en esta formulación.
• Complejidad de la Lectura: El aumento de la complejidad de la capa de lectura (Lineal $\to$ ReLU $\to$ Transformer) produjo mejoras significativas en el rendimiento. El decodificador Transformer logró las puntuaciones más altas, particularmente cuando se combinó con la codificación directa.
• Mejor Rendimiento: La configuración óptima (Codificación Directa + Lectura Transformer) alcanzó una exactitud por píxel del 98.24% y un F1-Score de 0.743.
• Comparación con el Estado del Arte: Aunque el enfoque LSM no superó los F1-Scores de los métodos basados en ANN totalmente entrenados (por ejemplo, Autoencoder de ANN con F1=0.910) o las conversiones ANN2SNN, ofrece una ventaja distintiva en la simplicidad del entrenamiento. El enfoque LSM requiere entrenar solo la capa de lectura, mientras que los métodos competidores a menudo implican el entrenamiento de millones de parámetros en arquitecturas convolucionales o de autoencoders.
• Limitaciones: Los autores señalan que la LSM tiene dificultades con eventos de RFI instantáneos, de banda ancha y de corta duración, según se visualiza en los ejemplos de inferencia.

Significancia y Reivindicaciones
El artículo afirma avanzar en la sofisticación de las técnicas SNN aplicadas a la radioastronomía mediante:

1. Expansión del Dominio de Aplicación: Aplicación exitosa de LSMs a la segmentación espacio-temporal de grano fino, una tarea previamente dominada por problemas de clasificación.
2. Innovación Arquitectónica: Introducción de neuronas LiF de segundo orden y una arquitectura híbrida SNN-ANN (reservorio LSM con lectura Transformer) a la detección de RFI.
3. Eficiencia: Demostración de que se puede lograr un rendimiento competitivo con una complejidad de entrenamiento significativamente reducida al aprovechar la dinámica del reservorio y entrenando solo la capa de lectura.
4. Plausibilidad Biológica: Más allá de los modelos de neurona de primer orden simples, hacia una dinámica de segundo orden más biológicamente plausible.

Los autores concluyen que, si bien el rendimiento actual de la LSM queda por detrás de los modelos de aprendizaje profundo totalmente entrenados, este enfoque ofrece una dirección prometedora y computacionalmente eficiente para la detección de RFI en tiempo real. Sugieren que el trabajo futuro podría incluir reservorios de múltiples columnas para manejar diversas escalas temporales de RFI y paradigmas de aprendizaje no supervisado.