Transformer Networks for Continuous Gravitational-wave Searches

Resumen Técnico: Redes Transformer para Búsquedas de Ondas Gravitacionales Continuas

Planteamiento del Problema
Las ondas gravitacionales continuas (CW, por sus siglas en inglés) emitidas por estrellas de neutrones deformadas y de rotación rápida requieren un análisis de datos de larga duración para su detección debido a sus amplitudes reducidas. El método de búsqueda teóricamente óptimo, el filtrado adaptado coherente, se vuelve computacionalmente inviable para búsquedas de espacio de parámetros amplios (que cubren grandes áreas del cielo y rangos de frecuencia/deceleración de rotación) porque el número de plantillas de señal requeridas crece de forma prohibitiva. El estado del arte actual, el filtrado adaptado semicoherente (por ejemplo, la $\mathcal{F}$-estadística), reduce el coste computacional dividiendo los datos en segmentos, pero aun así exige una potencia de cálculo masiva para alcanzar una alta sensibilidad. Los intentos previos de utilizar aprendizaje profundo, específicamente Redes Neuronales Convolucionales (CNN), para reducir estos costes han mostrado resultados prometedores, pero requirieron un rediseño manual extensivo de la arquitectura y un ajuste de hiperparámetros para acercarse a la sensibilidad óptima, particularmente para señales débiles distribuidas en el tiempo y la frecuencia.

Metodología
Este estudio investiga la idoneidad de la arquitectura Vision Transformer (ViT) como una alternativa a las CNN para la detección de CW, formulando el problema como una tarea de clasificación de imágenes sobre los datos de la deformación del detector (strain).

• Datos de Entrada: La entrada consiste en Transformadas de Fourier de Corta Duración (SFTs), el formato estándar para los procesos de CW. A diferencia de trabajos anteriores que convertían las SFTs en espectrogramas más largos, este método apila las SFTs consecutivas directamente para formar una imagen de 2D multicanal (tiempo vs. frecuencia), donde las partes real e imaginaria de dos detectores (H1 y L1) forman cuatro canales.
• Arquitectura: Los autores emplean una arquitectura ViT estándar adaptada para este tipo de entrada específica. La imagen SFT se divide en parches (patches) de tamaño fijo (tokens). Las decisiones clave de diseño incluyen:
  • Dimensiones de parche optimizadas para asegurar que las señales estén contenidas completamente dentro de al menos un parche a lo largo del eje de frecuencia.
  • Una cadena de codificador de transformador estándar (cuatro codificadores) con 16 cabezales de atención y una dimensión oculta de 256.
  • Un bloque de salida personalizado que presenta un pooling de promedio global y una capa totalmente conectada, el cual difiere ligeramente del ViT original para actuar sobre la salida completa del codificador.
• Estrategia de Entrenamiento: Los ViTs se entrenan como clasificadores binarios (señal vs. ruido) utilizando el optimizador Adam y una pérdida de entropía cruzada binaria.
  • Benchmarks: El estudio establece referencias para diez búsquedas dirigidas (duración de 10 días) y dieciséis búsquedas de espacio de parámetros amplios (duración de 1 día: 10 dirigidas, 6 de todo el cielo) sobre cinco frecuencias de referencia (20 Hz a 1000 Hz).
  • Generación de Datos: Los conjuntos de datos de entrenamiento incluyen señales inyectadas a la profundidad de sensibilidad del filtro adaptado ($D_{90\%}^F$) del benchmark correspondiente, mezcladas con ruido gaussiano.
  • Evaluación: El rendimiento se mide mediante la probabilidad de detección ($p_{det}$) a una probabilidad de falsa alarma fija ($p_{fa} = 1\%$). Para las búsquedas de parámetros amplios, el ViT se desplaza a lo largo del eje de frecuencia para cubrir todo el ancho de banda de búsqueda, utilizando el valor de la estadística más alta.

Resultados Clave
Los ViTs entrenados fueron evaluados contra la búsqueda de filtrado adaptado de la $\mathcal{F}$-estadística casi óptima (código WEAVE) utilizando conjuntos de datos de prueba independientes.

1. Búsquedas Dirigidas (10 días): Los ViTs lograron probabilidades de detección de $p_{det} \approx 89-90\%$ en casi todos los casos, igualando esencialmente la sensibilidad de la búsqueda de filtrado adaptado. Las profundidades de sensibilidad ($D_{90\%}$) fueron casi idénticas a los benchmarks de la $\mathcal{F}$-estadística. Notablemente, este rendimiento se logró con una arquitectura estándar que no requirió un rediseño manual especial, a diferencia de las CNN en estudios previos que tuvieron dificultades con señales débiles sin un ajuste significativo.
2. Búsquedas de Espacio de Parámetros Amplios (1 día):
   • Búsquedas Dirigidas: Los ViTs se aproximaron al rendimiento del filtrado adaptado, logrando una $p_{det} \approx 85-89\%$ (frente al benchmark del 90%), con diferencias de profundidad de sensibilidad de $\lesssim 1/\sqrt{\text{Hz}}$.
   • Búsquedas de Todo el Cielo: Los ViTs alcanzaron una $p_{det} \approx 78-88\%$. La sensibilidad disminuyó con el aumento de la frecuencia (cayendo aproximadamente un 10% de 20 Hz a 1000 Hz), lo cual se atribuye al crecimiento exponencial en el número de plantillas requeridas ($N_T$) más que a la dispersión de la señal.
3. Generalización:
   • Fuerza de la Señal: Los ViTs se generalizaron bien a fuerzas de señal diferentes a la profundidad de entrenamiento, siguiendo de cerca la curva de eficiencia del filtro adaptado.
   • Frecuencia: Un solo ViT entrenado en la banda completa de 20–1000 Hz demostró un rendimiento robusto ($p_{det} \approx 70-80\%$) en todo el rango, lo que sugiere la viabilidad de una red única para búsquedas de banda ancha.
   • Posición en el Cielo: Aunque generalmente uniforme, los ViTs de todo el cielo exhibieron ligeros sesgos en la probabilidad de detección dependiendo de la posición en el cielo (por ejemplo, variaciones cerca de los polos vs. el ecuador), un fenómeno también observado en estudios previos de CNN.

Significación y Reivindicaciones
El artículo afirma que la arquitectura Vision Transformer representa un avance significativo sobre los enfoques previos basados en CNN para las búsquedas de CW. La principal significación radica en la capacidad de una arquitectura ViT "estándar" para alcanzar una sensibilidad de filtrado adaptado casi óptima en búsquedas dirigidas y una alta sensibilidad en búsquedas de parámetros amplios sin el extenso diseño manual y el ajuste de hiperparámetros que requerían anteriormente las CNN.

Los autores concluyen que los priors integrados del ViT respecto a la morfología de la imagen parecen menos restrictivos y más naturalmente adecuados a las características de las señales de CW (que están distribuidas en tiempo y frecuencia) que las CNN estándar de núcleos pequeños. Aunque el estudio se limita a benchmarks de 1 día para parámetros amplios debido a restricciones de tiempo de entrenamiento, los resultados sugieren que los ViTs ofrecen una alternativa altamente sensible y computacionalmente eficiente para futuras búsquedas de CW, reduciendo potencialmente la carga logística de entrenar redes separadas para diferentes frecuencias o tipos de búsqueda. Los autores declaran explícamente que establecer si los ViT pueden superar a las CNN en los benchmarks de parámetros amplios de 10 días, que son más difíciles, sigue siendo una tarea para trabajos futuros.