Transformer Networks for Continuous Gravitational-wave Searches

Resumo Técnico: Redes Transformer para Buscas de Ondas Gravitacionais Contínuas

Definição do Problema
As ondas gravitacionais contínuas (CWs) emitidas por estrelas de nêutrons em rotação rápida e deformadas exigem análise de dados de longa duração para serem detectadas devido às suas pequenas amplitudes. O método de busca teoricamente ideal, a filtragem casada coerente (matched filtering), torna-se computacionalmente inviável para buscas de amplo espaço de parâmetros (cobrindo grandes áreas do céu e intervalos de frequência/derivação de rotação/spin-down) porque o número de modelos de sinal (templates) necessários cresce de forma proibitiva. O estado da arte atual, a filtragem casada semicoerente (por exemplo, o $\mathcal{F}$-estatística), reduz o custo computacional dividindo os dados em segmentos, mas ainda exige um poder de computação massivo para atingir alta sensibilidade. Tentativas anteriores de usar aprendizado profundo, especificamente Redes Neurais Convolucionais (CNNs), para reduzir esses custos mostraram-se promissoras, mas exigiram um extenso redesenho manual de arquitetura e ajuste de hiperparâmetros para se aproximarem da sensibilidade ideal, particularmente para sinais fracos espalhados no tempo e na frequência.

Metodologia
Este estudo investiga a adequação da arquitetura Vision Transformer (ViT) como uma alternativa às CNNs para a detecção de CW, formulando o problema como uma tarefa de classificação de imagem em dados de deformação (strain) do detector.

• Dados de Entrada: A entrada consiste em Transformadas de Fourier de Curto Prazo (SFTs), o formato padrão para pipelines de CW. Diferente de trabalhos anteriores que converteram SFTs em espectrogramas mais longos, este método empilha SFTs consecutivas diretamente para formar uma imagem 2D multicanal (tempo vs. frequência), com as partes real e imaginária de dois detectores (H1 e L1) formando quatro canais.
• Arquitetura: Os autores empregam uma arquitetura ViT padrão adaptada para este tipo de entrada. A imagem SFT é dividida em patches (tokens) de tamanho fixo. Escolhas de design fundamentais incluem:
  • Dimensões de patch otimizadas para garantir que os sinais estejam totalmente contidos em pelo menos um patch ao longo do eixo da frequência.
  • Uma cadeia de codificador (encoder) de transformer padrão (quatro codificadores) com 16 cabeças de atenção e uma dimensão oculta de 256.
  • Um bloco de saída customizado apresentando global average pooling e uma camada totalmente conectada, diferindo ligeiramente do ViT original para atuar sobre a saída total do codificador.
• Estratégia de Treinamento: Os ViTs são treinados como classificadores binários (sinal vs. ruído) usando o otimizador Adam e perda de entropia cruzada binária.
  • Benchmarks: O estudo estabelece benchmarks para dez buscas direcionadas (duração de 10 dias) e dezesseis buscas de amplo espaço de parâmetros (duração de 1 dia: 10 direcionadas, 6 de todo o céu/all-sky) através de cinco frequências de referência (20 Hz a 1000 Hz).
  • Geração de Dados: Os conjuntos de dados de treinamento incluem sinais injetados na profundidade de sensibilidade da filtragem casada ($D_{90\%}^F$) do respectivo benchmark, misturados com ruído Gaussiano.
  • Avaliação: O desempenho é medido pela probabilidade de detecção ($p_{det}$) em uma probabilidade de falso alarme fixa ($p_{fa} = 1\%$). Para buscas de amplo parâmetro, o ViT é deslizado ao longo do eixo da frequência para cobrir toda a largura de banda da busca, utilizando o valor da estatística mais alta (loudest statistic).

Resultos Principais
Os ViTs treinados foram avaliados contra a busca de filtragem casada da $\mathcal{F}$-estatística quase ideal (código WEAVE) em conjuntos de dados de teste independentes.

1. Buscas Direcionadas (10 dias): Os ViTs atingiram probabilidades de detecção de $p_{det} \approx 89-90\%$ em quase todos os casos, igualando-se essencialmente à sensibilidade da busca de filtragem casada. As profundidades de sensibilidade ($D_{90\%}$) foram quase idênticas aos benchmarks da $\mathcal{F}$-estatística. Notavelmente, este desempenho foi alcançado com uma arquitetura padrão que não exigiu redesenho manual especial, ao contrário das CNNs em estudos anteriores que tiveram dificuldades com sinais fracos sem ajustes significativos.
2. Buscas de Amplo Espaço de Parâmetros (1 dia):
   • Buscas Direcionadas: Os ViTs aproximaram-se do desempenho da filtragem casada, atingindo $p_{det} \approx 85-89\%$ (comparado ao benchmark de 90%), com diferenças de profundidade de sensibilidade de $\lesssim 1/\sqrt{\text{Hz}}$.
   • Buscas de Todo o Céu (All-Sky): Os ViTs atingiram $p_{det} \approx 78-88\%$. A sensibilidade declinou com o aumento da frequência (caindo cerca de $\approx 10\%$ de 20 Hz para 1000 Hz), atribuído ao crescimento exponencial no número de modelos necessários ($N_T$) em vez do espalhamento do sinal.
3. Generalização:
   • Força do Sinal: Os ViTs generalizaram bem para forças de sinal diferentes da profundidade de treinamento, acompanhando de perto a curva de eficiência da filtragem casada.
   • Frequência: Um único ViT treinado na banda completa de 20–1000 Hz demonstrou desempenho robusto ($p_{det} \approx 70-80\%$) em todo o intervalo, sugerindo a viabilidade de uma única rede para buscas de banda larga.
   • Posição no Céu: Embora geralmente uniforme, os ViTs de todo o céu exibiram leves vieses na probabilidade de detecção dependendo da posição no céu (ex: variações perto dos polos vs. equador), um fenômeno também observado em estudos anteriores de CNN.

Significância e Alegações
O artigo afirma que a arquitetura Vision Transformer representa um avanço significativo sobre as abordagens anteriores baseadas em CNN para buscas de CW. A principal significância reside na capacidade de uma arquitetura ViT "padrão" atingir sensibilidade de filtragem casada quase ideal em buscas direcionadas e alta sensibilidade em buscas de amplo parâmetro sem o extenso redesenho manual e ajuste de hiperparâmetros anteriormente exigidos para as CNNs.

Os autores concluem que os priors integrados do ViT em relação à morfologia da imagem parecem menos restritivos e mais naturalmente adequados às características dos sinais de CW (que são espalhados no tempo e na frequência) do que as CNNs padrão de pequenos núcleos (kernels). Embora o estudo seja limitado a benchmarks de 1 dia para parâmetros amplos devido a restrições de tempo de treinamento, os resultados sugerem que os ViTs oferecem uma alternativa computacionalmente eficiente e altamente sensível para futuras buscas de CW, potencialmente reduzindo o fardo logístico de treinar redes separadas para diferentes frequências ou tipos de busca. Os autores afirmam explicitamente que estabelecer se os ViTs podem superar as CNNs nas mais difíceis buscas de parâmetros amplos de 10 dias permanece como uma tarefa para trabalhos futuros.