Transformer Networks for Continuous Gravitational-wave Searches

技术摘要：用于连续引力波搜索的 Transformer 网络

问题陈述
由快速旋转、存在形变的中子星所发射的连续引力波（CWs）需要长时间的数据分析才能探测到，因为其振幅极小。理论上的最优搜索方法——相干匹配滤波（coherent matched filtering）——在进行宽参数空间搜索（覆盖大面积天空及频率/自转频率降范围）时，由于所需信号模板的数量呈爆炸式增长，在计算上变得不可行。目前的先进技术——半相干匹配滤波（例如 $\mathcal{F}$-统计量）——通过将数据分割成段来降低计算成本，但仍需巨大的计算能力才能达到高灵敏度。以往使用深度学习（特别是卷积神经网络 CNN）来降低这些成本的尝试虽显示出潜力，但若要接近最优灵敏度（特别是针对在时间和频率上分布广泛的微弱信号），则需要大量的手动架构重新设计和超参数调优。

方法论
本研究调查了将视觉 Transformer（Vision Transformer, ViT）架构作为 CNN 替代方案在 CW 检测中的适用性，并将该问题表述为对探测器应变数据进行图像分类的任务。

• 输入数据： 输入由短傅里叶变换（SFTs）组成，这是 CW 流水线的标准格式。与以往将 SFTs 转换为更长频谱图的方法不同，本方法直接堆叠连续的 SFTs 以形成二维多通道图像（时间 vs. 频率），来自两个探测器（H1 和 L1）的实部和虚部构成了四个通道。
• 架构： 作者采用了针对此类特定输入进行适配的标准 ViT 架构。SFT 图像被划分为固定大小的补丁（patches，即 token）。关键设计选择包括：
  • 优化补丁维度，以确保信号在频率轴上至少完全包含在一个补丁内。
  • 标准的 Transformer 编码器链（四个编码器），具有 16 个注意力头和 256 维的隐藏层维度。
  • 一个自定义输出块，具有全局平均池化和全连接层，与原始 ViT 略有不同，旨在作用于完整的编码器输出。
• 训练策略： ViTs 被训练为二分类器（信号 vs. 噪声），使用 Adam 优化器和二元交叉熵损失。
  • 基准测试： 研究建立了针对十个目标搜索（持续 10 天）和十六个宽参数空间搜索（持续 1 天：10 个定向搜索，6 个全天搜索）的基准，涵盖五个参考频率（20 Hz 至 1000 Hz）。
  • 数据生成： 训练数据集包含注入在对应基准匹配滤波器灵敏度深度（$D_{90\%}^F$）处的信号，并混合了高斯噪声。
  • 评估： 性能通过在固定的假警报概率（$p_{fa} = 1\%$）下的检测概率（$p_{det}$）进行衡量。对于宽参数搜索，ViT 会沿频率轴滑动以覆盖整个搜索带宽，并使用最大统计量值。

关键结果
训练好的 ViTs 在独立的测试数据集上针对近乎最优的 $\mathcal{F}$-统计量匹配滤波器搜索（WEAVE 代码）进行了评估。

1. 目标搜索（10 天）： ViTs 在几乎所有案例中都实现了 $p_{det} \approx 89-90\%$ 的检测概率，基本达到了匹配滤波器搜索的灵敏度。其灵敏度深度（$D_{90\%}$）与 $\mathcal{F}$-统计量基准几乎一致。值得注意的是，这一性能是在无需特殊手动重新设计的标准架构下实现的，而以往研究中的 CNN 在处理微弱信号时，若不经过显著调优则难以达到此效果。
2. 宽参数空间搜索（1 天）：
   • 定向搜索： ViTs 接近匹配滤波器的性能，实现了 $p_{det} \approx 85-89\%$（对比 90% 的基准），灵敏度深度差异 $\lesssim 1/\sqrt{\text{Hz}}$。
   • 全天搜索： ViTs 实现了 $p_{det} \approx 78-88\%$。随着频率增加，灵敏度有所下降（从 20 Hz 到 1000 Hz 下降了约 10%），这归因于所需模板数量（$N_T$）的指数级增长，而非信号扩散。
3. 泛化能力：
   • 信号强度： ViTs 对不同于训练深度的信号强度表现出良好的泛化能力，紧密追踪匹配滤波器的效率曲线。
   • 频率： 单个在全 20–1000 Hz 波段训练的 ViT 在整个范围内表现出了稳健的性能（$p_{det} \approx 70-80\%$），表明单网络进行宽带搜索的可行性。
   • 天区位置： 虽然总体较为均匀，但全天搜索的 ViTs 在检测概率上表现出轻微的依赖于天区位置的偏差（例如，靠近极点与赤道附近的差异），这种现象在之前的 CNN 研究中也有观察到。

意义与主张
论文声称，Vision Transformer 架构代表了针对 CW 搜索相比以往基于 CNN 方法的重大进步。其主要意义在于，一个“标准”的 ViT 架构能够在无需像以往 CNN 那样进行大量手动设计和超参数调优的情况下，在目标搜索中实现接近最优的匹配滤波器灵敏度，并在宽参数搜索中实现高灵敏度。

作者得出结论，ViT 内置的关于图像形态的先验知识似乎比标准的细小卷积核 CNN 更少限制，并且更自然地适应 CW 信号的特性（即信号在时间和频率上是分布式的）。虽然由于训练时间限制，本研究在 1 天的宽参数基准测试方面存在局限性，但结果表明，ViTs 为未来的 CW 搜索提供了一种计算高效且高灵敏度的替代方案，可能减轻为不同频率或搜索类型训练单独网络的后勤负担。作者明确指出，确定 ViTs 是否能在更困难的 10 天宽参数基准测试中超越 CNN，仍是未来的工作任务。