Transformer Networks for Continuous Gravitational-wave Searches

技術要約：連続重力波探索のためのトランスフォーマー・ネットワーク

問題提起
高速回転する変形した中性子星から放出される連続重力波（CW）は、その振幅が極めて小さいため、検出には長期間のデータ解析が必要となる。理論的に最適な探索手法であるコヒーレント・マッチド・フィルタリングは、広範なパラメータ空間（広い空領域および周波数／スピンダウン範囲）をカバーする場合、必要な信号テンプレートの数が膨大に増加するため、計算量的に実行不可能となる。現在の最先端技術であるセミコヒーレント・マッチド・フィルタリング（例：$\mathcal{F}$-statistic）は、データをセグメントに分割することで計算コストを削減しているが、高い感度を達成するためには依然として膨大な計算能力を必要とする。コスト削減を目的とした深層学習、特に畳み込みニューラルネットワーク（CNN）を用いたこれまでの試みは有望な結果を示してきたが、特に時間と周波数にわたって分散する微弱な信号に対して最適な感度に近づくためには、大規模な手動によるアーキテクチャの再設計とハイパーパラメータのチューニングが必要であった。

手法
本研究では、CW検出における代替案として、Vision Transformer（ViT）アーキテクチャの適合性を、検出器のストレイン・データを画像分類タスクとして定式化することで調査する。

• 入力データ: 入力は、CWパイプラインの標準形式である短時間フーリエ変換（SFT）で構成される。以前の研究とは異なり、SFTをより長いスペクトログラムに変換するのではなく、連続するSFTを直接スタックして2Dマルチチャネル画像（時間 vs 周波数）を形成する。これにより、2つの検出器（H1およびL1）からの実部と虚部からなる4チャネルが構成される。
• アーキテクチャ: 著者らは、この特定の入力に適応させた標準的なViTアーキテクチャを採用している。SFT画像は、固定サイズのパッチ（トークン）に分割される。主な設計上の選択肢は以下の通りである：
  • 信号が少なくとも一つのパッチ内に周波数軸に沿って完全に収まるように最適化されたパッチ次元。
  • 16個のアテンション・ヘッドと256の隠れ次元を持つ、標準的なトランスフォーマー・エンコーダー・チェーン（4つのエンコーダー）。
  • 全体のエンコーダー出力に対して作用するように、元のViTとはわずかに異なるカスタム出力ブロック（グローバル平均プーリングと全結合層を含む）。
• 学習戦略: ViTは、Adamオプティマイザとバイナリ・クロスエントロピー損失を用い、バイナリ分類器（信号 vs ノイズ）として学習される。
  • ベンチマーク: 本研究では、10種類のターゲット探索（10日間継続）と、16種類の広範なパラメータ空間探索（1日間継続：指向性探索10、全天探索6）、および5つの参照周波数（20 Hzから1000 Hz）を設定し、ベンチマークを確立している。
  • データ生成: 学習データセットには、対応するベンチマークのマッチド・フィルタ感度深度（$D_{90\%}^F$）で注入された信号が、ガウス雑音と混合されたものが含まれる。
  • 評価: パフォーマンスは、一定の誤警報確率（$p_{fa} = 1\%$）における検出確率（$p_{det}$）によって測定される。広範なパラメータ探索の場合、ViTを周波数軸に沿ってスライドさせ、最も大きな統計量（loudest statistic）の値を使用する。

主な結果
学習されたViTは、独立したテストデータセットを用いて、近最適なマッチド・フィルタ探索（WEAVEコード）と比較評価された。

1. ターゲット探索（10日間）: ViTは、ほぼすべてのケースにおいて $p_{det} \approx 89-90\%$ の検出確率を達成し、マッチド・フィルタ探索の感度にほぼ一致した。感度深度（$D_{90\%}$）は、$\mathcal{F}$-statisticのベンチマークとほぼ同一であった。特筆すべきは、この性能が、微弱な信号に対して大幅なチューニングを必要とした従来のCNN研究とは異なり、特別な手動設計を必要としない標準的なアーキテクチャで達成された点である。
2. 広範なパラメータ空間探索（1日間）:
   • 指向性探索: ViTはマッチド・フィルタの性能に接近し、$p_{det} \approx 85-89\%$（ベンチマークの90%と比較）を達成した。感度深度の差は $\lesssim 1/\sqrt{\text{Hz}}$ であった。
   • 全天探索: ViTは $p_{det} \approx 78-88\%$ を達成した。感度は周波数の増加とともに低下し（20 Hzから1000 Hzにかけて約10%低下）、これは信号の分散ではなく、必要なテンプレート数（$N_T$）の指数関数的な増加に起因する。
3. 汎化性能:
   • 信号強度: ViTは、学習時の深度とは異なる信号強度に対しても良好に汎化し、マッチド・フィルタの効率曲線に密接に追従した。
   • 周波数: 全帯域（20–1000 Hz）で学習された単一のViTは、全範囲にわたって堅牢な性能（$p_{det} \approx 70-80\%$）を示し、広帯域探索のための単一ネットワークの実現可能性を示唆した。
   • 空の方向: 全般的に均一ではあるものの、全天ViTは空の方向（例：極付近と赤道付近の差異）によって検出確率にわずかな偏りを示した。これは、以前のCNN研究でも観察された現象である。

意義および主張
本論文は、Vision Transformerアーキテクチャが、CW探索における従来のCNNベースのアプローチに対する重要な進歩であることを主張している。主な意義は、「標準的な」ViTアーキテクチャが、従来のCNNで必要とされた大規模な手動設計やハイパーパラメータのチューニングを行うことなく、ターゲット探索において近最適なマッチド・フィルタ感度を、広範なパラメータ探索において高い感度を実現できる点にある。

著者らは、ViTに組み込まれた画像の形態に関する事前知識が、標準的な小さなカーネルを持つCNNよりも制約が少なく、CW信号（時間と周波数に分散している）の特性により自然に適していると考えている。本研究は、学習時間の制約により1日間の広範なパラメータ・ベンチマークに限定されているが、結果は、ViTが将来のCW探索において、異なる周波数や探索タイプごとに個別のネットワークを訓練するというロジスティカルな負担を軽減しつつ、計算効率が高く非常に高感度な代替手段となる可能性を示唆している。著者らは、より困難な10日間の広範なパラメータ・ベンチマークにおいて、ViTがCNNを上回ることができるかどうかを確立することが今後の課題であると明示している。