Reducing Simulation Dependence in Neutrino Telescopes with Masked Point Transformers

技術要約：マスクド・ポイント・トランスフォーマーによるニュートリノ・テレスコープにおけるシミュレーション依存性の低減

問題提起
ニュートリノ物理学、特にIceCube、KM3NeT、Baikal-GVDのような大規模なテレスコープにおける機械学習（ML）モデルは、伝統的にラベル付きのモンテカルロ（シミュレーション）データに依存してきました。これらのモデルは高速なイベント再構成や分類を可能にしますが、複雑な環境条件、検出器固有の系統誤差、あるいはモデル化されていない物理的効果に起因する、シミュレーションと実データの間の不一致という永続的な課題に直面しています。これらの不一致は、再構成におけるバイアスを導入したり、カバレッジの誤った評価を招いたりして、最終的に解析結果に影響を与える可能性があります。自己教師あり学習（SSL）は、コンピュータビジョンや自然言語処理において強力なパラダイムとして台頭していますが、ニュートリノ・テレスコープへの適用は限定的であり、主にシミュレーションの誤ったモデリングを軽減するための主要なトレーニング戦略としてではなく、ドメイン適応のために探索されてきました。

手法
著者らは、ラベルなしの実データへの依存度を高めることで、シミュレーションの不一致を回避する新しいトレーニング・パイプラインを提案しています。このアプローチの中核となるのは以下のプロセスです：

1. モデル・アーキテクチャ (neptune): 本研究では、「neptune」（Ultrarelativistic Neutrino Eventsのための効率的なPoint Transformer）と呼ばれるカスタム・トランスフォーマー・アーキテクチャを利用しています。このモデルはポイントクラウドの手法に基づいており、以下の3つのコンポーネントで構成されています：

   • イベント・トークナイザー: 不規則な生のセンサー・ヒット（4次元時空間座標）をトークン列に変換します。これは、各ポイントに対するMLPを用いたPointNetに着想を得た戦略を採用しています。可変的なイベントサイズを扱うため、ヒット数が最大値（$T_{max}=512$）を超える場合には最遠点サンプリング（Farthest Point Sampling; FPS）を用い、4D k-近傍法（k-Nearest Neighbors; KNN）を用いて空間および時間的コンテキストを集約します。
   • トランスフォーマー・エンコーダー: 空間位置と最初のヒット時刻によって強化されたトークン列を処理します。
   • ダウンストリーム・タスク・ヘッド: 特定のタスクのために、平均プーリングを介してエンコーダーの出力を集約します。

2. 自己教師あり事前学習: モデルは、マスクド・オートエンコーダー・アプローチを用いて、ラベルなしの「実」データ上で事前学習されます。トークナイザーは時空間座標（時間のみ、または時空間の両方）をマスクし、トランスフォーマーは滑らかなL1損失（smooth L1 loss）を用いて、これらのマスクされた入力を再構成するように学習されます。高比率のマスキング（0.75から1.0）を採用することで、明示的なラベルなしでニュートリノ・データの固有の構造をモデルに強制的に学習させます。

3. ファインチューニング: 事前学習の後、予測ヘッドを付加し、少量のラベル付きシミュレーション・データを用いてファインチューニングを行います。この移行の際にターゲット・ドメインからの破滅的忘却を防ぐため、著者らは、凍結された事前学習済みレイヤーの上に、恒等写像で初期化されたトランスフォーマー・ブロックを挿入する「ブロック拡張（block expansion）」技術を採用しています。

実験設定
本研究では、以下の2つのベンチマーク・タスクを用いてアプローチを評価しています：

• 方向再構成: ミューオン・ニュートリノ（$\nu_\mu$ CC）の方向の再構成。
• カスケード分類: ダブル・カスケード（$\nu_\tau$ CC由来）とシングル・カスケード背景事象の分離。

データセットは、IceCubeに似た構成を用いてPrometheusシミュレーション・フレームワークを使用して生成されました。堅牢性をテストするため、著者らは「データ」セットに対して特定のレート（例：100 Hzまたは600 Hz）で無相関なノイズ・ヒットを注入することで、制御された不一致を導入しました。以下の2つのシナリオがテストされました：

1. 未モデル化のノイズ: シミュレーションにはノイズがゼロであるが、「データ」にはノイズが含まれる。
2. 変動するノイズ・レート: 両方のデータセットにノイズが含まれるが、緩やかな不一致（データにおける600 Hz対シミュレーションにおける500 Hz）がある。

主な結果
実験では、提案されたSSLアプローチを、ラベル付きシミュレーションから直接学習したベースラインの教師ありモデルと比較しています：

• 未モデル化のノイズ・シナリオ: シミュレーションにノイズが全く存在しない一方で実データにノイズが含まれる場合、教師ありモデルは著しい性能低下を示します。
  • 方向再構成: 教師ありモデルの「データ」における中央値角度誤差は20.5°まで悪化しましたが、SSLモデルは堅牢な5.0°を維持しました（両モデルともシミュレーション上では約2°）。
  • カスケード分類: 教師ありモデルのPR-AUCは、「データ」において0.226に低下しました（シミュレーション上の0.364から）。一方、SSLモデルはより良好に汎化し、0.287のスコアを記録しました。
• 変動するノイズ・レート: 両方のデータセットにノイズが含まれ、緩やかな不一致（600 Hz対500 Hz）がある場合、教師ありモデルとSSLモデルは同等の性能を示しました。これは、教師ありモデルは既知の緩やかな系統誤差に対しては耐性があるものの、事象が完全にモデル化されていない場合には失敗することを示唆しています。

意義および主張
本論文は、ポイントクラウド・トランスフォーマーとマスクド・オートエンコーダーを活用した、ニュートリノ・テレスコープにおける初の自己教師あり学習トレーニング・パイプラインを提示していると主張しています。主な意義は、SSLがシミュレーションと実の検出器データの間の未モデル化の不一致に対する「価値ある防護策」となることを示した点にあります。

著者らは、従来の教師あり手法は小さな既知の系統誤差を扱うには適していますが、微妙で未モデル化の現象に対しては脆弱であると論じています。対照的に、SSLアプローチは、ラベルなしの実データから内部構造を学習することにより、シミュレーションが検出器の挙動を完全に捉えていない場合でも安定した性能を維持します。これは、この分野における従来の機械学習の応用からの根本的な転換を意味し、未知の系統誤差が存在する状況下でのイベント再構成および分類の向上への道を開くものです。著者らは、今後の研究として、IceCubeのような大規模な検出器における実データへのこのアプローチの展開に焦点を当てる予定であると述べています。