Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures

本論文は、物理的制約を持つ動的継続を学習することにより、多様な合成シナリオにおいて高い位相コヒーレンスとスペクトル精度を実現し、時間領域における3成分地震波形の予測に成功した、トランスフォーマーベースの自己回帰モデルであるSeismoGPTを導入するものである。

要約

あなたは、複雑な楽曲、例えば交響曲を聴いていると想像してください。しかし、あなたは最初の数分間しか聴くことができません。あなたの目標は、実際の録音を一度も聴くことなく、その曲の残りの部分が音符一つひとつに至るまでどのように響くかを正確に推測することです。

これは、論文「Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures」が、音楽の代わりに地震波を用いて行おうとしていることの本質です。研究者たちは、まるで「最初の数分間の音楽を聴いただけで、その後の数分間の展開を予測できる、何百万もの交響曲を研究してきた即興演奏家」のようなAI、SeismoGPTを構築しました。

以下は、この仕組みと研究結果を、簡単な比喩を用いて解説したものです。

問題：地球は混沌としたオーケストラである

地震波が地球内をどのように伝わるかを予測することは、非常に困難です。地球は滑らかで均一な球体ではなく、岩石、層、亀裂が入り混じった、乱雑で複雑な混合物だからです。地震が発生すると、波は跳ね返り、散乱し、速度を変えます。それはまるで、万華鏡を通して差し込む光のように変化します。

伝統的に、科学者たちは複雑な物理方程式を実行するスーパーコンピュータを使用して、これらの波を予測しようと試みてきました。しかし、それは嵐の中で降る雨粒の一つひとつの軌道を計算しようとするようなものであり、リアルタイムの警告を発するのに必要なほど迅速かつ効率的ではありません。

解決策：SeismoGPT（パターンを学習する「耳」）

物理方程式を毎回ゼロから解く代わりに、研究者たちはAIに、データから直接パターンの学習を行わせました。

• トレーニング: 彼らは（ノイズが多くて扱いにくい）実際の地震データは使用しませんでした。代わりに、コンピュータ・シミュレーションを用いて、390万個の「架空の」地震という膨大なライブラリを作成しました。彼ら自身がシミュレーションを構築したため、これらの波がどのように振る舞うべきかを正確に把握していました。
• タスク: AIに、架空の地震波の始まり（最初の「P波」が到着してから、続く「S波」を過ぎるまで）を見せました。そして、AIに対し、次の2〜4分間の波がどのようになるかを予測するよう求めました。
• アーキテクチャ: このAIは、「Transformer」と呼ばれるアーキテクチャ（今あなたが話しているような高度な言語モデルの背後にあるものと同じタイプ）に基づいて構築されています。言葉を読む代わりに、地震波の塊を読み取ります。過去を見て、少しずつ未来を予測していくのです。

結果はどうだったのか？

結果は驚くほど良好でしたが、いくつかの特定のルールがありました。

1. 「スイートスポット」: 地震が強く、それほど遠くにない場合、AIは熟練の予測者となりました。タイミングと波の形状を、**93%から97%**の確率で正確に捉えました。AIは、建物に最も大きな被害を与える「コーダ」（地震の長く、次第に減衰していく尾の部分）を正確に予測することができました。
2. 「ぼやけた」ゾーン: AIは、地震が弱い（マグニチュードが小さい）、あるいは非常に遠い場合に苦戦しました。
   • 比喩: 混雑して騒がしいスタジアムの向こう側から、ささやき声を聴こうとしている場面を想像してください。信号が弱すぎて、距離によって歪んでしまいます。このようなケースでは、AIの予測は「ドリフト（逸脱）」し始めました。AIは突拍子もない不可能な音を作り出すことはありませんでしたが、タイミングがわずかにずれてしまいました。メロディは知っているものの、拍子が少しずれているミュージシャンのような状態です。
3. 「コンテキスト（文脈）」のルール: AIが予測を行うには、一定量の波を聴く必要があります。研究者たちは、AIが少なくとも一つの完全な「S-P間隔」（最初の揺れと、それに続くより強い揺れの間の時間差）および、その後に続く揺れを少し聴く必要があることを発見しました。入力が短すぎると、AIは未来を推測できませんでした。逆に、過去の履歴を少し多く与えると、予測は非常に安定しました。

「失敗」の形態

AIが失敗したとき、それは爆発したり、デタラメなものを作り出したりすることはありませんでした。存在するはずのない巨大な波を予測することもありませんでした。代わりに、見た目や音としてはリアルですが、現実とは同期していない波を生み出しました。それは、歌は完璧に知っているものの、歌い出しが数秒遅れてしまう歌手のような状態でした。

なぜこれが重要なのか（論文による記述）

この論文は、これが「概念実証（プルーフ・オブ・コンセプト）」であることを示唆しています。つまり、AIは複雑な物理方程式を毎回解く必要なく、地震波がどのように移動するかという「ルール」を学習できることを示しています。

著者たちは、この技術には2つの潜在的な用途があると言及しています。

1. 地震早期警戒: 最初の波の到着に基づき、破壊的な波（表面波）を予測できるため、人々により早く警告を発するのに役立つ可能性があります。
2. 重力波観測所: 彼らは、将来の観測装置であるアインシュタイン・テレスコープについても言及しています。この観測装置は、時空のゆらぎを聴き取るものです。これらの観測装置は、局所的な地震によって引き起こされる微細な振動（ニュートンノイズ）に対して非常に敏感です。もしAIがこれらの局所的な振動を予測できれば、観測装置はそれらの振動を「差し引いて」、宇宙からの微かな信号をより鮮明に聴き取ることができるようになります。

まとめ

研究者たちは、何百万ものコンピュータ生成された例を学習することで、地震波を予測することを学んだデジタルな「地震学者」を構築しました。これは、強く近くの地震に対しては非常によく機能しますが、弱く遠くの地震に対しては、少し「音程が外れる」傾向があります。これは、従来のスーパーコンピュータが膨大な数学的計算を行う領域を、パターン認識を用いてより速く、より効率的に行うための、有望な新しいツールです。

技術概要

技術要約：Transformerアーキテクチャを用いた3成分地震動のデータ駆動型予測

問題提起
観測データを超えた地震波場の正確かつリアルタイムな予測は、不均質媒体における地震波伝播の非線形性、分散性、およびマルチスケールな性質により、依然として大きな課題となっている。従来の数値的な順モデル（有限差分法やスペクトル要素法など）は、特に短周期、長時間の伝播、あるいは広大な空間領域を扱う高精度なシミュレーションにおいて、計算コストが極めて高い。機械学習は地震イベントの検出やフェーズ・ピッキングの分野で進歩しているが、連続的かつ自己回帰的な波形予測（過去の観測に基づく将来の地震動の進化を予測すること）への応用は限定的である。本研究では、弾性動力学の方程式を明示的に積分することなく、データ駆動型のシーケンスモデルを用いて、地震波の暗黙的な進化演算子を学習できるかどうかの実現可能性を検討する。

手法
著者らは、3成分（ZNE）の地震波形を時間領域で直接予測するために設計された、因果的かつ自己回帰的なTransformerアーキテクチャであるSeismoGPTを導入する。このアプローチは、予測を物理的に制約された継続問題として扱う。

• データ生成: 制御された概念実証（プルーフ・オブ・コンセプト）を確立するため、本研究では約390万個の3成分地震波形からなる合成データセットを利用する。これらは、ak135f_2s地球モデルを用いたInstaseisとAxiSEMグリーン関数を使用して生成されている。データセットは、震源深さ5〜100 km、震央距離10〜90°、およびモーメントマグニチュード（$M_w$）3〜7をカバーしている。震源メカニズムは、Global CMTカタログに適合した分布から抽出されている。
• トークン化: 長いシーケンスの計算複雑性を管理するため、生の波形を16サンプル（サンプリングレート1.9 Hzにおいて約8.4秒）の固定長「トークン（パッチ）」に分割する。これにより、局所的な時間構造を保持しつつ、シーケンス長を削減する。
• アーキテクチャ: SeismoGPTは、エンコーダーのみのTransformerスタックを採用している。
  • トークン埋め込み: 1×1畳み込みによって3成分を混合し、平均プーリングおよび最終サンプル・プーリングを用いて固定次元の埋め込みを作成する。
  • バックボーン: マルチヘッド自己注意機構（multi-head self-attention）と回転位置エンコーディング（RoPE）を備えた8層の因果的Transformerスタックが、長距離の時間依存性をモデル化する。
  • 予測ヘッド: 2層のフィードフォワードネットワークが、トークンの表現を波形空間へとマッピングする。
• 学習戦略: モデルは、以下の要素からなる複合損失関数を用いた教師強制（teacher forcing）を用いて学習される。
  • Log-cosh損失: 時間領域の忠実度と外れ値への堅牢性のためのもの。
  • マルチレゾリューションSTFT損失: さまざまな周波数スケールにおけるスペクトル内容を保持するためのもの。
  • 時間的デルタ損失: トークン境界間の滑らかな遷移を確保するためのもの。
  • クロスホライゾン・コヒーレンス損失: 複数の予測ホライゾン間でスペクトルの整合性を維持するためのもの。
    モデルはAdamWによって最適化され、物理保存的な拡張（極性の反転およびチャンネルの入れ替え）を加えた合成データを用いて学習される。

評価プロトコル
予測性能は、コンテキスト比（$r$）と予測ホライゾン（$\Delta t_{fut}$）によって定義される3つの構成を用いて、ホールドアウト・テストセット上で評価される。

• コンテキスト: 入力ウィンドウはP波の到着から始まり、$t_S + r \times (t_S - t_P)$ まで続く。
• ホライゾン: モデルは、完全な自己回帰モード（グラウンドトゥルースへのアクセスなし）で、その後の波形を120秒または240秒予測する。
• 指標: 性能は、位相や形状に関する正規相互相関（NCC）、振幅の忠実度に関する信号対残差比（SRR）、およびスペクトル精度に関するPSD log-L2誤差を用いて測定される。

主な結果

• 全体的な性能: SeismoGPTは、すべての評価構成において0.93を超える中央値のNCCを達成している。水平成分（N, E）は、垂直成分（Z）よりも性能がわずかに高い傾向にある。
• コンテキスト vs. ホライゾン:
  • 予測ホライゾンを120秒から240秒へ倍増させること（構成AからB）は、自己回帰的なロールアウトにおける誤差の蓄積に起因して、性能の緩やかな低下（中央値NCCの約2%の低下）をもたらす。
  • コンテキストウィンドウを $1\times(t_S - t_P)$ から $2\times(t_S - t_P)$ へ倍増させること（構成BからC）は、失われた性能の多くを回復させる。これは、S波の波形を少なくとも1つのS–P間隔分観測することが、安定した予測には必要であり、かつほぼ十分であることを示している。
• 失敗モード: 性能低下は、主に震央距離が大きい（$\Delta \gtrsim 50^\circ$）、マグニチュードが低い（$M_w \lesssim 4.5$）、および震源が浅い領域で発生する。これらのケースでは、波形は弱くコヒーレントで、高度に分散している。失敗が発生する場合、モデルは通常、非物理的な信号生成や振幅の発散ではなく、緩やかな位相ドリフトを伴う、物理的に妥当な波形を生成する。
• 代表的な成功例: 中央値のイベントに対して、モデルは最大600秒間の将来の到着を予測することに成功し、位相のコヒーレンスとスペクトルエネルギー分布を保持している。

意義と主張
本論文は、SeismoGPTが物理駆動型の時系列予測のための基盤モデル的アプローチの可能性を示していると主張している。主な貢献は以下の通りである：

1. 実現可能性の証明: Transformerベースのシーケンスモデルが、弾性動力学方程式を明示的に数値積分することなく、データから直接、地震波の安定した動的な継続を学習できることを示した。
2. 制御されたベースライン: 合成データを用いることで、コンテキスト長と予測ホライゾンの影響を分離し、実世界のデータへ拡張する前の厳格な制御された概念実証を提供した。
3. 応用への可能性: 本手法が地震早期警報や災害軽減において有用である可能性を強調している。具体的には、ニュートンノイズの能動的な緩和のために、周囲の地震波場の短期的進化を予測することが求められる次世代重力波観測装置（**アインシュタイン望遠鏡（ET）**など）への関連性を挙げている。

著者らは、現在の実装が比較的規模の小さいモデル（26Mパラメータ）と合成データを使用していることを踏まえ、即時の実世界への展開については慎重な姿勢を保っており、3D地球不均質性、高周波サンプリングレート、および遍在する環境ノイズに対処するために今後の研究が必要であるとしている。