A Leakage-Controlled Time-Series Forecasting Benchmark for GOES Soft X-ray and Proton Flux

太陽は、安定した不変の星ではありません。それは時折、爆発を起こし、光速で地球へと向かう放射線や高エネルギー粒子のバーストを送り出す、ダイナミックなエンジンなのです。これらの噴出が地球を襲うと、GPSを導く人工衛星から都市を照らす電力網に至るまで、私たちが日常的に依存しているテクノロジーを混乱させる可能性があります。これらのシステムを保護するために、科学者たちは単に噴火が来ることを知るだけでなく、それがどのように振る舞うのか、つまり、どれほどの速さで上昇し、どれほど激しくなり、どれほど長く続くのかを正確に知る必要があります。数十年にわたり、研究者たちはコンピュータモデルを用いてこれらの事象を予測しようとしてきましたが、新たな研究は、私たちがこれらのモデルをテストする方法に決定的な欠陥が隠されていることを示唆しています。

韓国天文宇宙研究院のチームは、人工知能が太陽フレアの強度と高エネルギー陽子の流れを真に予測できるかどうかを確認するために、より厳格で新しいテストを構築しました。単にコンピュータにフレアが発生するかどうかを推測させるのではなく、放射線レベルの連続的な分単位の上昇と下降を予測させるのです。彼らは、複数の太陽活動サイクルをカバーする約30年間のデータを収集し、コンピュータが将来の情報にアクセスできないように、テストを慎重に構成しました。この厳格なアプローチにより、驚くべき事実が明らかになりました。すなわち、一部のモデルは太陽活動の全般的な静かな背景を予測することには優れていますが、私たちのテクノロジーに最大の脅威をもたらす突然の危険なスパイク（急上昇）を予測することには大きく失敗するという事実です。

この研究の核心は、「データ漏洩（データ・リーケージ）」として知られる一般的な間違いを排除するために設計された、標準化されたテストである新しいベンチマークです。多くの以前の研究では、モデルを訓練する前にデータをランダムにシャッフルしていました。これは、歴史の試験を受けるために、問題を見る前に答えを読んでしまうようなものです。太陽活動はタイムラインに従って進行するため、データをシャッフルすることで、モデルは現実世界のシナリオでは決して得られないはずの未来からのパターンを学習できてしまっていました。新しいベンチマークは、データを重複のない厳格な時間ブロックに分割することで、この問題を解決します。モデルは過去のデータに基づいて訓練され、テストには将来のデータのみを使用されるため、示されたスキルが記憶ではなく、純粋な予測であることを保証します。研究者たちは、10種類の現代的なディープラーニング・モデルを、太陽フレアの強度を測定するソフトX線フラックスと、宇宙船にダメージを与える可能性のある高エネルギー粒子の流れを測定する陽子フラットの2つの特定のターゲットに対してテストしました。

研究者がテストを実行したところ、結果は成功と厳しい限界の混在したものでした。あるセグメント再帰型ネットワーク（segment-recurrent network）は、放射線曲線の全体的な形状を予測する上で最も正確であることが証明されました。このモデルは、予測値と実際のデータの差を測定する際、一貫して最小の誤差を示しました。しかし、この全体的な正確性は物語の半分しか語っていませんでした。研究者が、危険な太陽フレアを定義づける突然の衝動的なスパイクを予測する能力に焦に焦点を当てたところ、最も優れた性能を示したモデルでさえ、力不足であることが判明しました。そのモデルは、平均的な静かな背景を正しく捉えることに集中しすぎた結果、鋭いピークを滑らかにしてしまい、実質的に最も重要な瞬間を見逃してしまったのです。実際、これらの突然のスパイクを予測する場合、最高のモデルのスキルスコアは「パーシスタンス・フロア（持続性の下限）」に位置しており、現在の状況がそのまま続くという単純な推測（スコアが0.10付近）と変わらないレベルでした。

この全体的な正確性と、危険な事象を検知する能力との間の乖離こそが、本論文の最も重要な発見です。研究者たちは、平均誤差を最小化しようとすることは、実際には極端な事象が非常に稀であるために、それらの事象を無視するようにモデルを促してしまうことを発見しました。平均的に完璧であろうとするモデルは、自然とデータの穏やかで退屈な部分を予測する方向に偏り、激しいスパイクを予測できなくなります。興味深いことに、この問題は太陽フレアにおいてのみ発生しました。一度始まると数日間持続する傾向がある高エネルギー陽子の流れを予測する場合、数学的な全体像に優れたモデルは、イベントを特定することにも長けていました。これら2種類の太陽活動は挙動が異なります。フレアは突然で混沌としていますが、陽子の流れは、追跡しやすいゆっくりとした、うねるような波のようなものです。

また、本研究では、これらの新しいコンピュータモデルを、アメリカ海洋大気庁（NOAA）が現在運用している予測と比較しました。陽子の流れについては、新しいモデルは既存の人間の主導によるシステムと同等の性能を示しました。しかし、太陽フレアについては、どの人工知能モデルも、「もしイベントが発生した直後であれば、次も発生する」と仮定する高度なベースラインを上回ることができませんでした。最高のモデルであっても、条件が変化しないと仮定する単純な「定数値（flat-value）」の推測のほぼ2倍のスキルを発揮しましたが、それでも運用上のリファレンスや、より現実的なパーシスタンス・ベースラインには大きく及びませんでした。最も高度なディープラーニング・アーキテクチャでさえ、他の多くの分野に革命をもたらしてきた技術であっても、数時間以上前にフレアの正確なタイミングと強度を予測するという難題を解くことはできませんでした。研究者たちは、この困難さはコンピュータモデル自体の失敗ではなく、データの根本的な限界である可能性があると指摘しています。つまり、フレアの突然の発現は、放射線ストリームの履歴のみからは本質的に予測不可能であるように見えるのです。

最終的に、この研究は宇宙天気予報の分野における必要な現実認識を提供します。これは、モデルが低い誤差率を持っていたとしても、極端な事象を捉えることができなければ、その本来の目的においては役に立たないことを示しています。研究者たちは、データ、コード、およびテストフレームワークを公開し、他の科学者が同じ厳格なルールの下でこの問題に挑戦することを呼びかけています。将来の情報を事前に知る可能性を排除し、危険なスパイクを特定するという特定のスキルに焦点を当てることで、彼らは次世代の予測ツールのための明確な目標を作り上げました。今後の道筋として、彼らは、静かな平均よりも稀で激しい瞬間を特別に重視するように設計された新しいタイプのモデルが必要であるか、あるいは、これらの突然の噴出を予測する鍵を握っているかもしれない、異なる種類の太陽データを使用する方向への転換が必要である可能性を示唆しています。それまでは、最も危険な太陽嵐を予測する能力は依然として未解決の課題であり、モデルが本当に何を学習しているのかを理解するために、単純な正確性スコアを超えて見る必要があるのです。