Do AI Forecast Ensembles Sample the Correct Conditional Distribution?

ある一つの街全体を予測しようとしている場面を想像してみてください。単一の近隣地域だけでなく、街全体です。もし北で雨が降れば、南でも雨が降る可能性が高いということを、あなたも知っているはずです。天気は孤立したバブルの中で起きるものではありません。これが「アンサンブル予報」の核心です。一つの未来を推測する代わりに、科学者たちはコンピュータモデルを数十回、あるいは数百回実行して、起こりうる結果の「雲（集まり）」を作り出します。目標は、単に平均値を当てることではなく、それらの結果の「広がり」が現実の世界と一致するようにすることです。もし現実の世界で異なる場所の間に強い結びつきがあるなら、予報の雲もその同じ繋がりを示す必要があります。

長い間、これらの「雲」は、自然界の法則をシミュレートする巨大な物理ベースのスーパーコンピュータによって作られてきました。しかし最近、新しい種類の「AI気象予報士」が登場しました。これらは、何千年分もの過去の気象パターンを暗記し、その記憶に基づいて未来を推測することを学んだ、非常に優秀な学生のようなものです。彼らは驚異的に速く、膨大な可能性の雲を生み出すことができます。しかし、ここで大きな疑問があります。AIが特定の場所の天気を予測することに関しては非常に速くスマートであったとしても、彼らの作る「可能性の雲」は、異なる場所がどのように結びついているかを実際に捉えているのでしょうか？ もしAIが「ボストンでは雨、マイアミでは晴れ」と考えている一方で、実際には両方の地域が通常どちらも雨か、あるいはどちらも晴れである場合、たとえ個々の予測が正確であったとしても、その予報は壊れていることになります。

---

AI気象予測の大きな乖離

この研究において、ボストン大学の研究者たちは、普及している一種のAI気象モデルをテストにかけました。彼らは、「拡散モデル（ディフュージョン・モデル）」と呼ばれる、ノイズを徐々に鮮明な画像へと変えることで学習する高度なAIを用いて、アメリカ東海岸沿いの海面水位を予測させました。彼らが知りたかったのは、AIが単一の潮位計における水位を正しく予測できるかだけでなく、メイン州からフロリダ州に至る8つの異なる観測地点の水位が、どのように連動して動くのかという点でした。

これは合唱団のようなものです。AIは、一人ひとりの歌手（個々の観測地点）が正しい音を歌うことについては非常に優れています。もし「ボストンの水位は？」と尋ねれば、AIの答えは通常、極めて正確です。しかし、合唱団全体に耳を傾けると、AIは調和を乱して歌っています。AIは、歌手たちが共に「歌い合わせる」方法を捉え損ねているのです。

研究者たちは、驚くべき「スキルの格差」を発見しました。一つの観測地点に注目する標準的なテストを用いてAIの性能をチェックした際、AIはランダムな予測を上回るスター級の成績を収めました。しかし、複数の地点が正しく「共に歌っているか」を確認するために設計された特別なテストを用いたところ、AIの性能は、単に過去の気象パターンをランダムに選ぶよりも低い結果となりました。それはまるで、AIがすべての曲の歌詞を完璧に覚えていながら、他の歌手とのハーモニーの取り方については全く理解していないかのようでした。

「データの量」という神話

あなたはこう思うかもしれません。「おそらく、AIにもっと猛勉強させる必要があるのではないか！ もっと多くの学習データを与えれば、ハーモニーを学べるはずだ」と。研究者たちは、カオス的な天気を模したコンピューター生成の世界（ローレンツ96系と呼ばれるもの）を用いて、この実験を行いました。彼らは、極めて少ないデータから、170年分の気象記録に相当する膨大なデータまで、あらゆる量のデータをAIに投入しました。

結果はどうだったでしょうか？ 格差は埋まりませんでした。大量のデータを与えても、AIは個々の地点の予測については向上しましたが、それらの地点がどのように結びついているかの予測については、依然として非常に低いままでした。これは、AIの「学習不足」による問題ではなく、これらのAIモデルが学習する方法における構造的な欠陥なのです。彼らは曲の「ソロパート」を学ぶことは非常に得意ですが、「アンサンブル（合奏）パート」を学ぶことには苦労しているようです。

「模倣者」対「物理学」

この現象がなぜ起きているのかを解明するため、チームは3種類の予報者を比較しました。

1. AI拡散モデル： 高度な新しい学生。
2. 力学モデル： 運動方程式を解く伝統的な物理ベースのコンピュータ（古参の専門家）。
3. 決定論的エミュレータ： 開始地点を受け取り、ランダム性を排除してそのまま前方に実行する、いわば「模倣者」としてのAI。

彼らは、伝統的な物理モデル（力学アンサンブル）にはこの問題が発生せず、調和を維持していることを発見しました。一方で、AIの模倣者は、拡散モデルと同様に失敗しました。このことは、問題が「アンサンブル予報」全般にあるのではなく、特にこれらのデータ駆動型AIモデルがどのように構築されているかにあることを示唆しています。彼らは、単純な部分については優れていても、システムの異なる部分間の複雑で多次元的な関係を学習することに困難を感じているようです。

なぜこれが重要なのか

この研究は、より大きなAIモデルやより多くの学習データがあれば、自動的にこれらの隠れたエラーが修正されると安易に考えることはできない、ということを示唆しています。もし私たちがこれらのAI予報を沿岸部の洪水警報などに利用する場合、一つの町に対する素晴らしい予測は得られるかもしれませんが、嵐による高潮が海岸線に沿ってどのように移動するかという全体像については、完全に間違ったものになる可能性があります。

研究者たちは、AIは強力なツールではあるものの、現在は地球の異なる部分がどのように接続されているかという点において「盲点」を持っていると結論付けています。全体像を把握するためには、引き続き伝統的な物理ベースのモデルをAIと併用していく必要があり、また、単なるソロのパフォーマンスを見るのではなく、合唱団全体のハーモニーをチェックするような、AIのための新しいテスト手法を開発する必要があります。それまでは、AIは輝かしいソロ奏者かもしれませんが、オーケストラを率いる準備はまだ整っていないのです。