From Surface Forecasting to Observability Forecasting: A Latent World Model for Cloud-Aware EO Monitoring

巨大なスクリーンでライブスポーツ中継を見ようとしている場面を想像してみてください。しかし、その視界は厚い動く雲によって絶えず遮られています。雲が数秒間だけ晴れることもあれば、その後何時間も再び地面を覆ってしまうこともあります。地球観測の世界でも、科学者たちは衛星を使って地球の写真をとっていますが、彼らも全く同じ問題に直面しています。真の課題は、衛星が停止したり写真が届かなくなったりすることではなく、届いた写真の地面が完全に隠れてしまっていることなのです。それはまるで、ページの上にカードの束をシャッフルしながら重ねられ、本を読もうとしているようなものです。

この問題を解決するために、研究者たちは「天候ドライバー（気象因子）」、つまり雨、気温、気圧に関するデータを使用して、空がどのような状態になるかを推測します。また、彼らは「ワールドモデル」という概念も使用します。ワールドモデルとは、完璧な未来の絵を描く機械ではなく、世界の「ルール」を学ぶ賢い学生のようなものだと考えてください。雲のかかった写真をすべてのピクセルごとに暗記しようとするのではなく、この学生は「通常、いつ雲が退くのか」という隠れたパターンを学習するのです。この論文は、非常に実用的な問いを投げかけています。コンピュータに対し、「完璧な未来の画像を生成すること」に固執するのではなく、「視界は地面が見えるほどクリアになるか？ もし見えないなら、あとどれくらい待てばよいか？」という、より単純で有用な問いに答えることに集中させることはできるだろうか？ ということです。

---

雲に覆われた窓の問題

地球観測（EO）の世界では、データフローが止まるためにパイプラインが失敗するのではなく、届いたデータが使い物にならないために失敗します。雲、霞（かすみ）、あるいは欠落したピクセルによって、地表が数日間、あるいは数週間隠れてしまうことがあります。これにより、主な課題は「データを取得すること」から「届いたデータが利用可能かどうかを知ること」へと変化します。

この論文の著者である欧州中期予報センター（ECMWF）のMohanad Albughdadi氏は、目標を変えることでこの問題に取り組むことにしました。次に撮られる地球の画像が正確にどのような見た目になるかを予測する（これは「表面予測」と呼ばれるタスクです）代わりに、彼らはこう問いかけました。「次の画像が利用可能かどうかを予測できるか？ そして、もし曇っているなら、いつになったら雲が晴れるのか？」

彼らは、衛星画像と気象データを組み合わせたEarthNet2021というデータセットを使用して、このアイデアをテストしました。この問題を解決するために、彼らはLeWorldModel (LeWM) と呼ばれる特殊なタイプのAIを使用しました。

「賢い学生」対「芸術家」

未来を予測しようとするほとんどのAIモデルは、芸術家のように振る舞います。彼らは次の画像のあらゆる詳細を、ピクセル単位で再構成しようとします。空が曇っている場合、芸術家はその雲がどのように見えるか、そしてその下にどのような地面があるかを推測しようとします。

しかし、LeWorldModelは、パターンの研究をしている「賢い学生」のように振る舞います。これは「結合埋め込み予測アーキテクチャ（JEPA）」を使用しています。次の絵を描こうとする代わりに、それは潜在状態（latent state）、つまり状況を圧縮した隠れた要約を学習します。モデルはこう問いかけます。「過去数枚の画像と現在の天候を考慮すると、可視性の『状態』はどうなっているか？」

著者らは、地球をモニタリングするためには、次の画像に特定の木や特定の道路が写っているかどうかを知る必要はないと主張しています。単にシーンの「状態」を知る必要があるのです。つまり、隠れているのか？ それとも、まもなく見えるようになるのか？ これにより、モデルは非常に効率的になります。このモデルは1,800万個の学習可能なパラメータを持ち、23,904エピソードの衛星データで学習されました。

実験：晴れ間を予測できるか？

研究者たちは、この「賢い学生」が他の2つの手法に勝てるかどうかを確認するために、厳格なテストを設定しました。

1. パーシスタンス（持続性）: これは「怠慢な」手法です。未来は現在と全く同じであると仮定します。今曇っていれば、次も曇っていると予測します。
2. LightGBM: 気象の数値（天候の履歴、カレンダーの日付）を分析する強力で標準的な機械学習ツールですが、画像自体は「見て」いません。

彼らは4つの異なるシナリオでモデルをテストしました。

• Valsplit: 標準的なテストセット。
• IID: 学習データと非常によく似たデータ。
• OOD (分布外データ): 学習データとは異なるデータ。
• Extreme (極端なケース): 非常に厚い雲に覆われ、時間間隔が長いデータ。

結果：いつ待ち、いつ行動すべきか

結果は、LeWorldModelが優れた「観測可能性予測器（observability forecaster）」であることを示しましたが、同時に他のツールと比較した際の具体的な強みと弱点も明らかにしました。

1. 「怠慢な」手法を打ち負かす
このモデルは、一貫して「パーシスタンス」法を圧倒しました。

• 次ステップの利用可能性: 次の画像が利用可能かどうかを問われた際、LeWorldModelは0.769から0.887の間のバランスの取れた精度を達成しました。一方、パーシスタンスは0.493から0.556にとどまりました。
• 復帰のタイミング: 視界がいつ晴れるかを正確に予測するよう求められた際、LeWorldModelは非常に高い精度（0.602から0.806）を示しましたが、パーシスタンスは（0.120から0.369）でした。

2. LightGBMとの戦い
LightGBMとの比較により、チーム内のスキルの分かれ道が明らかになりました。

• 単純な問い: 「次の6ステップの間に、利用可能な画像が一つでも現れるか？」という簡単な問いに対しては、ほとんどのテストでLightGBMが勝者となりました。LightGBMは、天候の数値を見て素早く「Yes/No」の判断を下すことに非常に長けています。
• 複雑な問い: 「雲が晴れる正確な瞬間を予測する」や「視界の連続的な質（地面がどの程度見えているか）を推定する」といった、より難しい問いに対しては、LeWorldModelがチャンピオンとなりました。
  • 最も困難なExtreme分割において、LeWorldModelは最初の利用可能なビューが出る正確なタイミングを0.705の精度で予測しましたが、LightGBMは0.633でした。
  • 誤差の面では、Extreme分割においてLeWorldModelの平均誤差は0.627ステップでしたが、LightGBMは0.885ステップでした。

3. 弱点
論文では、LeWorldModelがどこにおいても完璧であるわけではないことが指摘されています。データが学習時と大きく異なるOOD (分布外) 分割においては、実際にはLightGBMの方が優れたパフォーマンスを示しました。これは、「賢い学生」は既知のパターンを学習することには長けているものの、天候が全く新しい挙動を見せた場合には混乱してしまう可能性があることを示唆しています。

これが将来にとって何を意味するか

著者らは、この結果を過大に宣伝しないよう注意深く記述しています。彼らは、このモデルは（使用される天候データが外部のものであり制御できないため）アクションを計画するためのツール（例えば、衛星がどこを飛ぶべきかを指示するなど）ではないことを明確にしています。また、これは地球の新しい画像を作り出すビデオ生成器でもありません。

代わりに、この論文は、LeWorldModelが非常に効果的な**潜在的観測可能性予測器（latent observability forecaster）**であると結論付けています。これはオペレーターに対し、「次の画像を分析する時間は無駄です。まだ曇っています。しかし、朗報です。あと約3時間で雲が晴れるはずです」と伝えるためのツールなのです。

結局のところ、この研究の価値は、完璧な未来の絵を描けることにあるのではありません。それは、私たちが再び地面を見ることができるのは「いつ」なのかを教えてくれることであり、宇宙から地球を監視するすべての人々の時間とリソースを節約できる点にあるのです。