🤖 machine learning

LakeFM: Toward a Foundation Model for Aquatic Ecosystems Using Irregular Multivariate Multi-depth Time Series Data

本論文は、不規則で不均質な水圏時系列データの処理における限界を克服するために、大規模なシミュレーションおよび観測生態学的データセットを用いて事前学習された基盤モデルであるLakeFMを紹介し、それによって湖沼のダイナミクスと水質に関する、より優れた、かつ物理的に妥当な予測を実現するものである。

原著者： Abhilash Neog, Sepideh Fatemi, Medha Sawhney, Kazi Sajeed Mehrab, Aanish Pradhan, Bennett J. McAfee, Emma Marchisin, Arka Daw, Robert Ladwig, Cayelan C. Carey, Paul Hanson, Anuj Karpatne

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abhilash Neog, Sepideh Fatemi, Medha Sawhney, Kazi Sajeed Mehrab, Aanish Pradhan, Bennett J. McAfee, Emma Marchisin, Arka Daw, Robert Ladwig, Cayelan C. Carey, Paul Hanson, Anuj Karpatne

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：湖の「散らかったノート」

ある科学者が残したノートを読んで、湖がどのように機能しているかを理解しようとしている場面を想像してみてください。しかし、そのノートはめちゃくちゃです。

ページが足りない： 何も記録がない日があります。
筆跡がバラバラ： あるページでは水温を1時間ごとに記録していますが、次のページでは月に一度しか記録していません。
深さが混乱している： 水面を測ったり、深さ5フィートを測ったり、時には20フィートを測ったりしますが、湖ごとに深さの基準が一致しません。
変数が一貫していない： 湖Aには酸素と藻類に関するデータがありますが、湖Bには温度のデータしかありません。

長い間、コンピュータモデル（機械学習）はこの問題に苦戦してきました。彼らは、完璧にタイプされ、規則正しく整列したスケジュールしか読めない学生のようなものでした。データが乱れていたり、不規則だったり、欠落があったりすると、モデルは壊れてしまうか、誤った答えを出してしまいます。彼らは通常、まず「空白を埋める（補完する）」作業を行いますが、これによってエラーが導入されることがよくありました。

解決策：LakeFM（「超・読書家」）

著者たちは、新しいタイプのAIである「基盤モデル（Foundation Model）」であるLakeFMを作り上げました。これは、ノートが整然としていなくても大丈夫な「超・読書家」のようなものです。

1. 「トークン」のトリック（乱れたデータを読む）
バラバラのデータを無理やり完璧なグリッド（スプレッドシートのような形式）に押し込める代わりに、LakeFMはすべての情報を、個別の「トークン」または独立したイベントとして扱います。

比喩： 本が棚Aにあるか棚Bにあるか、あるいは本が足りないかなど、全く気にしない司書を想像してください。彼らはただ、すべての本（データポイント）を手に取り、そのラベル（いつ、どの深さで、何の変数か）を読み、脳内に整理していきます。
これにより、LakeFMはデータを事前に「修正」したり「穴埋め」したりすることなく、時間、深さ、変数が不規則なデータを扱うことができます。

2. 「二つの脳」システム
LakeFMは、同時に2種類の異なることを学習するように設計されています。

「静的な脳」（湖のDNA）： これは、特定の湖をユニークかつ不変なものにしている要素（場所、大きさ、雨水で満たされているのか地下水によるものかなど）を学習します。それは、人の指紋を知るようなものです。
「動的な脳」（湖の気分）： これは、湖が時間の経過とともにどのように変化するか（季節による温度の変化や、夏に藻類が大量発生するなど）を学習します。それは、人の日々の気分の浮き沈みを追跡するようなものです。
これらを分離することで、モデルは、ウィスコンシン州の湖がフロリダ州の湖とは異なるものであることを、両方が冬に寒いとしても認識することができます。

3. 「万能翻訳機」
LakeFMは、膨大なライブラリのデータを用いて訓練されました。

現実世界のデータ： 米国の実際の21の湖からの観測データ（非常に乱れており、まばらなデータです）。
シミュレーションデータ： 物理法則に基づいた1,000以上のコンピュータ生成された湖のデータ。
現実の乱雑さと完璧な物理学の両方から学んだことで、LakeFMは、見たことがない湖に対しても（ゼロショット）、優れた予測を行うことができます。それは、20種類の異なるキッチンで料理をした経験を持つシェフが、初めて入ったキッチンでも、手元にある材料を使って素晴らしい料理を作れるようなものです。

LakeFMにできること

1. 未来の予測（フォーキャスティング）
論文によれば、LakeFMは既存のモデルよりも、データが欠落していたり不規則であったりする場合でも、将来の水の状態（温度や酸素レベルなど）をより正確に予測できます。

結果： 未知の湖に対して、既存のトップクラスのAIモデル（Chronos 2やMOMENTなど）よりも高い精度を実現しました。

2. 「もしも」の探偵
最も面白い機能の一つは、LakeFMが「マスクされた（隠された）」データを扱えることです。「温度のデータはあるが、酸素のデータはない」と指示すれば、他の湖における温度と酸素の相互作用から学んだ知識を用いて、酸素レベルを予測することができます。

洞察： 論文では、酸素のデータを隠すとモデルの不確実性が増す（これは賢明な反応です！）一方で、温度を隠すとモデルが混乱することが分かりました。これにより、科学者はどの変数が他の変数を予測するために最も重要であるかを理解できます。

3. 物理法則に従う
LakeFMは単なるAIですが、自然の法則を尊重することを学びました。

熱成層： 夏には、湖の水は深くなるほど冷たくなります。LakeFMは、深い水が表面よりも熱いと予測するという、物理的に不可能な間違いをめったに犯しません。
光と藻類： 光は深くなるにつれて減衰するという、現実の物理学が示す通りに正しく予測します。
比喩： これは、単に答えを暗記しただけでなく、ゲームのルール自体を理解した学生のようなものです。そのため、「不正な動き」をすることはありません。

4. 湖の「個性」を理解する
論文では、AIの「思考（エンベディング）」を可視化しており、AIが現実世界の特性に基づいて湖を自然にグループ化していることが分かりました。

地理的に近い湖や、水の種類が似ている湖（「排水型」対「浸透型」など）は、AIのメンタルマップ上でも隣り合わせに配置されました。
これは、AIが単に推測しているのではなく、異なる湖の生態系の「個性」を実際に学習していることを証明しています。

まとめ

LakeFMは、湖のマスター探偵として機能する新しいAIツールです。乱雑で不完全で不規則なあらゆる湖のデータを読み解き、その湖独自の「個性」を理解し、物理法則を尊重しながら未来の挙動を予測することができます。完璧なデータを必要とせずに機能するため、私たちの淡水生態系を理解し、保護するための強力なツールとなります。

技術要約：LakeFM：水圏生態系のための基盤モデルに向けて

1. 問題提起

内陸水体の健全性を監視することは、持続可能な淡水管理において極めて重要であるが、湖沼のダイナミクスをモデリングすることは、生態学的データの性質上、大きな課題に直面している。既存の生態学的時系列データに対する機械学習アプローチは、通常、時間と水深の両方において規則的なサンプリングを前提としている。しかし、現実世界の湖沼モニタリングデータは、以下のような特徴を持つ：

不規則性： サンプリング頻度が非常に高く（日次から月次まで）、欠損値も多い（LakeBeD-USのようなデータセットでは平均して60〜70%の疎性がある）。
異質性： 変数のセットが多様であり、水深分解能が異なり、異なる湖の間で観測パターンが一致しない。
スケーラビリティの問題： Chronos 2やMOMENTといった既存の時系列基盤モデル（TSFM）は、一般にクリーンで高密度にサンプリングされた単変量データを想定しており、疎で多変数かつ多水深な水圏科学のデータには適していない。さらに、既存のモデルは、広範なファインチューニングなしでは、異なる物理的・生物地球化学的特性を持つ湖の間で汎化することに苦慮することが多い。

解決すべき核心的な問題は、外部による補完（インピュテーション）に頼ることなく、不規則で多変数、かつ多水深の時系列データを処理しながら、広範な湖のコレクションを通じて一般的な湖沼プロセスを学習できる基盤モデルの欠如である。

2. メソドロジー：LakeFM アーキテクチャ

LakeFMは、21の実際の湖（LakeBeD-US）からの150万件以上のサンプルと、1,000を超える多様なプロセスベースのシミュレーション（WQHansonおよびFCRシミュレーション）からなる大規模データセットを用いて事前学習された基盤モデルである。そのアーキテクチャは、データを固定されたグリッドとしてではなく、イベントのシーケンスとして扱うことで、不規則なグリッド上で動作するように設計されている。

2.1 入力トークナイゼーションとエンベディング

グリッドベースのアプローチとは異なり、LakeFMは個々の測定値を一つの独立したイベント（トークン）としてトークン化する。

トークンの定義： 各観測値は、絶対タイムスタンプ、変数識別子、連続的な水深、およびスカラー値を表すタプル $(t_k, v_k, d_k, x_k)$ である。
エンベディング戦略： 以下の4つのコンポーネントを結合することで、複合エンベディングを構築する：
- 時間エンベディング： 連続的な時間のための正弦波位置エンコーディング。
- 水深エンベディング： 連続的な水深値を扱うためのフーリエ特徴量エンコーディング。これにより、モデルが垂直方向の勾配を学習することを可能にする。
- 変数エンベディング： カテゴリカルな変数IDのための学習可能なルックアップ。
- 値エンベディング： スカラー測定値のためのSwiGLUスタイルのゲート付き射影。
シーケンス形成： トークンは、変数ID、次に水深、最後に絶対時間によってソートされ、入力シーケンスを形成する。

2.2 エンコーダーと特徴量の分離

エンコーダーは、科学的データ向けに特定の修正を加えたTransformerブロックのスタックを利用する。

回転位置エンベディング（RoPE）： 相対的な時間依存性をモデル化するために使用される。
構造化アテンションバイアス： アテンション・ロジットに学習可能な加算バイアスを導入し、変数内（単一変数の時間的ダイナミクス）と変数間（異なる変数間の相関）の相互作用を区別する。
静的 vs 動的の分離： モデルは表現空間を2つの並行するサブスペースに分離する：
- 静的エンベディング： 平均プーリングを介して集約され、時間的に不変な湖の特徴（地理、水文学など）を捉える。これらは対照学習に使用される。
- 時間的エンベディング： 時間情報を保持し、予測デコーダへの入力として機能する。

2.3 クエリベースの予測と確率的出力

クエリベース戦略： 固定されたフィードフォワードデコーダーの代わりに、LakeFMは特定の $(t, v, d)$ 点によって定義されるターゲットクエリを使用する。デコーダはクロスアテンションを用いて、エンコードされた履歴コンテキストから関連情報を取得し、任意の未観測点（規則的または不規則なグリッド）における柔軟な推論を可能にする。
確率的ヘッド： 環境データに共通するヘビーテイルなノイズと不確実性を扱うため、モデルはStudent- $t$ 分布のパラメータ（ $\mu, \sigma, \nu$ ）を出力する。決定的なのは、自由度（ $\nu$ ）が動的に学習されることであり、これによりモデルは特定の変数やコンテキストに基づいて、ヘビーテイルなレジームとガウス型に近いレジームの間を適応的に切り替えることができる。

2.4 学習目的

LakeFMは、以下の2つの損失の共同最適化を用いて事前学習される：

確率的予測損失： 予測されたStudent- $t$ 分布の下でのグラウンドトゥルース値の負の対数尤度を最小化する。
対照損失： 同一の湖からのサンプルをポジティブ、異なる湖からのサンプルをネガティブとして扱うことで、湖固有の静的な表現を学習するように促す（InfoNCE定式化）。

3. 主な貢献

不規則データの処理： LakeFMは、不規則、多変数、多水深の時系列データを直接取り込むことができる最初の基盤モデルであり、補完や規則的なグリッドへのリサンプリングの必要性を排除している。
ゼロショット汎化： 未知の湖（Out-of-Distribution）や未知の変数に対して競争力のある、あるいは優れた予測性能を示し、多様な湖系を横断した知識転移を活用する。
物理的一貫性： モデルは、損失関数に明示的な物理的制約を設けることなく、物理法則（例：熱成層やBeer-Lambert則）への創発的な適合性を示す。
科学的発見： マスキング実験を通じて、LakeFMは変数間の相互作用や水深依存性に関する新たな知見を明らかにし、生態学的仮説のための発見エンジンとして機能する。
効率性： 複雑な不規則データを扱っているにもかかわらず、LakeFMは一般的な時系列基盤モデルと比較して、大幅に少ないパラメータ数（7M）でこれらの結果を達成している。

4. 実験結果

モデルは、LakeBeD-USデータセット（21の湖）およびシミュレーションデータセットを用いて、時系列基盤モデル（Chronos 2, MOMENT, MOIRAI）、ローカルモデル（iTransformer）、および不規則時系列モデル（HyperIMTS, ReIMTS）と比較評価された。

予測性能： LakeFMは、ほとんどのインディストリビューション（ID）およびアウトオブディストリビューション（OOD）の湖において、最も低い平均二乗誤差（MSE）を達成した。他のモデルが転移学習能力の欠如により苦戦するゼロショット設定において、一貫してベースラインを上回った。
補完フリーの優位性： 不規則時系列のベースラインとの比較において、LakeFMは最高の平均ランク（OODで1.0、IDで1.27）を達成し、その性能向上が単なる補完パイプラインの回避ではなく、不規則性を直接モデリングしていることに起因することを裏付けた。
物理的一貫性： 100の未知のシミュレーション湖において、LakeFMはChronos 2と比較して、熱成層則（より低い反転率）およびBeer-Lambert則（より高い $R^2$ ）に対して高い一貫性を示した。
エンベディング分析：
- 静的エンベディング： t-SNE可視化により、学習された静的エンベディングが、訓練中にメタデータとして使用されていないにもかかわらず、地理的位置（州）や水文学的レジーム（例：排水型か浸透型か）によって自然にクラスター化されていることが示された。
- 動的エンベディング： エンベディング空間における時間的軌跡は、栄養状態（貧栄養か富栄養か）や季節パターンなどの生態学的特性と一致していた。
アブレーション研究： 対照学習、変数固有の自由度、または連続的な水深エンベディングを除去すると、大幅な性能低下を招き、各コンポーネントの必要性が検証された。

5. 意義と主張

本論文は、LakeFMを、スケーラブルで汎用的な湖沼生態系のモデリングに向けた実用的な一歩として位置づけている。その意義は以下の点にある：

パラダイムシフト： 単一の湖や単一の変数による分析、および補完依存のパイプラインから脱却し、異なる不規則性を持つ多様な湖の間で情報を共有する統一された基盤モデルへと移行すること。
マクロシステム理解： 多様で異質なデータを用いて、マクロシステム規模での湖沼生態学を理解するための第一歩を可能にすること。
科学的有用性： 変数のマスキングを扱う能力により、研究者は「もし〜だったら」というシナリオ（例：溶存酸素データがない場合の温度予測）をクエリすることができ、将来のデータ収集戦略を導く変数間の相互作用に関する洞察を得ることができる。
AI4Scienceの基盤： 本研究は、基盤モデルが特定の科学ドメインに特化して調整可能であり、単なる統計的パターンだけでなく、基礎となる物理的原理をも学習できることを示し、データ駆動型MLとプロセスベースの科学的モデリングの間の溝を埋めるものである。

著者らは、訓練分布と著しく異なる気候コンテキスト（例：異なる熱的/結氷ダイナミクスを持つ地域）への外挿に関する限界を認めており、モデルは観測されたデータの範囲内の学習された統計的依存関係に依存していると述べている。