🤖 machine learning

LakeFM: Toward a Foundation Model for Aquatic Ecosystems Using Irregular Multivariate Multi-depth Time Series Data

该论文介绍了 LakeFM，这是一个在规模化的模拟和观测生态数据集上进行预训练的基础模型，旨在克服处理不规则、异构水生时间序列数据的局限性，从而实现对湖泊动态和水质更优且符合物理规律的预测。

原作者： Abhilash Neog, Sepideh Fatemi, Medha Sawhney, Kazi Sajeed Mehrab, Aanish Pradhan, Bennett J. McAfee, Emma Marchisin, Arka Daw, Robert Ladwig, Cayelan C. Carey, Paul Hanson, Anuj Karpatne

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abhilash Neog, Sepideh Fatemi, Medha Sawhney, Kazi Sajeed Mehrab, Aanish Pradhan, Bennett J. McAfee, Emma Marchisin, Arka Daw, Robert Ladwig, Cayelan C. Carey, Paul Hanson, Anuj Karpatne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：湖泊的“凌乱笔记本”

想象一下，你正试图通过阅读一位科学家留下的笔记本来了解一个湖泊是如何运作的。但这个笔记本非常混乱：

页面缺失： 有些日子完全没有记录。
字迹各异： 有的一页每小时测量一次水温，而下一页却每月才测量一次。
深度令人困惑： 有时他们测量表层，有时测量 5 英尺深处，有时是 20 英尺深，而且不同湖泊之间的深度也对不上。
变量不一致： A 湖有氧气和藻类的数据，但 B 湖只有温度的数据。

长期以来，计算机模型（机器学习）一直难以应对这种情况。它们就像只能阅读排版完美、时间规律的日程表的学生。如果数据是混乱、不规则或缺失的，模型就会崩溃或给出错误的答案。它们通常必须先进行“填补空白”（数据插补），但这往往会引入误差。

解决方案：LakeFM（“超级阅读者”）

作者创建了 LakeFM，这是一种新型的 AI，被称为“基础模型”（Foundation Model）。把它想象成一位不需要笔记本整洁也能阅读的“超级阅读者”。

1. “标记”（Token）技巧（阅读混乱）
LakeFM 并不试图将混乱的数据强行塞入一个完美的网格（如电子表格），而是将每一条信息都视为一个独特的“标记”（Token）或一个独立的事件。

类比： 想象一位图书管理员，他并不在乎书是在 A 架还是 B 架，也不在乎书是否缺失。他只是拿起每一本书（数据点），读取它的标签（时间、深度、变量），然后将其存入大脑。
这使得 LakeFM 能够处理在时间、深度和变量上不规则的数据，而无需预先“修复”或填补缺失的部分。

2. “双脑”系统
LakeFM 被设计为能同时学习两种不同类型的内容：

“静态脑”（湖泊的 DNA）： 这部分学习让特定湖泊变得独特且不变的特征，例如地理位置、大小，以及它是靠降雨补给还是地下泉水补给。这就像了解一个人的指纹。
“动态脑”（湖泊的情绪）： 这部分学习湖泊如何随时间变化，例如温度如何随季节变化，或者藻类如何在夏季爆发。这就像追踪一个人的日常情绪波动。
通过这种分离，模型可以识别出威斯康星州的湖泊与佛罗里达州的湖泊是不同的，即使它们在冬季都很冷。

3. “通用翻译官”
LakeFM 在一个庞大的数据库库中进行了训练：

现实世界数据： 来自美国 21 个实际湖泊的观测数据（这些数据非常混乱且稀疏）。
模拟数据： 基于物理定律生成的 1,000 多个计算机生成湖泊。
因为它既从真实的混乱中学习，也从完美的物理学中学习，所以它现在可以观察一个它从未见过的湖泊（零样本学习/Zero-Shot）并做出良好的预测。这就像一位在 20 个不同厨房里都做过菜的厨师，现在走进一个全新的厨房，利用手头现有的任何食材都能做出美味佳肴。

LakeFM 能做什么？

1. 预测未来（预报）
论文表明，即使在数据缺失或不规则的情况下，LakeFM 预测未来水况（如温度或氧气水平）的能力也优于现有模型。

结果： 它在准确性上击败了其他顶尖 AI 模型（如 Chronos 2 或 MOMENT），尤其是在面对从未见过的湖泊时。

2. “假设”侦探
LakeFM 最酷的特性之一是它可以处理“掩码”（Masked）数据。你可以告诉它：“我只有温度数据，没有氧气数据”，它仍然可以通过它在其他湖泊中学到的温度与氧气相互作用的关系，来预测氧气水平。

洞察： 论文发现，如果我们隐藏氧气数据，模型的确定性会降低（这很聪明！）；但如果我们隐藏温度，模型就会感到困惑。这有助于科学家理解哪些变量对于预测其他变量最为重要。

3. 遵循物理定律
尽管 LakeFM 只是一个 AI，但它学会了尊重自然法则。

热分层现象： 在夏季，湖水越深越冷。LakeFM 很少会出现预测深层水温高于表层水温的错误（这在物理上是不可能的）。
光照与藻类： 它能正确预测光线随深度增加而减弱，正如真实物理学所描述的那样。
隐喻： 这就像一个不仅背下了答案，而且真正理解了游戏规则的学生，所以不会做出“违规动作”。

4. 理解湖泊的“个性”
论文通过可视化 AI 的“想法”（嵌入向量/Embeddings）发现，它能根据现实世界的特征自然地将湖泊进行分组。

地理位置接近或水系类型相似（如“径流型”与“渗漏型”）的湖泊，在 AI 的精神地图中自然地聚集在一起。
这证明了 AI 不仅仅是在瞎猜；它已经学习到了不同湖泊生态系统的真实“个性”。

总结

LakeFM 是一种新型 AI 工具，它扮演着湖泊“名侦探”的角色。它可以阅读来自任何湖泊的混乱、不完整且不规则的数据，理解该湖泊独特的“个性”，并在尊重物理定律的同时预测其未来的行为。它不需要完美的数据即可工作，这使其成为理解和保护我们的淡水生态系统的强大工具。

技术摘要：LakeFM：迈向水生生态系统的基础模型

1. 问题陈述

监测内陆水体的健康状况对于可持续淡水管理至关重要，然而由于生态数据的特性，模拟湖泊动力学面临着显著挑战。现有的生态时间序列机器学习方法通常假设在时间和深度上具有规则的采样。然而，现实世界的湖泊监测数据具有以下特征：

不规则性： 采样频率高度可变（从每日到每月不等），且存在缺失值（在 LakeBeD-US 等数据集中，平均稀疏度达 60–70%）。
异质性： 变量集多样化、深度分辨率各异，且不同湖泊之间的观测模式不一致。
可扩展性问题： 当前的时间序列基础模型（TSFMs，如 Chronos 2 或 Moment）通常假设数据是干净、密集采样或单变量的，这使得它们难以应对水生科学中稀疏、多变量、多深度的特性。此外，现有的模型往往难以在不进行大规模针对特定湖泊微调的情况下，泛化到具有不同物理和生物地球化学特征的湖泊。

核心解决的问题是：缺乏一种能够学习广泛湖泊集合中的通用湖泊过程，同时保留特定站点细微差别的基础模型，特别是在无需依赖外部插值的情况下处理不规则、多变量、多深度的序列数据。

2. 方法论：LakeFM 架构

LakeFM 是一个在包含来自 21 个真实湖泊（LakeBeD-US）的 150 万个样本以及 1,000 多个多样化过程模型模拟（WQHanson 和 FCR 模拟）的大规模数据集上预训练的基础模型。其架构旨在处理不规则网格，将数据视为一系列事件而非固定网格。

2.1 输入标记化与嵌入

与基于网格的方法不同，LakeFM 将每一个单独的测量值标记化为一个独立的事件（Token）。

Token 定义： 每个观测值是一个元组 $(t_k, v_k, d_k, x_k)$ ，代表绝对时间戳、变量标识符、连续深度和标量值。
嵌入策略： 通过拼接四个组件来构建复合嵌入：
- 时间嵌入： 用于连续时间的正弦位置编码。
- 深度嵌入： 用于处理连续深度值的傅里叶特征编码，使模型能够学习垂直梯度。
- 变量嵌入： 用于类别变量 ID 的可学习查找表。
- 数值嵌入： 用于标量测量值的 SwiGLU 式门控投影。
序列形成： Token 按变量 ID、深度，最后按绝对时间进行排序，以形成输入序列。

2.2 编码器与特征解耦

编码器使用带有特定科学数据修改的 Transformer 块堆栈：

旋转位置嵌入 (RoPE)： 用于建模相对时间依赖关系。
结构化注意力偏置： 在注意力逻辑中引入了一个可学习的加性偏置，用以区分变量内（单个变量的时间动力学）与变量间（不同变量之间的相关性）的相互作用。
静态与动态解耦： 模型将表示空间解耦为两个平行的子空间：
- 静态嵌入： 通过均值池化聚合，以捕捉时间不变的湖泊特征（如地理、水文学）。这些用于对比学习。
- 时间嵌入： 保留时间信息，并作为预测解码器的输入。

2.3 基于查询的预测与概率输出

基于查询的策略： LakeFM 没有使用固定的前馈解码器，而是使用由特定 $(t, v, d)$ 点定义的靶向查询（Target Queries）。解码器通过交叉注意力从编码的历史上下文中检索相关信息，从而实现对任意未观测点（规则或不规则网格）的灵活推理。
概率头： 为了处理环境数据中常见的重尾噪声和不确定性，模型输出 Student- $t$ 分布的参数 ( $\mu, \sigma, \nu$ )。至关重要的是，自由度 ( $\nu$ ) 是动态学习的，使模型能够根据特定的变量和上下文，在重尾分布和高斯分布之间进行自适应切换。

2.4 训练目标

LakeFM 使用两个损失函数的联合优化进行预训练：

概率预测损失： 最小化预测的 Student- $t$ 分布下真实值的负对数似然。
对比损失： 通过将来自同一湖泊的样本视为正样本、不同湖泊的样本视为负样本，促使模型学习特定湖泊的静态表示（InfoNCE 公式）。

3. 核心贡献

不规则数据处理： LakeFM 是第一个旨在直接摄取不规则、多变量、多深度时间序列数据的基础模型，消除了对插值或重采样到规则网格的需求。
零样本泛化： 该模型在未见过的湖泊（分布外，OOD）和未见过的变量上展示了具有竞争力的或优越的预测性能，利用了跨多样化湖泊系统的知识迁移。
物理一致性： 模型表现出对物理定律的涌现式遵循（例如热分层和 Beer-Lambert 定律），即使在损失函数中没有显式的物理约束。
科学发现： 通过掩码实验，LakeFM 揭示了变量相互作用和深度依赖性的新颖见解，使其成为生态假设的发现引擎。
高效性： 尽管处理复杂的非规则数据，LakeFM 仍能以显著更少的参数量（700 万）实现这些结果（相比于通用型 TSFMs）。

4. 实验结果

模型在 LakeBeD-US 数据集（21 个湖泊）和模拟数据集上进行了评估，并与时间序列基础模型（Chronos 2, MOMENT, MOIRAI）、局部模型（iTransformer）以及不规则时间序列模型（HyperIMTS, ReIMTS）进行了比较。

预测性能： 在大多数分布内（ID）和分布外（OOD）湖泊中，LakeFM 实现了最低的均方误差（MSE）。它持续优于基准模型，特别是在其他模型因缺乏迁移学习能力而难以应对的零样本设置中。
无插值优势： 在与不规则时间序列基准模型的比较中，LakeFM 获得了最佳平均排名（OOD 为 1.0，ID 为 1.27），证实其性能提升源于对不规则性的直接建模，而非仅仅是避免了插值流水线。
物理一致性： 在 100 个未见的模拟湖泊上，与 Chronos 2 相比，LakeFM 表现出更高的一致性（热分层定律的反转率更低，Beer-Lambert 定律的 $R^2$ 更高）。
嵌入分析：
- 静态嵌入： t-SNE 可视化显示，学习到的静态嵌入自然地根据地理位置（省份/州）和水文机制（如排水型或渗漏型）对湖泊进行聚类，尽管训练过程中并未涉及这些元数据。
- 动态嵌入： 嵌入空间中的时间轨迹与生态特征（如营养状态——贫营养型 vs 富营养型，以及季节性模式）相一致。
消融实验： 去除对比学习、变量特定自由度或连续深度嵌入会导致性能显著下降，验证了每个组件的必要性。

5. 重要性与主张

论文将 LakeFM 定位为迈向可扩展且可泛化的湖泊生态系统建模的务实步骤。其意义在于：

范式转变： 从单一湖泊、单变量分析以及依赖插值的流水线，转向一个能够共享不同不规则性湖泊信息的统一基础模型。
宏观系统理解： 实现利用多样化且异构的数据来理解宏观系统尺度湖泊生态学的首要步骤。
科学实用性： 其处理掩码变量的能力允许研究人员进行“假设分析”（例如，在没有溶解氧数据的情况下预测温度），揭示变量间的相互作用，从而指导未来的数据采集策略。
AI4Science 的基础： 这项工作证明了基础模型可以针对特定科学领域进行定制，不仅学习统计模式，还能学习潜在的物理原理，从而弥合数据驱动机器学习与基于过程的科学建模之间的鸿沟。

作者承认存在局限性，即在向与训练分布显著不同的气候背景（例如具有不同热力/冰盖动态的地区）进行外推时，模型依赖于在观测数据范围内的学习到的统计依赖关系。