技术摘要：EO-Agents

问题陈述

地球观测（EO）研究在本质上是组合性的，它依赖于测量产品（例如土壤湿度与植被指数）的具体配对，而非单一数据集。尽管 NASA 分发了超过 8,000 个 EO 数据集，但潜在配对的组合空间（约 $10^6$）远超人类调查的能力范围。现有的基于大语言模型（LLM）的科学假设生成方法通常依赖于非结构化文献检索，将假设视为自由形式的文本主张。然而，在数据丰富的观测领域，一个有用的假设与其测试该假设所需的特定、可执行的测量产品是不可分割的。目前的文献落地型流水线往往无法直接将假设锚定到命名的数据集上，将数据集识别视为文本生成的副作用而非结构性约束。

方法论

作者提出了 EO-Agents，这是一个将假设生成直接锚定在 NASA 地球观测知识图谱（EO-KG） 而非非结构化文本中的流水线。该系统分为三个阶段运行：

1. 知识图谱与 GNN 检索

• 数据源： 该流水线利用 EO-KG，这是一个包含 150,351 个节点（包括数据集、出版物、仪器、平台等）和 436,203 条边的异构图。
• 监督机制： 共用监督源自引用多个数据集的出版物。配对根据出版年份进行标记，从而创建了时间分割：训练集（论文 $\le$ 2022 年）、验证集（2023 年）和测试集（2024 年）。
• 排序模型： 一个基于 GraphSAGE 的**异构图神经网络（GNN）**通过链路预测来对候选数据集配对进行排序。
  • 架构： 该模型为不同类型的边使用特定类型的聚合器（例如：共用、平台搭载、关键词成员关系）。数据集节点使用 768 维的 SPECTER2 嵌入进行初始化；其他类型的节点使用可学习的嵌入。
  • 评分： 模型评估了两个评分头：点积评分器（$z_{dot}$）和 MLP 评分器（$z_{mlp}$）。点积头在“冷启动”配对（其中一个数据集没有训练共用记录）上表现更好，而 MLP 头在“跨 DAAC”配对（来自不同存档的数据集）上表现更优。
  • 输出： GNN 通过预测的共用可能性对配对进行排序，呈现出前 200 个新颖配对（即未在训练/验证/测试集中观察到的配对）。

2. 三智能体 LLM 流水线

前 200 个候选配对由三个 LLM 智能体组成的级联处理，每个智能体都由 GPT-5.2 或 Claude Sonnet 4.6 实例化。所有智能体均以温度 0 运行，并采用严格的 JSON 输出以最小化采样方差。

• 智能体 1（过滤器）： 接收数据集配对及其摘要。它在未看到任何生成的假设文本之前，对配对的合理性（1–5）和新颖性（1–5）进行评分。它使用一种平衡高合理性与充足新颖性的分层规则筛选出前 40 个配对。
• 智能体 2（生成器）： 接收选定的 40 个配对并为每个配对生成结构化的研究假设。输出包括研究问题、可测试的假设、分析方法、预期发现、科学重要性和领域标签。至关重要的是，它看不到智能体 1 的评分，以防止向过滤器偏好回归。
• 智能体 3（评判者）： 评估生成的假设在重要性、可操作性和新颖性方面的表现。该智能体在两种条件下运行：
  • 盲测： 仅看到假设文本。
  • 上下文模式： 看到假设文本及底层的数据集元数据。

3. 析因评估

为了评估基于 LLM 评估的可靠性，作者在三个智能体角色（过滤器、生成器、评判者）和两种评判条件（盲测、上下文模式）之间进行了 $2 \times 2 \times 2$ 析因实验。这产生了 160 个假设的 640 个判断，从而实现了评分过程的方差分解。

关键结果

1. 检索性能

异构 GNN 在所有测试池中都显著优于基准模型（流行度、共同邻居、Adamic–Adar、MF-SVD 以及仅基于内容的模型如 SPECTER2 和 BGE-base）。

• 冷启动： GNN 达到了 0.519 的 Hits@10，优于内容基准（0.477）和结构启发式模型（0.211）。
• 跨 DAAC： GNN 达到了 0.175（点积）和 0.266（MLP）的 Hits@10，证明了其链接不同存档间数据集的能力，而在这些场景下，由于通用的科学术语，仅靠内容相似度往往会失效。
• 新颖性 vs. 合理性： GNN 预测的新颖配对在 LLM 评判者给出的合理性得分上，与 2024 年出版物的留存真实共用情况几乎不相上下（例如，GPT 的得分分别为 4.38 对 4.57），这表明该系统能够挖掘出具有科学连贯性的、未被探索的组合。

2. 评估可靠性与方差分解

析因实验揭示了关于“LLM 作为评判者”可靠性的关键见解：

• 排名稳定性： 假设的排名在不同的智能体配置和评判条件下高度稳定。160 个假设中有 159 个在不同评判条件下排名变化不超过 2 位。
• 绝对得分方差：
  • 重要性： 高度依赖于评判者身份（占方差的 25.1%）。GPT-5.2 在重要性评分上始终高于 Claude Sonnet 4.6。
  • 可操作性： 由盲测/上下文条件主导（占方差的 15.8%）。当评判者仅看到文本时，假设看起来更具可执行性；提供数据集元数据反而降低了可操作性得分，这表明仅凭文本会夸大可行性。
  • 新颖性： 在所有因素中表现出低方差，评判者难以在不同配对类型之间区分新颖性。
• 评分者间一致性： 一致性在可操作性（$\kappa_q \approx 0.47$）方面最高，在重要性（$\kappa_q \approx 0.14$）方面最低，证实了“有意义的进展”是最主观的指标，且对模型先验最为敏感。

3. 生成输出

该流水线生成了 160 个结构化假设，涵盖五个旗舰领域：生态水文学、冰川学、气溶胶-云相互作用、植被物候学和层流化学。一个代表性示例是将 IceBridge 机载磁力计数据与 InSAR 衍生的南极冰流速度相结合，以假设亚冰川磁异常可以预测底部摩擦模式。

意义与主张

本文提出了三个主要贡献：

1. 结构化落地： 引入了一种用于观测科学的假设生成流水线，通过知识图谱排序器将每个 LLM 生成的假设与特定的 NASA 数据集对联系起来，超越了自由形式的文本检索。
2. 科学连贯性： 证明了模型预测的新颖配对在合理性上与真实的、留存的文献共用情况相当，这为该流水线能生成超出模型训练分布之外的科学连贯想法提供了证据。
3. 评估局限性： 提供了经验证据，表明虽然假设的排名是稳定的，但 LLM 作为评判者的绝对得分高度依赖于特定的评判模型以及上下文数据的可用性。这凸显了在科学发现中依赖单一评判者进行绝对评分的风险。

作者强调，该系统旨在用于构思，而非执行。这 160 个假设是人类主导研究的种子，在被视为研究发现之前，需要经过领域专家的验证和实际的数据分析。这项工作并不声称取代人类科学家，而是通过挖掘在广阔的地球观测数据组合空间中可能被忽视的、具有行动力的、基于数据集的研究方向，来增强发现层。