A General Pipeline for Digesting Scientific Literature into a Shared Scientific Knowledge Base

技术摘要：一种将科学文献转化为共享科学知识库的通用流水线

问题陈述
已发表的科学文献代表了庞大且持续增长的测量与观察记录，目前难以进行聚合、比较或系统化查询。虽然词嵌入研究表明文本中存在潜在知识，但由于术语和格式的多样性，科学家在处理跨越数百篇论文和数十个研究小组的文献时面临显著挑战。现有的计算数据库（例如 Materials Project）通常依赖于源自模拟的结构化数据，或需要科学家进行手动数据贡献，而这为采用该技术设置了障碍。目前缺乏能够完全追溯至源出版物且无需给贡献者增加额外负担的大规模实验性质数据库。

方法论：材料探索者流水线 (Materials Explorer Pipeline)
作者提出了“材料探索者流水线”，这是一种领域无关的架构，旨在自动将科学论文消化为结构化、可查询的数据库。该系统依赖大语言模型 (LLM) 进行提取，但通过在关键推理阶段集成人工审查，以确保科学判断得以保留。该流水线由四个主要部分组成：

1. 模式设计 (Schema Design)： 系统设计的智力核心，为每个“便携式知识单元 (PUK)”定义了一个六块结构。每个 PUK 对应单个样本，包括：

   • 元数据与样本描述： 来源、材料身份及加工细节。
   • 测量值： 带有置信水平的报告数值。
   • 衍生量： 使用标准公式从报告值计算得出。
   • 兜底块 (Catchall)： 一个灵活的区块，用于存储作者陈述的相关性、异常观察结果或不符合命名字段的数据。在超过 5% 的样本中出现的兜底块字段会被标记，以便可能提升为命名的模式列。
   • 关键创新： 与以往丢弃非规范数据的系统不同，兜底块允许模式随着语料库的增长而演进。
   • 相似性剖面 (Similarity Profile)： 一种实现跨语料库搜索的语义指纹。

2. 摄取器 (The Ingester)： 利用 LLM 的多模态能力处理来自开放仓库（arXiv, DOE PAGES）的 PDF 出版物，从文本、表格和图表中提取数据，无需单独的 OCR 或 PDF 解析代码。该过程分为三个阶段：

   • 分选 (Triage)： 轻量级 LLM 评估（每篇论文约 15 秒），确定主题相关性，跳过无关论文以节省计算资源。
   • 结构化消化 (Structured Digestion)： LLM 处理全文以填充模式字段和兜底块。
   • 相似性剖析 (Similarity Profiling)： 生成每个样本的语义剖面。
   • 可靠性特征： 系统使用以 DOI/arXiv 编号为键的幂等账本以防止重复处理，并采用仅追加 (append-only) 的 JSONL 存储格式。它包含一个去重机制，用于识别并标记疑似重复的记录。

3. 探索器 (The Explorer)： 一个基于浏览器的界面，允许科学家可视化语料库、按材料类别进行过滤并比较样本。它通过显示单一“最佳可用”值来解决冲突的数据报告。它支持基于测量值和语义剖面的混合度量进行相似性搜索，并提供对存储在兜底块中的非形式化知识的访问。

4. 语料库挖掘与假设生成 (Corpus Mining and Hypothesis Generation)： 该模块通过分析兜底块中作者陈述的相关性来呈现假设候选对象。

   • 流程： 将描述性术语映射到规范的模式名称，并构建共现证据表（按材料类别进行分层，以避免混淆变量）。
   • 推理： LLM 在受限于可用数据的情况下对这些表格进行推理，生成带有置信分数、支持/复杂化证据以及待评审问题的结构化发现。
   • 人机协同 (Human-in-the-Loop)： 在 AI 生成的发现被发布到 Explorer 的“发现 (Findings)”标签页之前，人类科学家需对其进行评审（批准、拒绝或推迟）。

演示与结果
该流水线在量子优势协同设计中心 (C2QA) 的超导量子比特材料文献上进行了演示。

• 语料库统计： 从摄取的 115 篇出版物中，35 篇通过了相关性分选，产生了涵盖 10 个材料类别（包括钽、铝、� ரெ尼姆、铌及合金）的 233 个样本记录。约 65% 的跳过率反映了 C2QA 研究在超导薄膜之外的广泛范畴。
• 覆盖范围： 测量覆盖范围各异；例如，临界温度 ($T_c$) 在 32% 的样本中有报告，而量子比特寿命 ($T_1$) 在 51% 的样本中有报告。
• 可视化： 探索器成功可视化了复杂的关系，例如随着 $T_1$ 的改善，$T_{2,echo}$ 偏离布洛赫极限 ($T_2 = 2T_1$) 的现象，表明退相干是限制因素。
• 假设挖掘： 系统处理了 41 个作者陈述的相关性，将其过滤为 19 个供人工评审的发现。展示了三个说明性结果：
  1. 涡旋激活 (Vortex Activation)： 证实了“脏极限”钽薄膜的涡旋激活温度比“洁净极限”薄膜高出约 10 倍。
  2. 沉积温度： 未发现沉积温度与 $T_c$ 之间存在跨材料趋势，尽管在 Ta-Hf 合金内部存在微弱信号值得后续跟进。
  3. 薄膜厚度： 确定了薄膜厚度与 $T_c$ 之间不存在跨材料关系，从而正确地将特定的二维限制效应隔离为材料特有的现象，而非普遍规律。
• 准确性验证： 一位领域专家根据源论文验证了 10 个样本记录。在评估的 100 个模式字段中，有 41 个被填充；其中 40 个正确，1 个具有歧义（被正确标记为中等置信度）。系统成功从图表说明和补充表格中提取了数值，而不仅仅是从正文中。

意义与主张
本文声称，材料探索者流水线提供了一种新的范式，通过使“分布式科学记录”对 AI 代理和人类同时变得可及，从而扩展科学认知。其核心主张包括：

• 可及性： 它将非结构化文献转化为具有完整溯源性的结构化、可查询数据库，且无需科学家手动贡献数据。
• 可移植性： 该架构是领域无关的；适应新领域仅需设计模式和调整提示词，无需更改核心摄取或挖掘逻辑。
• 演进式模式： “兜底块”的引入使得知识库能够捕捉非标准化观察结果，并根据语料库的积累来演进其模式。
• 假设呈现： 它提供了一种机制，可以系统地测试整个已发表记录中的相关性，呈现出可能在人工审查中被遗漏的候选对象。

作者指出了一些局限性，包括目前缺乏专门的图像解析功能（但模块化架构允许未来集成），以及将溯源框架扩展到非同行评审数据的挑战。这项工作被呈现为端到端流水线运行的一次适度的、社区规模的演示，具有构建更大规模、由社区维护的此类数据库网络的潜力。