Reproducibility in Computational Materials Science: Lessons from 'A General-Purpose Machine Learning Framework for Predicting Properties of Inorganic Materials'

本文分析了在尝试复现材料科学领域一个主流机器学习框架的结果时所遇到的可复现性挑战，识别出与依赖项、版本控制、代码组织和手稿引用相关的四类关键问题，并提出了可操作的解决方案，以改善代码对研究界的可访问性和实用性。

要点

想象一下，你和一位朋友正试图烘焙世界上最美味的蛋糕。你的朋友是一位著名烘焙师，出版了一本名为《如何制作完美蛋糕》的食谱书。书中包含了配料清单、成品蛋糕的照片，以及关于如何搅拌面糊的几点说明。你决定亲自尝试制作，看看它是否真如他们所说的那样美味。

然而，当你开始烹饪时，却遇到了阻碍。以下是根据本文故事所发生的情况：

缺失的食谱卡片

那位著名烘焙师给了你一张“模型构建脚本”，这就像是一张关于如何搅拌面糊的基础指令卡。但是，书中展示如何将那种面糊烘焙成特定最终蛋糕（即“可扩展性分析”）的部分完全缺失了。你不得不仅凭书中模糊的描述来猜测如何完成食谱。

损坏的烤箱（依赖问题）

即使你试图遵循基本说明，却发现烤箱需要一种非常特定、早已不存在的古老燃气。食谱上写着“使用 7 号燃气”，但这种燃气已停产且不安全。你不得不四处寻找一种略有不同的燃气（8 号燃气），才能让烤箱运转起来。这就是论文中所称的“依赖问题”——运行代码所需的工具已过时或难以获取。

秘密配料（随机性）

一旦你终于让烤箱运转起来并烤出了蛋糕，味道却不对。烘焙师的蛋糕甜美松软，而你的却略显紧实。你又试了十次，除了改变打开烤箱的确切时刻（即“随机种子”）之外，其他什么都不变。每次烤出来的蛋糕都略有不同。

论文发现，那位烘焙师从未记录下他们是在哪一个确切时刻打开烤箱的。没有这个微小的细节，你就永远无法完美复刻他们的蛋糕。在计算机科学领域，这意味着即使你拥有相同的代码和数据，计算机内部的“掷骰子”结果也可能改变结果，使得如果没有该掷骰记录的存档，就无法获得完全相同的答案。

移动的目标（版本控制）

烘焙师后来承认，他们在撰写书籍时仍在不断调整厨房工具。照片中用于烘焙蛋糕的工具，可能与他们交给你的盒子里的工具不同。因为他们没有记录每天使用的是哪个版本的工具，所以你无法确定你的失败是因为你做错了什么，还是因为他们的工具发生了变化。

改进食谱的四条规则

本文作者提出了四条简单规则，以防止未来再次发生此类问题，并使用了“食谱书”的类比：

1. 列出确切的工具：不要只说“使用烤箱”。要说“使用配备特定燃气适配器的 2024 年型号”。如果无法做到这一点，就将整个厨房封装在一个密封的盒子中（例如"Docker 容器”），这样任何人都可以打开并使用完全相同的设置。
2. 保留版本日志：记录你对工具所做的每一次更改。如果你更换了打蛋器或调整了烤箱设置，请将其记录下来。这样，如果后来蛋糕味道不同，你就能确切知道是哪个更改导致了这一结果。
3. 将食谱分解为步骤：不要使用一大段令人困惑的说明，而是将食谱分解为清晰的小步骤：“步骤 1：搅拌鸡蛋”，“步骤 2：加入面粉”。这使得任何人都更容易跟随并在每个阶段检查自己的工作。
4. 将注释与步骤链接：在书中，当烘焙师说“用力搅拌”时，就在那里放置一个可点击的链接，直接跳转到发生该搅拌操作的确切代码行。这将故事与实际工作联系起来。

核心结论

论文总结道，虽然原始框架是一个绝妙的想法，并推动了材料科学领域的发展，但缺乏这些简单的“食谱”细节，使得其他人无法完美复现结果。通过遵循这四条规则，科学家们可以确保在分享他们的发现时，其他人能够真正在此基础上进行构建，而不会迷失在缺失指令和损坏工具的迷宫中。

技术摘要

技术摘要：计算材料科学中的可复现性

问题陈述
尽管机器学习（ML）已迅速融入材料发现领域，且开源数据趋势日益明显，但仍存在一个重大障碍：工具开发者缺乏可复现的实践规范。本研究调查了尝试复现 Ward 等人（2016 年）的开创性著作《一种用于预测无机材料性质的通用机器学习框架》结果时所遇到的具体挑战。虽然原作者提供了原始数据和模型构建脚本，但补充信息（SI）并不完整。具体而言，进行“可扩展性分析”（即将该框架实际应用于识别新型太阳能电池材料）所需的脚本缺失。此外，提供的文档包含误导性的依赖项要求，且代码库缺乏版本控制，导致无法确定分发的软件版本是否与生成原始结果的版本一致。

方法论
作者尝试复现 Ward 等人研究中的“可扩展性分析”部分，该部分涉及识别具有适合太阳能电池带隙的新型三元化合物。方法论包括：

1. 环境重建：尝试安装 Magpie 软件（一种基于 Java 的描述符生成器）及其依赖项。作者发现文档中要求的 Java 7 与现代 Java 版本之间存在不兼容性，因此不得不使用 Java 8。
2. 脚本重建：由于补充信息中缺失可扩展性分析脚本，作者根据手稿中不精确的描述并咨询原作者，重建了这些脚本。
3. 数据处理：作者利用了提供的训练集（OQMD v1.0，约 30 万种化合物），并将原始论文表 1 中列出的五个特定候选化合物作为测试集，因为原始搜索空间数据不可用。
4. 复现与敏感性测试：作者使用重建的脚本重新训练了分层 REPTree 模型。为了调查其结果与原始预测之间的差异，他们进行了随机种子稳定性测试，使用不同的随机种子（包括默认 Weka 种子）生成了十个模型，以评估预测对初始化的敏感性。

关键结果
复现工作揭示原始结果无法被复现：

• 预测偏差：复现模型预测的带隙能量与原始论文报告的数值存在显著偏差。
• 随机种子敏感性：随机种子稳定性测试表明，预测结果对随机种子高度敏感。对于几种化合物（例如 Hf4S11Cl2），原始预测值落在复现预测值的分布范围之外；在某些情况下，原始值位于分布的极端尾部，甚至完全落在分布范围之外。
• 根本原因分析：无法复现的原因归咎于未记录随机种子、缺乏用于验证的中间数据（描述符、模型），以及 Magpie 代码库在原始研究执行期间很可能处于活跃开发状态。补充信息中提供的软件版本很可能与生成已发表结果时使用的版本不同。

关键贡献与建议
基于这些发现，本文提出了四项具体的行动项目，以改善材料信息学领域未来开源工具的可复现性：

1. 分发依赖项：开发者应超越基于文本的依赖项列表。作者建议采用容器化策略（如 Docker 或 Singularity）来封装计算环境，确保软件依赖项随时间推移保持兼容和可访问。
2. 维护与追踪版本：本研究强调了严格版本控制（如 Git）和机器学习运维（MLOps）追踪（如 MLFlow）的必要性。这些工具允许系统地记录代码版本、参数和指标，确保模型谱系的可追溯性，并能够回滚到特定的实验状态。
3. 采用顺序编码实践：开发者应采用顺序编码实践（如 Jupyter notebooks），而非单体式的复杂输入脚本。将工作流分解为带有描述性 Markdown 的离散、自包含单元格，可提高清晰度，降低学习曲线，并允许用户在不同的检查点验证输出。
4. 增强手稿中的代码清晰度：作者建议在论文文本中嵌入可点击的指针，直接链接到仓库中的特定文件或代码行。这弥合了书面方法论与实际实施之间的差距，减少了歧义。

意义
本文得出结论：虽然 Ward 等人提出的框架成功展示了材料信息学的通用方法，但该研究提供了一个警示：可复现性需要刻意且结构化的努力。如果没有在依赖项管理、版本追踪和代码组织方面采取主动措施，即使是善意的开放科学倡议也可能无法实现可复现性。通过采纳建议的实践规范，学术界可以为计算材料研究工具建立更高的信任度、透明度和易用性。