Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

混凝土是地球上应用最广泛的建筑材料，但其生产过程却是全球碳排放的主要来源。为了使其更加绿色，工程师经常在其中掺入辅助材料，如粉煤灰、硅灰，甚至是稻壳灰等农业废弃物。这些添加剂替代了部分水泥，在降低碳足迹的同时，通常还能提高混凝土抵抗化学侵蚀的能力。对混凝土结构最具破坏性的威胁之一是硫酸盐侵蚀，即来自土壤、地下水或海水的硫酸盐离子渗入材料内部。这些离子与水泥发生反应，形成膨胀晶体，从内部撑裂混凝土，最终导致其崩解。预测特定混凝土配合比在如此严苛条件下的使用寿命对于安全性和可持续性至关重要，但传统的测试方法进展缓慢，有时需要数年时间才能得出结果。

近年来，科学家转向利用机器学习来加速这些预测。通过将数百个过往实验的数据输入计算机算法，研究人员希望创建能够瞬间估算新混凝土配合比在暴露于硫酸盐后强度的模型。这些模型因其极高的准确性而受到赞誉，经常声称能以近乎完美的精度预测结果。然而，一项新的调查表明，这种备受赞誉的准确性可能是一种幻觉。研究显示，这些模型实际上并未学习混凝土复杂的化学原理；相反，它们只是记住了产生数据的特定实验室。当面对真正的新情况时，这些模型会完全失效，这引发了人们对如何评估人工智能在工程领域可靠性的严肃质疑。

这项研究背后的研究人员旨在检查一个由三篇独立的同行评审科学论文汇编而成的数据集。这些论文包含了含有各种辅助材料的砂浆配合比的抗压强度（即压碎样本所需的力）的测量值。数据涵盖了不同类型的添加剂、不同的替代比例，以及在从几天到一年多不等的硫酸盐溶液中的暴露情况。总计，团队收集了94个不同的观测值。他们使用一种称为“随机拆分”的技术，在这些组合数据上训练了一个标准的机器学习模型，这是行业标准。在这种方法中，计算机将所有数据点进行随机打乱，并留出20%作为测试集，剩余的80%用于训练。由于数据来自不同的研究，这种随机打乱确保了训练集和测试集都包含了来自所有三个原始来源的样本。

当研究人员使用这种标准的随机方法评估模型时，结果非常惊人。模型的得分表明它能够解释数据中近97%的变异。这种性能水平正是科学文献中所报道的情况，这表明模型已经掌握了添加剂与耐久性之间的关系。模型似乎已经学习到某些添加剂（如硅灰）通常会使混凝土更强，而另一些则可能削弱它。它似乎成功解码了控制混凝土在化学攻击下行为的规则。

然而，研究人员怀疑这个高分具有误导性。他们知道，这三个来源的研究各自使用了其独特的实验条件：不同的水泥类型、不同的搅拌程序、不同的养护环境，以及至关重要的——不同的硫酸盐溶液浓度。在现实世界中，一个基于一组条件训练的模型应该能够预测完全另一组条件下的结果。为了测试这一点，研究人员改变了验证方法。他们没有随机拆分单个数据点，而是决定扣除整个研究。他们在其中两个研究的数据上训练模型，然后要求它预测第三个它从未见过的研究的结果。他们重复了这个过程三次，每次都留出一个不同的研究。

这种更严格测试的结果是彻底的崩溃。当模型尝试预测一个它未经过训练的研究中的混凝土强度时，其表现大幅下滑。模型不仅没有获得高分，反而产生了负分，这在数学上意味着它的表现甚至不如直接猜测训练数据的平均强度。在一种特定情况下，模型试图预测测得强度在6到21兆帕之间的混凝土，但其误差高达42兆帕。这意味着模型预测的数值是实际材料强度的两倍多，甚至预测出了物理上不可能存在的负强度。该模型并没有学习混凝土的物理学；它学习的是识别生成数据的特定实验室的“指纹”。

调查进一步深入以了解为何会发生这种情况。研究人员分解了数据的总变异量，发现96%的强度差异来自于研究之间的差异，而非单个研究内材料之间的差异。一项研究使用了一种特定的水泥类型和低浓度的硫酸盐，导致混凝土非常脆弱。另一项研究使用了不同的水泥和较高的浓度，导致混凝土非常强韧。由于模型反复看到这些截然不同的模式，它学会了将研究中的特定成分组合与该研究的整体强度水平联系起来。它本质上是在学习说：“如果这些数据看起来像是来自研究A，那么强度就会很低”，而不是“如果这种混凝土含有硅灰，它就会很强”。

由于所测试的具体添加剂通常仅属于单一研究，这种困惑变得更加严重。在十一种辅助材料中，有十种仅出现在三篇论文中的一篇里。因此，模型无法区分强度的变化是由材料引起的，还是由研究本身引起的。即使对于那一种出现在两个研究中的材料，由于底层条件（如使用的硫酸盐盐类类型）不同，它们之间的平均强度也存在显著差异。模型在随机测试中的高准确率是数据结构的产物，而非真实预测能力的体现。这是一个由数据分组和测试方式造成的统计幻象。

这些发现对机器学习如何应用于材料科学具有深远影响。研究表明，当数据从多个来源汇编而成时，将数据随机拆分为训练集和测试集的标准方法是不充分的。它允许模型依赖于来源特有的模式，而非学习底层的科学原理。要真正了解一个模型是否有用，必须在完全新的数据源上对其进行测试，这种方法被称为“留一源验证法”（leave-one-source-out validation）。此外，研究人员必须报告数据中的变异有多少来自于研究间的差异，有多少来自于研究内的差异。如果绝大部分变异都是由于研究本身引起的（如本例所示），那么高准确率得分对于预测现实世界的耐久性而言毫无意义。

最终，这项研究是对一个发展过快的领域的必要修正。它并不意味着机器学习不能帮助工程师设计更好的混凝土，而是坚持认为我们必须诚实地对待模型究竟在做什么。一个在理论上看起来完美但在面对新实验室时却失败的模型，并不是一种发现工具；它是数据局限性的反映。为了推动该领域的发展，学术界必须采用更严格的测试标准，要求模型证明它们能够超越其受训的特定实验进行泛化。只有这样，我们才能信任这些数字工具，去帮助构建一个更可持续、更持久的未来。