💻 computer science

SHIELD reduces information leakage in data splits through joint structural optimization

本文介绍了 SHIELD，这是一个通过联合优化层级、特征空间和分布约束来生成泄漏感知型数据划分的通用框架，从而能够在不同科学领域内对机器学习模型进行更严谨且更真实的分布外评估。

原作者： Ayman Karaki, Marwan Khraisheh

发布于 2026-09-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Ayman Karaki, Marwan Khraisheh

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在利用人工智能进行科学发现的竞赛中，研究人员正试图教会计算机预测从未见过的材料、药物和化学反应的特性。其目标不仅仅是记忆已经测量过的数值，而是学习底层的规则，以便计算机能够对未知事物做出正确的推测。为了测试计算机是否真正学习了这些规则，科学家们将数据分为两部分：一部分用于训练计算机，另一部分用于测试它。如果测试集中的项目与训练集过于相似，计算机就可以依靠识别熟悉的模式而非解决问题本身。这就像一个学生参加考试，考试题目只是作业题目的微小改写；他们得到了满分，但实际上并没有学到知识。几十年来，分割数据的标准方法是将所有内容随机混合，这往往会导致这些危险且过度相似的配对出现在划分线的两侧，从而对模型在现实世界中的表现产生一种虚假的安全感。

哈马德·宾·卡利法大学（Hamad Bin Khalifa University）的一个研究小组开发了一种名为 SHIELD 的新方法来解决这个问题。SHIELD 不再采用随机打乱数据或使用单一规则来分离数据的方法，而是一个复杂的组织者，它同时从三个不同的角度观察数据。它考虑了项目如何在家族中分组、它们在复杂特征网络中彼此靠得有多近，以及它们的整体分布如何比较。该系统随后寻找一种能够同时尊重所有这些关系的方法来切割数据，确保测试集与训练集具有真正的差异性。研究人员在八个不同的科学数据集上测试了这种方法，范围涵盖了用于 3D 打印的金属合金研究到量子化学中微小分子的行为。他们发现，SHIELD 始终比现有方法创造了更严格且更真实的测试条件，揭示了许多在随机测试下表现成功的模型，在面对真正的新数据时实际上会失败。

问题的核心在于科学数据的结构方式。在生物学或材料科学等领域，数据点很少是独立的。一种新的药物分子可能是旧分子的微小变体，或者一种金属合金可能属于共享共同历史的一类材料。当计算机模型在一种分子的版本上进行训练，并在几乎相同的另一个版本上进行测试时，它不需要理解化学，只需要识别相似性。这被称为信息泄漏，它会导致过于乐观的预测。研究人员指出，标准方法（通常依赖于简单的聚类或随机选择）经常无法打破这些隐藏的联系。例如，在一个涉及激光粉末床熔融（一种逐层构建金属部件的过程）的数据集中，随机分割数据使得训练集和测试集高度混合，导致计算机可以轻易地根据所使用的机器或合金类型来猜测结果，而不是基于过程的实际物理特性。

为了解决这个问题，SHIELD 框架被设计用来处理导致泄漏的三种特定类型的关系。首先，它观察层级包含关系，这会将相关的组（如合金家族或蛋白质变体集）保留在同一个堆栈中，使其不会泄漏到另一侧。其次，它检查特征流形，这是一种根据属性映射不同数据点之间距离的方式，确保地图上的邻居不会被拆分。第三，它管理分布，确保数据的整体分布要么是与已知未来场景受控匹配，要么是刻意偏移以模拟完全未知的场景。这项创新的之处在于，SHSHIELD 并不按顺序应用这些规则（因为这可能会抵消前一步的工作），而是同时优化所有三个维度，寻找一种平衡点，既能满足分离的需求，又不会破坏科学的自然结构。

该团队在广泛的科学学科中验证了这种方法。在玻璃形成合金的研究中，他们发现虽然某些现有方法可以有效地分离数据，但它们往往会破坏类别的平衡，导致误导性的结果。SHIELD 则能在保持类别平衡的同时，创造出一个具有挑战性的测试环境。在量子化学领域，其目标是预测小有机分子的能量状态，这种新方法成功地分离了训练集和测试集，从而迫使计算机模型进行真正的外推。当研究人员在这些新的分割数据上测试标准的机器学习模型时，结果发人深省。那些在随机分割下表现出高准确率的模型，其性能大幅下降，有时甚至完全失效。这种性能下降并不是说模型坏了，而是说明之前的测试太容易了。这些新的分割方式暴露了模型在处理真正超出其训练经验的数据时的无能。

其中一个最引人注目的发现来自于增材制造数据集，该数据集涉及由 45 种不同打印机型号制造的 6 种不同合金的 1,579 次构建。当研究人员使用 SHIELD 从训练数据中剔除整个合金家族时，计算机模型表现得极其挣扎。一个在其他分割方式下表现良好的神经网络模型崩溃了，产生了极其不准确的预测。这是因为该模型从未见过那种特定类型的合金，因此无法依赖简单的模式匹配。相比之下，当研究人员剔除特定的打印机型号时，模型的表现要好得多。这种不对称性提供了一个关键洞察：合金家族代表了一个模型无法跨越的根本物理障碍，而打印机身份则是一个较次要的变量。SHIELD 框架能够区分这两类挑战，帮助科学家了解哪些方面的数据是真正难以预测的。

研究人员还展示了该方法通过一种称为“粗粒化”（coarsening）的技术来处理大规模数据集。对于非常庞大的数据集合，计算每个点之间的关系在计算上是不可能的。SHIELD 通过将相关项目基于其层级结构分组为较大的“超节点”来解决这个问题。在其中一次测试中，这种方法将问题规模缩小了 1,600 倍以上，但分割质量依然与处理每一个单独数据点时一样严格。这种可扩展性意味着该方法可以应用于最大的科学数据集，而不会丧失检测微妙泄漏形式的能力。团队还引入了一种衡量分割难度的新指标，称为“发现归一化平方误差”（Discovery Normalized Squared Error）。该指标观察从训练数据转向测试数据时误差增长的情况，从而为模型在遇到未知情况时的表现提供更清晰的图景。

研究得出结论，数据分割方式不仅是一个技术细节，更是所提出的科学问题的重要组成部分。如果分割允许信息泄漏，那么基准测试衡量的就是错误的对象。通过联合优化数据的结构关系，SHIELD 提供了一个对模型发现新知识能力更诚实的评估。研究人员强调，这并不是一个修复所有问题的万能方案，而是一个迫使科学家对其测试内容进行更严谨思考的工具。结果表明，目前在科学文献中备受赞誉的许多模型，可能是在过度拟合其训练数据的特性，而不是在学习自然法则。通过使用一种尊重科学数据真实结构的方法，研究人员可以构建出真正能够应对发现挑战的模型，确保当计算机预测一种新材料或一种新药时，它是基于真正的理解而非幸运的猜测。

SHIELD 技术摘要：基于泄露感知数据划分的结构感知混合集成评估

问题陈述
机器学习（ML）模型在科学发现中的可靠性取决于其能否泛化到真正的未知数据（分布外，即 OOD），而非仅仅在结构相似的样本之间进行插值。传统的随机训练-测试划分经常将紧密相关的样本置于分区的两侧，导致信息泄露。这种泄露会导致性能评估过于乐观，并导致选出的模型在预期的部署条件下失效。

现有的数据划分方法通常只能解决单一来源的泄露（例如，通过聚类解决特征空间相似性，或通过图划分解决化学骨架问题）。然而，科学数据集通常表现出多种潜在冲突的相似性来源：

层级包含性 (H)： 相关的观测值属于共同的组（例如，蛋白质家族、合金系统），这些组应保持完整地位于同一个折叠（fold）中。
特征流形连通性 (M)： 特征流形上相邻的观测值不应被分隔到不同的折叠中。
分布约束 (D)： 折叠可能需要占据协变量空间的重叠区域（匹配）或不同区域（偏移），以模拟特定的部署场景。

目前的工具无法同时优化这些相互竞争的标准。保留层级可能会导致严重的标签不平衡；平衡标签可能会分离近邻；而最小化图割（graph cuts）可能会违反既定的层级结构。挑战在于如何构建能够同时优化多种相似性概念，且不会过度损害单个目标的划分方案。

方法论：SHIELD 框架
作者提出了 SHIELD（Structure-aware Hybrid Integrated Evaluation by Leakage-aware Data Splitting，基于泄露感知数据划分的结构感知混合集成评估），这是一个通用的框架，通过在单组折叠分配变量上联合优化关系结构标准，将数据集划分为 $K$ 个折叠。

复合目标函数： SHIELD 最小化三个归一化项的加权和：
- 层级包含性 ( $H$ )： 作用于根层级树。如果家族被分隔到不同的折叠，它会对家族间的相似性进行惩罚，确保相关的组保持完整。
- 图割 ( $G$ )： 作用于亲和图。它惩罚跨越折叠边界的亲和质量，确保留出的折叠包含训练折叠中不存在的流形区域。
- 分布关系 ( $D$ )： 作用于特征分布。它有两种互斥模式：
  - 匹配 (Match)： 将每个折叠向预设的参考分布进行传输（适用于部署分布已知的情况）。
  - 偏移 (Shift)： 驱动折叠分布彼此分离，以模拟未知的部署分布。
- 分层 (Stratification)： 一个可选项，用于保持目标标签比例（分位数、矩或切片 Wasserstein 形式）或强制执行硬性的类别平衡约束。
优化： 该框架使用块坐标交替法（block-coordinate alternation）。每个关系项在当前划分下进行评估，形成一个线性代理函数。这些代理函数被组合成一个单一的分配程序（一个松弛的二次或线性规划问题），用于求解更新后的分配变量。
约束与修复： 对折叠质量、类别平衡和实体完整性（例如，在配对数据中保留完整的蛋白质或分子）实施硬约束。该流水线包括修复步骤（多数投票、泄露感知交换），以便在将松弛解舍入为离散划分后恢复约束。
可扩展性： 对于观察值层级的亲和力计算不可行的庞大数据集，SHIELD 采用层级优先粗化（hierarchy-first coarsening）。它基于最细层级的层级构建超节点，确保包含项 $H$ 保持精确，同时 $M$ 和 $D$ 在缩减后的超节点质心集合上运行。

核心贡献

联合优化： 不同于仅控制单一泄露通道的现有工具，SHIELD 在一个工具内联合优化了层级包含性、特征流形连通性和分布约束。
通用适用性： 该框架是领域无关的，依赖于用户提供的关系输入（层级、亲和图、核函数），而非特定领域的表示。它已在材料科学、增材制造、结构生物学、毒理学和量子化学领域得到了验证。
双实体划分： SHIELD 支持复杂的数据划分方案（如药物-靶点相互作用），包括“冷左（cold-left）”、“冷右（cold-right）”和“冷双方（cold-both）”策略，确保测试交互涉及的是未见的实体。
评估指标： 作者引入了 发现归一化平方误差 (DNSE) 指标，该指标量化了测试误差相对于训练误差的增长强度，从而区分出那些性能均匀下降的模型与那些在 OOD 条件下发生崩溃的模型。

结果
作者通过八个基准测试验证了 SHIELD：

增材制造 (LPBF)： SHIELD 划分（特别是留出整个合金家族的划分）比随机或聚类基准产生了更具结构差异性的分区。虽然某些划分导致了模型崩溃（例如 MLP），但这准确反映了外推至未知合金家族的难度，而随机划分则产生了过于乐观但具有误导性的性能表现。
合金成分 (Matbench Glass)： SHIELD 配置（特别是联合 HMD 目标）比标准的社区划分（如 Leave-Chem-Out）更有效地降低了信息泄露 ( $L(\pi)$ )。研究强调，低泄露得分（如来自无约束 k-means 的得分）并不总是与更难的泛化任务相关，因为它们可能会任意破碎类别平衡。
物理化学 (Lipophilicity)： SHIELD 表明结构泄露度量与下游性能并不总是对齐的。一个具有高结构泄露度的基准（Butina）产生了与最强 SHIELD 配置相当的下游难度，这进一步证明了没有单一指标能完全评估划分质量。
量子化学 (QM8/QM9)： SHIELD 成功处理了多目标回归。层级（发色团类型）、图割（结构类似物）和分布偏移的联合优化产生了一系列在多个泄露诊断指标下同时达到最优的分区。
粗化： 层级优先粗化使 SHIELD 能够扩展到拥有超过 20,000 个观测值的规模（如 QM9），同时保留结构约束，即使在极端压缩率（~1,600:1）下，泄露得分依然保持稳定。

意义与主张
论文声称 SHIELD 为开发和基准测试旨在进行科学发现的 ML 模型提供了基础，因为它实现了严格的分布外评估。

重新定义划分： 作者认为，数据划分不仅仅是一个常规的预处理步骤，它定义了基准测试所评估的科学问题。SHIELD 允许研究人员将关于部署的具体假设（例如，“模型是否会面临新的合金家族？”）直接编码进分区中。
局限性： 作者对框架的能力持谦逊态度。他们指出，SHIELD 并不保证联合最优性（收敛至经验稳定性），且划分质量受限于所提供的关系输入的质量。如果输入未能捕捉到训练与部署之间的偏移，生成的划分可能会缺乏信息价值。
科学决策： 输入的选择（层级、图）以及模式的选择（匹配 vs 偏移）被视为一种科学决策，无法自动化，需要领域知识来定义相关的外推维度。

综上所述，SHIELD 解决了科学机器学习中一个关键的空白，即标准评估方法无法处理复杂的、多维的数据结构，它提供了一个灵活的、联合优化的框架，用以生成真实的、具备泄露感知的基准测试。

类似论文