🔬 optics

A Comparative Evaluation of Sample Selection Algorithms for Multivariate Calibration in Near-Infrared Spectroscopic Analysis of Pharmaceutical Formulations

本研究表明，在基于高斯过程回归的框架下，将 Kennard-Stone 算法应用于扑热息痛片近红外光谱数据时，其多元校准性能优于 Duplex、Honigs 和 Naes 方法，并已通过严谨的统计分析和高预测准确度指标得到了验证。

原作者： Aminata Sow, Harouna Sangaré, Fadaba Danioko, Tidiane Diallo

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Aminata Sow, Harouna Sangaré, Fadaba Danioko, Tidiane Diallo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在尝试为一种新型药物（对乙酰氨基酚）创造完美配方的厨师。你有一个装有来自不同批次的 58 种不同药片的巨大罐子，你想教计算机通过“品尝”药片反射出的光线（使用近红外光谱法），来准确猜出其中含有多少药物成分。

大问题不在于教计算机，而在于你先给它看哪些药片。

如果你只是随机抓一把药片来教计算机，它可能会走运，也可能会倒霉。它可能只看到了那些“容易”的药片，从而自以为是个天才，但一旦遇到稍有不同的新药片，它就会表现得一塌糊涂。这就像一个学生背下了五套练习题的答案，却因为没有理解底层概念而在真正的考试中挂科一样。

这篇论文是一场“烹饪比赛”，旨在看看哪种方法最擅长挑选合适的药片来教计算机。

四位参赛者（算法）

研究人员测试了四种不同的策略（算法），用于将这 58 种药片分为两组：训练组（用来教计算机）和测试组（用来观察计算机是否真的学会了）。

Kennard–Stone（肯纳德-斯通）： 把它想象成一个“空间探索者”。它观察所有的药片，并挑选出彼此之间差异最大的那些，以确保训练组覆盖了整个“地图”的所有可能性。它确保地图的任何角落都不会被遗漏。
Honigs： 这是一个“侦探”。它逐个挑选药片，总是选择与已选药片相比看起来最独特的下一个。它在寻找最显著的线索。
Duplex（双重法）： 这是一个“平衡的团队建设者”。它试图同时构建训练队和测试队，确保两支队伍都同样强大且具有多样性。
Naes： 这是一个“俱乐部代表”。它根据药片看起来有多相似将它们分组（聚类），然后从每个“俱乐部”中挑选一名代表，以确保每种类型的药片都有所体现。

（他们还包括了一个“随机”组，也就是闭上眼睛随手一指的方法。）

结果：谁赢了？

研究人员使用了一种聪明的计算机模型（称为高斯过程回归），来观察每一组挑选出的药片对计算机预测药物成分的效果有多好。

获胜者： Kennard–Stone 和 Honigs 是明显的冠军。它们挑选了最好的药片组合，使计算机能够以接近完美的准确度（99.999% 的准确率）来预测结果。
失败者： Duplex 和 Naes 在教导计算机方面做得还可以，但当它们在处理新药片进行测试时，计算机犯错较多。事实证明，这些方法挑选的训练药片彼此过于相似，导致计算机变得“过度自信”，从而无法应对新的变化。
随机挑选： 正如预期的那样，仅仅随机抓取是最差的方法。

大惊喜： 尽管 Kennard–Stone 和 Honigs 的数值略有不同，但严格的统计检验显示它们在统计学上是不分伯仲的。它们在执行这项任务时同样出色。

发现的两个重要规则

论文还测试了机器上的另外两个“旋钮”：

要用多少药片进行训练？
他们尝试使用 60% 到 90% 的药片进行训练。他们发现了一个简单的规则：教得越多，学得越好。 使用 90% 的药片进行训练能得到最好的结果。然而，他们注意到在达到某个临界点后，增加更多的药片并不会带来显著的提升（收益递减）。
我们如何衡量“差异”？
为了挑选出最好的药片，算法需要测量两片药片之间的差异。他们测试了两把“尺子”：
- 欧几里得距离（Euclidean Distance）： 一把标准的尺子（就像测量地图上的直线距离）。
- 马氏距离（Mahalanobis Distance）： 一把“智能”尺子，它理解药片中的光波是相互关联（相关）的。
- 研究结果： 对于获胜的 Kennard–Stone 方法，这把“智能”尺子（马氏距离）效果更好。它比标准尺子更能理解光波之间复杂的相互关系。

核心启示

这篇论文的主要教训很简单：不要仅仅随机挑选你的训练数据。

如果你想让你的计算机成为一名优秀的药片医生，你需要聪明地展示给它哪些例子。使用“空间探索者”（Kennard–Stone）策略（配合“智能”尺子）是最可靠的方法，尽管 Honigs 也同样出色。

论文警告说，如果你只看计算机在训练数据上的表现，你可能会被误导。你必须始终在新的、未见过的测试数据上进行测试，以确保它真的学会了知识，而不是仅仅在死记硬背答案。

简而言之： 要建立一个完美的预测模型，请使用“空间探索者”（Kennard–Stone）策略精心挑选你的训练样本，这样你就能获得近乎完美的预测结果。

技术摘要：近红外光谱多变量定标中样本选择算法的比较评估

问题陈述
开发用于药物质量控制中近红外（NIR）光谱分析的稳健多变量定标模型，关键在于将可用样本合理地划分为定标集（训练集）和验证集。样本选择不当会导致模型过拟合，即极佳的定标统计指标无法转化为对新样本的预测准确性。尽管存在多种用于优化此类划分的算法——如 Kennard–Stone、Honigs、Duplex 和 Naes——但现有文献往往缺乏对性能差异的严格统计验证、对距离度量（欧几里得距离与马氏距离）影响的系统研究，以及对训练集比例影响的全面分析。本研究通过评估应用于一种药物近红外数据集的四种既定算法来填补这些空白。

方法论
本研究利用了从马里巴马科药店获取的 58 片商业对乙酰氨基酚片剂（500 mg）的数据集。参考对乙酰氨基酚浓度通过经过验证的药典紫外-可见分光光度法进行测定。近红外光谱在反射模式下（800–1700 nm）采集，并使用标准正态变量法（SNV）、导数法和 Savitzky–Golay 平滑法进行预处理，最终选择平滑后的光谱以获得最佳性能。

核心实验设计包括：

算法实现： 实现了四种样本选择算法：
- Kennard–Stone： 通过最大化光谱空间覆盖范围来选择样本。
- Honigs： 基于残差投影迭代选择光谱特征截然不同的样本。
- Duplex： 同时构建平衡的定标集和验证集。
- Naes： 使用 k-means 聚类以确保亚型代表性。
建模框架： 采用带有径向基函数核的高斯过程回归（GPR）作为建模框架。
性能指标： 模型通过决定系数（ $R^2$ ）和均方根误差（RMSEP）进行评估。
统计分析： 采用非参数统计方法验证性能差异。使用 Kruskal–Wallis 检验评估全局差异，随后使用经 Bonferroni 校正后的 Mann–Whitney U 检验进行两两比较。
变量： 研究系统地改变了训练集比例（60% 至 90%），并比较了欧几里得距离与马氏距离（在适用情况下）。

主要结果

算法性能： 采用马氏距离的 Kennward–Stone 算法表现出卓越的性能，其验证集 $R^2$ 为 0.99999，RMSEP 为 $1.74 \times 10^{-6}$ 。Honigs 算法表现出相当的性能（ $R^2 = 0.999996$ ，RMSEP = $1.76 \times 10^{-6}$ ）。两者均显著优于 Duplex、Naes 和随机划分方法。
统计显著性： Kruskal–Wallis 检验确认了算法之间存在高度显著的差异（ $p < 0.001$ ）。事后分析显示，虽然 Kennward–Stone 和 Honigs 在统计上是等效的（ $p = 1.000$ ），但两者都显著优于 Duplex、Naes 和随机划分。
过拟合指标： Naes 和 Duplex 算法表现出极佳的定标统计指标，但验证性能下降，表明存在过拟合倾向且未能充分代表验证集的变异性。
训练集大小： 在训练集大小与预测准确性之间观察到单调关系。随着训练比例从 60% 增加到 90%，性能不断提高，且在 80–90% 范围内表现出渐近行为，暗示收益递减。
距离度量： 对于 Kennward–Stone 算法，马氏距离度量比欧几里得距离产生了更优的验证结果，这归功于其能够解释光谱数据中的波长间相关性。对于 Honigs 算法，两种度量表现相当。

意义与主张
本文的主张是，其研究结果为优化药物近红外应用中的样本选择方案提供了循证指导。其主要贡献包括：

验证理性选择： 证明了系统性的样本选择算法显著优于随机划分，因此有必要将其纳入方法开发流程。
统计等效性： 确立了在本数据集下 Kennward–Stone 和 Honigs 方法在统计上是等效的，从而根据计算或实现偏好为从业者提供算法选择的灵活性。
方法论严谨性： 强调了仅凭定标指标而忽视外部验证的严重性，这一点从 Naes 和 Duplex 方法观察到的过拟合现象中得到了证实。
度量选择： 强调了选择合适距离度量的必要性，特别是马氏距离在处理相关光谱空间时对 Kennward–Stone 算法的优势。

作者得出结论，认为采用马氏距离的 Kennward–Stone 算法代表了该领域内一种经过充分验证的样本集划分方法，同时也承认未来的工作应将这些发现扩展到多样化的药物类别中。

四位参赛者（算法）

结果：谁赢了？

发现的两个重要规则

核心启示

类似论文