Sequential Experimental Designs for Kriging Model

技术摘要：用于 Kriging 模型的序列实验设计

问题陈述
计算机实验通常依赖 Kriging（高斯过程）模型作为代理模型，以近似复杂的物理和工程系统。主要目标是最小化整个实验域内代理模型与真实模型之间的差异。虽然单阶段空间填充设计很常见，但它们依赖于先验假设，并可能无法覆盖关键区域，从而导致资源浪费。序列设计通过根据累积数据迭代添加点，提供了一种动态的替代方案。然而，现有的序列方法面临两个显著的局限性：

1. 基于观测值的批量序列设计研究不足。 在许多实际场景中（例如高保真航空航天模拟），设置实验（校准、初始化）的固定成本很高，而单轮内增加多个点的边际成本却微乎其微。目前的各种方法很少能有效地解决这种“批量”场景。
2. 单点序列设计的低效性。 传统的单点方法需要大量的迭代轮次才能积累足够的数据，导致实验周期延长且资源利用效率低下。此外，朴素的批量选择会导致点聚集在单个最优位置附近，无法有效地探索设计空间。

方法论
本文提出了一个综合框架来解决这些差距，包含两种新型选择准则和一个通用的批量序列设计算法。

1. 新型选择准则：

   • 基于梯度的准则 ($\phi_{gra}$)： 受以下观察启发：梯度幅值较大的区域通常需要更密的采样以降低拟合误差。该准则选择使真实函数梯度幅值 $\|\nabla f(x)\|$ 最大化，同时保持与现有点距离的候选点。它结合了一个局部响应变率项 ($|\hat{y}_X(x) - f(x^*)|$)，以确保在函数实际发生变化的区域进行选择。从理论上讲，该准则近似了预测误差的上界。
   • 基于方差的准则 ($\phi_{var}$)： 该准则旨在通过选择最大化由预测方差和梯度估计方差导出的函数值，来最小化最大拟合误差。其理论基础在于，估计误差受预测方差和梯度方差共同调节的理论界限。

2. 基于聚类的 Top-$b$ 序列设计框架：
   为了将任何单点序列准则扩展到批量设置（即每轮添加 $b > 1$ 个点），作者提出了一个聚类算法（算法 2）。

   • 机制： 该算法并非简单地选择使准则 $\phi(x)$ 最大化的前 $b$ 个点（这会导致点聚集在单个全局最大值附近），而是对候选点进行离散化，并根据其 $\phi$ 值进行排序。
   • 聚类逻辑： 根据空间邻近性和密度规则（由参数 $\alpha$ 和 $\beta$ 控制）将点分配到不同的簇中。算法识别出不同的局部极大值（簇），并从前 $b$ 个簇中选择代表点。
   • 目标： 这种方法可以防止点聚集，确保对高价值区域进行多样化探索，并允许任何现有的单点准则被适配用于批量场景。

核心贡献

• 两种新准则： 引入了基于梯度和基于方差的准则，它们为最小化全局拟合误差（平均误差 vs 最大误差）提供了不同的理论视角。
• 通用批量框架： 一种新型的“基于聚类的 Top-$b$”框架，解决了朴素批量选择中固有的点聚集问题，使得任何单点准则都能高效地扩展到批量场景。
• 理论证明： 文中通过引理和定理证明了所提准则与预测误差上界及梯度方差之间的关系，为选择策略提供了理论依据。

结果
作者使用具有不同维度的七个测试函数（Branin, Hartman, Ackley, Zakharov, Rosenbrock 等）评估了所提方法与现有准则（包括期望改进（EI）变体、方差最小化和混合差异）的性能。

• 单点性能： 在均方根误差（RMSE）方面，基于梯度的准则通常优于现有方法。对于最大绝对误差（MAE），基于方差的准则展现出了卓越的性能。
• 批量性能： 使用该新型准则生成的基于聚类的 Top-$b$ 设计，其表现一致优于基于现有准则的批量设计以及基准序列均匀设计。
• 效率： 批量设计达到了与单点对应方法相当、甚至在某些情况下更好的性能，同时显著减少了实验轮次（迭代次数）。

意义与主张
本文声称，所提方法解决了当前序列设计文献中的关键局限性，特别是缺乏有效的基于观测值的批量设计以及单点方法的低效性。通过证明基于梯度的准则最小化平均误差，以及基于方差的准则最小化最大误差，作者为具有特定优化目标的从业者提供了针对性的工具。此外，所提批量框架被视为一种通用的解决方案，它通过减少实验轮次而不牺牲拟合精度来提高资源效率，特别适用于资源密集型的计算机实验。作者总结道，其提出的准则和框架在拟合精度方面普遍优于现有方法。