📊 statistics

A general framework for modeling Gaussian process with qualitative and quantitative factors

本文提出了一种将定性因素映射至连续潜变量空间并应用标准核函数的通用框架，用于建模同时包含定性与定量因素的计算机实验，该框架不仅自然地融入了序数结构，还通过贝叶斯信息准则和留一交叉验证实现了模型选择与平均，并在多个示例中验证了其性能。

原作者： Linsui Deng, C. F. Jeff Wu

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Linsui Deng, C. F. Jeff Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于如何更聪明地给计算机实验“做预测”的学术论文。为了让你轻松理解，我们可以把这篇论文的核心思想想象成“如何给一个复杂的机器（比如一辆汽车或一台咖啡机）建立一本精准的‘使用说明书’"。

1. 背景：为什么我们需要这本“说明书”？

想象你在设计一辆新车。你需要测试很多因素：

定量因素（Quantitative）： 比如轮胎气压（可以是 2.0, 2.1, 2.2... 任意数字）、发动机转速。这些是连续的。
定性因素（Qualitative）： 比如轮胎品牌（米其林、普利司通、固特异）、车身颜色（红、蓝、黑）。这些是分类的，没有大小之分，只有“不同”。

传统的数学模型（高斯过程，GP）很擅长处理“连续数字”，但面对“轮胎品牌”这种分类数据时，往往会“抓瞎”。以前的方法就像是在强行把“米其林”变成数字 1，“普利司通”变成数字 2，但这会误导模型，让它以为 2 比 1“大”或者“好”，这显然不对。

2. 核心创新：给“分类”找一个“隐藏的数字世界”

这篇论文提出了一种通用的框架，就像给每个“分类选项”都配了一个**“隐藏的数字分身”（潜变量，Latent Variable）**。

以前的做法： 直接硬套公式，或者针对每种情况发明一种特殊的公式（像打补丁一样）。
这篇论文的做法： 建立一个通用的翻译官。
- 它把“米其林”翻译成隐藏空间里的一个点 $A$ 。
- 把“普利司通”翻译成另一个点 $B$ 。
- 把“固特异”翻译成点 $C$ 。
- 关键点： 这个翻译过程不是随意的。如果“米其林”和“普利司通”在性能上很像，那么点 $A$ 和点 $B$ 在隐藏空间里就会靠得很近；如果它们差别很大，点 $A$ 和点 $C$ 就会离得很远。

比喻： 想象你在一个巨大的**“性格测试”**里。

定量因素（如车速）是身高，可以直接量。
定性因素（如轮胎品牌）是星座。以前我们不知道星座怎么算进身高公式里。
这篇论文说：别管星座名字了，我们把每个星座映射到一张**“性格地图”**上的一个坐标点。白羊座在地图的左上角，金牛座在右下角。如果两个星座性格相似（比如都很有冲劲），它们在地图上的点就挨得近。这样，数学公式就能轻松计算它们之间的距离了。

3. 三大亮点：这个框架有多强？

A. 万能工具箱（通用框架）

以前的方法像是只有“锤子”或只有“螺丝刀”。这篇论文造了一个**“瑞士军刀”**。

它发现，以前大家发明的各种特殊公式，其实都是这个框架下的特例。
它允许你在这个框架里自由切换不同的“测量尺子”（核函数，Kernel）：
- 高斯核： 像平滑的曲线，适合关系很柔和的情况。
- 线性核： 像直尺，适合简单的关系。
- 指数核： 适合衰减很快的关系。
- 比喻： 就像你可以根据天气（数据特征）随时换用雨伞、墨镜或雨衣，而不是只带一种。

B. 尊重“顺序”（处理有序变量）

有些分类数据是有顺序的，比如“小、中、大”或者“低、中、高”。

以前的做法： 把它们当成普通的“小、中、大”名字，忽略了“大”比“中”大的事实。
这篇论文的做法： 在“隐藏地图”上，强制规定“大”的点必须排在“中”的后面，“中”必须排在“小”的后面。
比喻： 就像排队买票。以前大家随便站，现在规定：身高 1 米的人必须站在 1 米 2 的人前面。这样模型就能理解“顺序”带来的规律，预测更准。

C. 聪明的“投票系统”（模型选择与平均）

既然有这么多把“尺子”（核函数）和“地图尺寸”（潜变量维度），到底该用哪一把？

方法一（LOOCV）： 就像**“模拟考试”**。把其中一个数据藏起来，用剩下的数据训练，看看能不能猜对藏起来的那个。猜得最准的模型胜出。
方法二（BIC）： 就像**“性价比评估”**。不仅看谁猜得准，还要看谁用的参数少（模型越简单越好，防止死记硬背）。
方法三（模型平均）： 就像**“专家会诊”**。不选一个专家，而是让所有专家都发表意见，根据他们的“过往业绩”（BIC 分数）给每个人分配权重，最后取一个加权平均值。这样最稳妥，不容易翻车。

4. 实际效果：真的好用吗？

作者在几个真实的工程案例中测试了这套方法：

桥梁设计： 涉及混凝土强度（连续）和施工方法（分类）。
数据中心散热： 涉及温度（连续）和通风口位置（分类）。
材料科学： 预测合金的硬度，涉及不同的金属元素（分类）。

结果：

这套方法通常比以前的“老办法”（如 EzGP, ctGP 等）预测得更准。
特别是，当数据里有“有序”信息（比如温度等级）时，加上“顺序约束”的模型表现突飞猛进。
模型平均策略（让所有专家投票）往往能给出最稳定、最不容易出错的结果。

总结

这篇论文就像给计算机实验领域提供了一套**“乐高积木”。
以前，面对混合了数字和分类的复杂问题，工程师们需要为每个问题专门定制积木，既麻烦又容易出错。
现在，他们有了一套通用的连接件（潜变量框架），可以随意组合不同的积木块（核函数），还能自动识别哪些积木是“有顺序”的。最后，通过“模拟考试”或“专家会诊”**，自动选出最佳方案。

这不仅让预测更准，还让科学家能更好地理解数据背后的规律（比如，原来“米其林”轮胎和“普利司通”在数学本质上其实离得很近！）。

1. 研究背景与问题 (Problem)

背景：
计算机实验（Computer Experiments）在科学、工程和商业中日益重要，用于模拟复杂系统。然而，由于模拟计算成本高昂，通常需要使用代理模型（Surrogate Models）或模拟器。高斯过程（Gaussian Process, GP）因其能够准确高效地近似模拟行为而成为主流方法。

核心问题：
许多实际应用场景（如堤坝设计、数据中心热动力学）的输入既包含定量因子（Quantitative Factors，如距离、温度），也包含定性因子（Qualitative Factors，如材料类型、构造速率）。现有的 GP 模型在处理这种混合输入（QQ 输入）时，虽然提出了一些特定的协方差结构（如 Qian et al., 2008; Deng et al., 2017; Zhang et al., 2020 等），但缺乏一个统一的通用框架来整合这些方法，且难以系统地开发新的核函数结构。此外，如何自然地处理有序变量（Ordinal Variables）也是一个挑战。

2. 方法论 (Methodology)

本文提出了一种基于**潜在变量（Latent Variable）**的通用框架，将定性因子映射到连续潜在空间中，从而利用标准的核函数进行建模。

2.1 核心框架

假设响应 $Y(U, V)$ 由定量因子 $U$ 和定性因子 $V$ 决定。

潜在变量映射： 将第 $j$ 个定性因子 $v_j$ （有 $a_j$ 个水平）映射为一个潜在向量 $z^{(j)}_{v_j} \in \mathbb{R}^{l_j}$ 。
协方差函数构建： 假设定量和定性因子的效应可分解，总协方差函数定义为：
$\text{Cov}\{Y(U, V), Y(U', V')\} = \sigma^2 K_U(U, U') K_Z(Z_V, Z'_V)$
其中 $K_U$ 是定量因子的核函数（通常使用高斯核）， $K_Z$ 是潜在向量的核函数。
灵活性： 通过为潜在向量选择不同的核函数（如线性核、高斯核、指数核）以及不同的组合结构（乘法或加法），该框架可以涵盖现有的多种方法。

2.2 与现有方法的联系

该框架证明了以下现有方法均为其特例：

乘法线性核： 对应 Qian et al. (2008) 的半正定矩阵分解方法，以及 Zhou et al. (2011) 的超球面参数化。
低秩结构： 对应 Roustant et al. (2020) 和 Tao et al. (2021) 的降维潜在向量方法。
加法结构： 对应 Deng et al. (2017) 的加法协方差模型。
预定义编码： 对应 One-hot 编码或相似性编码（Garrido-Merchán & Hernández-Lobato, 2020）。

2.3 可识别性 (Identifiability)

由于潜在变量的旋转或平移可能产生相同的协方差结构，论文探讨了参数化的唯一性条件：

线性核： 通过正交变换下的等距性，利用 QR 分解或超球面坐标变换来确立唯一参数化。
各向同性核（如高斯核）： 需要同时满足旋转和平移不变性。
论文给出了具体的可识别性定理和参数约束条件（如角度范围限制），确保模型参数估计的唯一性。

2.4 有序变量处理

针对有序定性变量（Ordinal Variables），论文通过在潜在变量上施加顺序约束来自然融入序数信息：

各向同性核： 强制潜在标量满足 $0 = z_1 \le z_2 \le \dots \le z_{a_j}$ 。
线性核： 利用超球面坐标中的角度 $\theta$ ，强制 $0 = \theta_1 \le \theta_2 \le \dots \le \theta_{a_j} \le \pi$ 。
通过重参数化为非负增量（ $\Delta$ ），将约束优化转化为箱约束优化问题，可使用 L-BFGS-B 等算法高效求解。

2.5 模型选择与平均

面对多种核函数和维度选择，提出了两种策略：

留一法交叉验证 (LOOCV)： 基于预测误差（对数似然或 $L_2$ 损失）选择最佳模型。
贝叶斯信息准则 (BIC)： 用于模型选择（BICMSel）和模型平均（BICMAvr）。模型平均通过 BIC 权重组合不同模型的预测，提高鲁棒性。

3. 主要贡献 (Key Contributions)

统一框架： 首次提出了一个通用的基于潜在变量的 GP 框架，成功将多种现有的 QQ 因子协方差结构统一起来，并揭示了它们之间的数学联系。
新协方差结构： 通过引入不同的核函数（线性、指数、高斯）到潜在空间，提出了新的协方差结构，特别是线性核在捕捉负相关和有序结构方面的优势。
有序变量的自然处理： 提出了一种在潜在空间中施加顺序约束的通用方法，无需将有序变量视为名义变量或连续变量，从而更准确地利用数据中的序数信息。
可识别性理论： 系统分析了不同核函数下潜在参数化的可识别性条件，解决了参数冗余问题。
实证验证： 提出了基于 BIC 的模型平均策略，并通过广泛的数值实验验证了其有效性。

4. 实验结果 (Results)

论文在四个仿真算例（梁弯曲、钻孔、OTL 电路、活塞）和两个真实案例（堤坝有限元模型、材料设计）中进行了评估。

性能对比：
- 提出的框架（特别是结合不同核函数的变体）在大多数情况下优于现有的竞争方法（如 EzGP, EEzGP, ctGP）。
- 线性核在某些案例（如梁弯曲）中表现优异，而高斯核在另一些案例中表现更好。
- 有序变量处理： 显式利用有序结构（Ordinal）的方法通常优于将其视为名义变量（Nominal）的方法，特别是在数据量有限或噪声较大时，能有效防止过拟合。
- 维度选择： 潜在向量的维度对性能至关重要。过高的维度可能导致过拟合，过低的维度则无法捕捉复杂结构。
模型选择与平均：
- BIC 模型平均 (BICMAvr) 表现出最稳定的性能，在不同场景下均能取得较低的均方根误差（RRMSE）。
- LOOCV 和 BIC 选择策略通常能选出排名靠前的模型，但模型平均策略在鲁棒性上更胜一筹。
计算效率：
- 在堤坝模型中，随着潜在维度的增加，精度提高但计算成本略有上升。
- 在材料设计案例中，加法核（Additive Kernel）在捕捉某些不活跃变量（权重接近零）时表现出比乘法核更好的适应性。

5. 意义与影响 (Significance)

理论桥梁： 该框架弥合了仅含定量输入的 GP 建模与混合输入建模之间的鸿沟，使得针对定量输入开发的复杂核函数技术可以扩展应用到定性因子场景。
实践指导： 为工程师和数据科学家提供了一个灵活的工具箱，通过选择核函数、潜在维度和是否利用序数信息来适应不同的数据特征。
鲁棒性提升： 提出的模型平均策略解决了单一模型选择的不确定性，提供了更稳健的预测和不确定性量化。
未来方向： 该框架为未来开发更复杂的 QQ 交互核函数（如非可分离核）奠定了基础，同时也指出了在处理高维有序变量时计算复杂度的挑战。

总结：
这篇文章通过引入潜在变量映射和灵活的核函数选择，建立了一个强大的通用框架来处理计算机实验中的混合输入问题。它不仅统一了现有的多种方法，还通过引入有序约束和模型平均策略，显著提升了预测精度和模型的鲁棒性，为复杂系统的代理建模提供了重要的理论支持和实用工具。