📊 statistics

Fitting Large Nonlinear Mixed Effects Models Using Variational Expectation Maximization

本文介绍并验证了变分期望最大化（VEM）算法，将其作为拟合大型非线性混合效应（NLME）模型的可扩展替代方案，并展示了其利用 Pumas 软件高效处理包含超过 15,000 个群体参数的复杂数据集的能力。

原作者： Mohamed Tarek, Pedro Afonso

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed Tarek, Pedro Afonso

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图解开一个涉及数千名嫌疑人的巨大谜团。每个嫌疑人都有自己独特的怪癖（随机效应），但他们都遵循由警察局长（总体参数）编写的一套通用规则手册。你的目标是弄清楚这本规则手册究竟写了什么，尽管你只能看到嫌疑人的行动，而无法窥探他们的内心想法。

在医学和药物测试的世界里，科学家们正是利用非线性混合效应（NLME）模型来做这件事。他们试图理解药物在整个群体中是如何起作用的，同时考虑到药物在每个人身上的作用差异。

问题出在哪里？随着嫌疑人（人数）的数量和规则手册（参数）的复杂性增加，数学计算变得如此繁重，以至于传统计算机会陷入停滞。这就像试图解开一个拼图，而每一块拼图都是一块巨大的岩石；你无法移动它们的速度快到足以完成这幅画面。

本文介绍了一种更轻量级的解谜新方法，称为变分期望最大化（VEM）。以下是其工作原理，使用简单的类比：

1. 旧方法：“猜测与检查”的徒步旅行

传统方法（如 FOCE）就像试图通过走遍每一条路径来找到雾谷的底部。你必须在每一步停下来，环顾四周，并计算坡度，以确保你没有走错方向。如果山谷非常巨大（一个拥有 15,000 个参数的模型），这次徒步旅行将永无止境。你可能花费 24 小时仅仅试图迈出一步，而计算机最终会放弃。

2. 新方法：“智能地图”（VEM）

作者提出了 VEM，这就像雇佣一支制图师团队来绘制山谷的简化地图，而不是走遍每一条路径。

近似处理：VEM 不再为每个人计算精确但不可行的山谷形状，而是绘制一个平滑、简单的山丘（“高斯”形状），它看起来像真实的山谷。它并不完美，但足够接近，能让你动起来。
两步舞：
1. 绘制地图（E 步）：算法快速勾勒出每个人怪癖可能所在的最佳猜测地图。
2. 更新规则手册（M 步）：利用这些地图，更新主规则手册，看它是否更契合。
3. 重复：它不断重绘地图并更新规则手册，直到它们完美匹配。

3. 秘密武器：“反向模式”思维

本文强调了一种特定的技巧，称为反向模式自动微分。

前向模式（旧方法）：想象你在粉刷一面墙。你刷一点，检查颜色，再刷一点。如果你有 15,000 种颜色要混合，那么对于每一次刷动，你都必须检查 15,000 次颜色。这很慢。
反向模式（新方法）：想象你看着完工的墙壁，并逆向推导每种颜色究竟用了多少。你可以一次性计算出所有 15,000 种颜色的完整配方。这就是为什么 VEM 对于巨大模型如此快速的原因。

他们证明了什么？

作者通过两项实验测试了这种新方法：

小型测试（华法林模型）：他们使用了一个标准的、众所周知的药物模型，涉及 31 人。
- 结果：VEM 得出了与旧方法相同的答案，但速度快得多（16 秒对比 44 秒）。这证明了新方法的准确性。
大型测试（DeepNLME 模型）：他们创建了一个“怪物”模型，拥有15,410 个参数（就像一本有 15,000 页的规则手册），每个人有 16 种不同的怪癖。
- 结果：旧方法（FOCE）试图迈出一步，但在 24 小时后甚至未能完成。而新方法（VEM）持续运行，在合理的时间内完成了 5 个完整的步骤。

核心结论

本文声称，VEM 是一种强大的新工具，使科学家能够解决那些以前因过于繁重而无法被计算机处理的庞大、复杂的药物模型。它不仅适用于小型谜题；当谜题巨大时，它才真正大放异彩。

文中重要的注意事项：

这是一种近似：因为它使用“简化地图”，所以需要仔细调整（例如选择合适的样本数量），以确保地图的准确性。
它需要第二步：与旧方法不同，VEM 不会自动给出最终的“得分”（对数似然值）；你必须在最后单独计算它。
它对小型事物并非魔法：对于微小的模型，旧方法可能仍然更快，因为新方法在开始之前需要一些“设置时间”（编译）。

简而言之，作者建造了一部高速电梯（VEM），可以承载重物（复杂模型）登上摩天大楼，而旧方法则是一组楼梯，当负载过重时会卡住。

以下是 Mohamed Tarek 和 Pedro Afonso 所著论文《使用变分期望最大化拟合大型非线性混合效应模型》的详细技术总结。

1. 问题陈述

非线性混合效应（NLME）模型是药代动力学、定量系统药理学（QSP）和临床试验中分析分层数据和纵向数据的标准方法。这些模型通过最大化边缘似然来估计群体参数（ $\theta$ ），这需要积分掉受试者特定的随机效应（ $\eta$ ）。

核心挑战：

计算不可行性： 随着模型变得更加复杂（例如，纳入神经网络、高维常微分方程或数千个参数），计算边缘似然所需的积分变得计算上不可行。
现有方法的局限性： 传统算法如一阶条件估计（FOCE）和随机近似 EM（SAEM）依赖于数值积分或马尔可夫链蒙特卡洛（MCMC）采样。这些方法在参数数量和随机效应数量增加时扩展性差，通常在数千个参数的模型（例如 DeepNLME 模型）上无法收敛或耗时过长。

2. 方法论：变分期望最大化（VEM）

作者提出使用**变分期望最大化（VEM）**作为一种可扩展的替代方案。VEM 不使用从随机效应后验分布中采样（如 MCEM/SAEM 那样），而是使用参数化分布（变分族）来近似后验分布。

关键技术组件：

变分推断（VI）框架：
- 目标是最大化证据下界（ELBO），而不是直接最大化边缘似然。
- ELBO 定义为： $\text{ELBO} = \mathbb{E}_{q}[\log p(y, \eta|\theta)] - \text{KL}(q(\eta) || p(\eta|y, \theta))$ 。
- 最大化 ELBO 等价于最小化变分分布 $q(\eta)$ 与真实后验分布之间的 Kullback-Leibler（KL）散度。
重参数化技巧：
- 为了启用基于梯度的优化，作者使用了重参数化技巧。随机效应被生成为基础固定分布的确定性变换（例如 $\eta = T(\xi; \kappa)$ ，其中 $\xi \sim \mathcal{N}(0, I)$ ）。
- 这使得梯度能够流过采样过程，从而能够使用高效的优化器。
联合优化：
- 与传统 EM 严格在 E 步和 M 步之间交替不同，Pumas 的实现使用基于梯度的方法同时联合优化群体参数（ $\theta$ ）和变分参数（ $\kappa$ ）。
自动微分（AD）：
- 对于参数数量相对于输出数量很大的模型（DeepNLME 中常见），利用反向模式 AD。这对于高效计算 ELBO 关于数千个参数的梯度至关重要。
- 该实现支持前向模式（用于较小模型）和反向模式 AD。
优化策略：
- 确定性 VEM： 使用预采样的基础变量和L-BFGS优化器（拟牛顿法），以实现稳定、快速的收敛。
- 随机 VEM： 在每次迭代中使用重采样，并使用Adam优化器，适用于大规模人群的 mini-batch 处理。
处理约束： 对于受约束的随机效应（例如对数正态分布），该方法在应用高斯变分族进行近似之前，先应用域变换（例如对数变换）。

3. 主要贡献

可扩展的 NLME 算法： 该论文引入了一种专门针对 NLME 模型的 VEM 变体，能够拟合具有超过 15,000 个群体参数和16 个以上随机效应的模型，这是传统方法无法处理的领域。
在 Pumas 中的实现： 该算法已在 Pumas 统计软件中实现，利用了 Julia 的高性能计算能力和自动微分功能。
理论联系： 作者阐明了 VEM 与变分自编码器（VAE）、概率主成分分析（PPCA）以及拉普拉斯近似之间的关系。他们证明拉普拉斯方法本质上是 VEM 目标函数的二阶泰勒近似。
实证验证： 该论文提供了严格的基准测试，在小型（华法林）和大型（DeepNLME）模型上将 VEM 与 FOCE 进行了比较。

4. 实验结果

作者使用 Pumas 软件对两个模型进行了实验：

A. 华法林模型（小规模验证）

设置： 标准 PK-PD 模型，包含 31 名受试者和 464 个观测值。
比较： VEM 与 FOCE。
结果：
- 准确性： VEM 产生的参数估计和对数似然值与 FOCE 几乎相同（对数似然：-994.5 对比 -995.3）。
- 速度： VEM 显著更快（16.6 秒对比 44.4 秒）。
- 结论： VEM 是标准药代动力学模型的正确且高效的替代方案。

B. DeepNLME Friberg 模型（大规模可扩展性）

设置： 一个人工构建的大型模型，整合了神经网络（MLP），包含15,410 个群体参数和 16 个随机效应。
比较： VEM（5 次迭代）与 FOCE（尝试 1 次迭代）。
结果：
- VEM： 使用反向模式 AD，在约 3092 秒内完成了 5 次迭代（约 618 秒/迭代）。
- FOCE： 在 24 小时内未能完成单次迭代。
- 结论： VEM 成功扩展到 FOCE 变得计算上不可行的复杂、高维模型。

5. 意义与影响

赋能 DeepNLME 和 QSP： 拟合数千个参数模型的能力为DeepNLME（将神经网络整合到机制模型中）和复杂的**定量系统药理学（QSP）**模型打开了大门，这些模型此前作为 NLME 拟合时计算成本过高。
优化范式的转变： 该论文主张从基于 MCMC 的采样（SAEM/MCEM）转向基于梯度的变分推断，以解决大规模问题，并利用现代深度学习基础设施（反向模式 AD、GPU/TPU 兼容性）。
实际局限性： 作者承认 VEM 对超参数（样本数量、变分族选择）敏感，并且需要在优化后单独计算经验贝叶斯估计（EBE）和对数似然近似，而 FOCE 则在估计过程中完成这些步骤。
未来方向： 该方法有望成为拟合大型联合生物标志物模型和复杂生物系统的标准工具，在这些领域传统方法会遭遇计算成本的“墙”。

总之，本文证明，当变分期望最大化与反向模式自动微分相结合时，为拟合药代动力学中下一代复杂、高维非线性混合效应模型提供了一个稳健、可扩展且准确的框架。