Dynamic programming principle in cost-efficient sequential design: optimal update scheduling under cost constraints

技术摘要：成本高效型顺序设计中的动态规划原理

问题陈述
本研究旨在解决在更新协变量会产生显著固定时间成本（相对于单次测量时长）的情景下，如何进行最优顺序实验设计的问题。其具体的动机源于对超导约瑟夫森结（JJs）切换测量中的参数估计，这些组件对于量子计算和超导电子器件至关重要。在这些实验中，组件被冷却至接近绝对零度以实现超导状态，而该状态仅能稳定存在有限的时间（$T$）。实验过程中会施加一系列电流脉冲，并观察二进制电压响应。电流脉冲高度（协变量 $x$）与电压响应概率之间的关系使用具有补对数-对数（complementary log-log）连接函数的二元响应模型进行建模。

核心问题在于确定更新协变量值（电流脉冲高度）的最佳时机，以便在受限的稳定时间窗口内最大化参数估计的效率（具体为 D-最优性）。虽然顺序设计允许在每次观测后更新估计值，但由于调整脉冲发生器的成本较高，因此需要采用“批次-顺序”（batch-sequential）方法。关键挑战在于确定最优的更新间隔，以平衡信息增益与更新的时间成本（$C_s$）。以往的方法（如 Karvanen 等人，2007；Karvanen，2009）利用启发式方法或近似渐近模型来确定更新时间，这可能导致效率低下，尤其是在初始参数估计较差的情况下。

方法论
作者利用来自数学最优控制理论的**动态规划原理（DPP）**来构建该问题。该方法基于补对数-对数模型的 D-最优设计理论，其目标是最大化费雪信息矩阵行列式的平方根（$D$）。

1. 信息累积模型： 研究利用了由 Karvanen (2009) 推导出的关于预期 D-准则变化量（$h(D)$）的近似值。该函数模拟了在假设参数服从以当前估计值为中心的正态分布时，进行两次额外测量所带来的预期信息增益。该模型假设如果不对协变量进行更新，则信息增益率将基于当前设计保持恒定。
2. 动态规划公式化： 作者定义了两个可通过反向迭代求解的不同优化问题：
   • 在固定时间 $T$ 下最大化 $D$： 值函数 $u(D, t)$ 代表从时间 $t$ 时刻的信息状态 $D$ 开始所能实现的最大的额外 D-准则。DPP 方程为：
     $$u(D, t) = \sup_{t_{next} \in (t+C_s, T]} \{ u(D_{next}, t_{next}) + (D_{next} - D) \}$$
     其中 $D_{next}$ 是在时间 $t_{next}$ 进行更新后的投影信息。
   • 给定目标 $D_{final}$ 时最小化时间： 值函数 $v(D)$ 代表从当前状态 $D$ 到达目标精度 $D_{final}$ 所需的最短时间。DPP 方程为：
     $$v(D) = \inf_{\Delta t \in (C_s, \infty)} \{ v(D + (\Delta t - C_s)h(D)) + \Delta t \}$$
3. 数值解： 方程使用 R 语言进行数值求解。研究对状态空间（时间和信息水平）进行了离散化。算法通过从终端条件（例如 $t = T - C_s$）开始进行反向迭代，以确定最优更新计划。该方法考虑了初始化状态（$D_0$）、更新成本（$C_s$）以及特定目标。

主要贡献

• 首个针对二元响应的 DPP 框架： 虽然 Huan 和 Marzouk (2016) 将 DPP 应用于连续响应的最优顺序设计，但本文提出了第一个专门针对二元响应模型的基于 DPP 的实验设计框架。
• 精确优化更新时间： 不同于以往的启发式方法（例如在每个阶段增加固定百分比的样本量），该方法利用最优控制理论精确求解最优更新时间。它明确处理了更新成本与所获信息之间的权衡。
• 处理可变阶段： 该框架能够适应阶段数量并非预先确定的情况，这与以往一些假设固定阶段数的动态规划应用不同。
• 对初始估计的鲁棒性： 该方法自动将初始信息水平（$D_0$）和更新成本（$C_s$）纳入优化过程，使其能够适应初始参数估计高度不准确的情景。

结果
作者通过模拟实验，将提出的 DPP 方法与 Karvanen 等人 (2007) 的启发式方法以及 Karvanen (2009) 的近似渐近方法进行了基准测试。

• 模拟设置： 实验模拟了真实参数集为 $(a, b) = (0.24, -61)$ 的切换测量。初始估计值被故意设为较差的水平，以产生较低的初始 $D_0$ (0.1408)，这是成本效率最为关键的情景。更新成本 $C_s$ 被设定为相对于单次测量成本 1 的约 228.4 个单位。
• 性能： 基于 DPP 的设计展示了卓越的成本效率。在固定时间范围（$T=3500$）的模拟中，DPP 方法实现相同的累积信息量（$D_{accum}$）仅需 14.77 秒的总时间成本，而 Karvanen (2009) 的方法则需要更长时间。
• 定量收益： 与 Karvanen (2009) 中的近似成本高效方法相比，DPP 方法减少了 13.58% 的时间成本。结果表明，当初始估计较差时，DPP 方法避免了以往方法中常见的过度早期更新现象，从而节省了宝贵的稳定温度时间。

意义与主张
本文主张，应用最优控制理论（特别是动态规划原理）为高成本更新环境下的顺序设计提供了一种严谨且更具成本效益的替代方案。作者强调，其方法并不局限于约瑟夫森结这一特定案例，而是适用于任何数据以批次收集且更新成本显著的顺序设计场景。

作者对理论基础保持谦逊，承认该方法依赖于先前文献中的近似处理（特别是极大似然估计的渐近正态性和费雪信息的特定形式）。然而，他们断言这些近似使得该问题能够以一种可由高效计算工具求解的方式进行公式化。研究结论认为，只要能够表征信息累积函数，所提出的方法在不同统计模型下的成本高效型顺序设计中具有广泛的应用前景。