技术摘要：通用预热路径 (The Universal Warmup Path)

1. 问题陈述

哈密顿蒙特卡洛 (HMC) 及其自适应变体 NUTS 依赖于局部梯度评估来探索全局目标分布 $\pi$。这些局部移动的效率受全局后验几何结构（特别是目标的协方差结构）的制约。预热是采样器必须从其运行中最不可靠的部分——即在建立代表性之前的相关轨迹——中学习这种几何结构的阶段。

目前的预热实现通常依赖于固定调度和启发式选择。用户必须预先选择度量族（例如对角、低秩、Fisher）、定义计算预算，并确定如何应对不兼容的几何结构。虽然单个自适应机制（步长、度量估计）已被广泛研究，但它们的编排缺乏一个统一的、基于证据的框架。本文旨在解决建立“连贯的采样器超参数调优理论”的需求，该理论将局部自适应、全局几何与在无法建立全局覆盖时的显式拒绝联系起来。

2. 方法论：通用预热路径

本文提出了一种通用预热路径 (Universal Warmup Path)，这是一种与采样器无关的程序化框架，将预热视为一种混合的“路径+度量”动力系统。

核心哲学

该框架使用单一的“指南针”——即通用采样器无关协方差参考 $\Sigma_\pi = \text{Cov}_\pi(X)$——来指导决策。然而，它允许不同的“路径”（估计器分支）部署其特定的度量（例如对角、池化内低秩、均值间低秩）。该系统遵循收集证据、行动、等待或拒绝的纪律运行。

控制器与决策逻辑

其实现是一个标量门控控制器，运行在由维度 $d$、链数 $M$ 和总梯度预算 $B$ 决定的固定度量窗口调度之上。

• 初始化： 从对角度量开始。
• 证据收集： 在预设的窗口终点，控制器评估结构测试（链内 $W$ 与 均值间 $T$）以及度量可修复性检查（$R^2$）。
• 决策结果：
  • 行动 (Act)： 如果证据支持特定的路径（例如，$W$ 指示了池化内低秩结构），控制器部署该度量并保留“锁存”状态（在阶段内不降级）。
  • 等待 (Wait)： 如果证据不充分或不足，度量保持为对角形式，系统推进到下一个预设的更大规模窗口。
  • 拒绝/移交 (Refuse/Handoff)： 如果证据表明存在不兼容的几何结构（例如，漏斗结构、尺度耦合或持续的区域性分歧），系统拒绝认证全局常数度量。相反，它会发出建议性输出：
    • 重参数化： 针对漏斗或尺度耦合。
    • 群体移交： 针对区域混合模型，建议使用伴随的群体/集成方法。
• 终止： 最后 15% 的预算专门用于仅针对步长的自适应。

理论基础

论文通过路径索引吸引子定理 (Route-Indexed Attractor Theorems) 将其动力学形式化。

• 吸引子动力学： 一旦某种路径被提升，迭代过程将被吸引到位于有界对数正定对称 (log-SPD) 图表内的群体度量映射 $G^\star_a = T_a(\pi)$ 中。
• 有限窗口误差界限： 收敛性取决于一个显式的误差预算，包括起始分布律、自适应步长、白化、采样波动以及正则化误差。
• 不确定性与门控： 框架利用算子置信度事件（基于马尔可夫中心极限定理和矩阵集中不等式）来确定路径的置信集是否越过了合格区域。
• 局部轨迹极限： 一个关键的理论贡献是局部轨迹不可区分性定理 (Local-Transcript Indistinguishability Theorem)。它确立了来自已访问状态的结构性证据无法认证未访问区域。如果算法在有限时界内局限于区域 $A$，则无法区分在 $A$ 上一致但在全局上不同的目标。这证明了“拒绝”结果作为一种必要保障的合理性。

3. 核心贡献

1. 路径索引吸引子定理： 提供了关于度量收敛的显式有限窗口误差项，该项以路径裕度和更新误差预算为条件。
2. 马尔可夫轨迹不确定性构建： 开发了针对路径特定置信集的算子后果，定义了安全结构门控所需的裕度。
3. 有限时界局部轨迹信息界限： 证明了局部轨迹无法认证全局覆盖，从而形式化了受限证据所能建立信息的极限。
4. 标量门控实现： 一个实用的控制器，将识别、一致性和效用分离，实现了“行动-等待-拒绝”的纪律，且无需在最终代码中处理复杂的置信对象。
5. 经验验证： 证明了自动预热在处理病态问题时优于预先声明的策略，同时能正确识别并拒绝认证无法实现的全局覆盖。

4. 经验结果

论文通过多个基准测试，将提出的路径与预先声明的 Fisher 低秩主路径及对角控制组进行了对比。

• 性能： 在病态序列中，自动预热实现的几何平均 ESS/梯度比值在 1.409–2.451 之间（对比 Fisher 低秩主路径），在德国信用数据集上为 1.131–1.951。
• 效率： 与历史上的固定调度实现相比，自动路径使用的预热梯度显著减少（在特定单元格中减少了 19–35 倍），同时达到了相同的后采样质量标准（有限秩归一化 Split-$\hat{R}$，零发散）。
• 鲁棒性： 在所有 36 个测试单元（12 个病态、12 个德国信用，以及固定长度/多项式 HMC 变体）中，自动预热在适当处选择了低秩度量，并通过了所有后采样群体质量检查。
• 拒绝机制： 在受控的高斯混合实验中，当存在区域性分歧但边缘谱固定时，系统正确地发出了建议性移交，而非错误地认证了一个全局度量。“拒绝”结果是一个预期的、成功的操作，而非失败。

5. 意义与主张

本文声称提供了一种程序化通用的预热方法，取代了启发式调度，转而采用基于证据的路径选择。其意义在于：

• 解耦局部与全局： 它明确区分了寻找高效局部度量的能力与认证全局探索的能力。
• 显式拒绝： 它将“拒绝”（重参数化建议或群体移交）重新定义为一种成功的检测——即检测到单一定常度量无法处理的几何结构——而非度量的失败。
• 理论严谨性： 它将实际的控制器设计与有限时界信息界限及算子不确定性联系起来，超越了渐近保证，为有限运行提供了可操作的、有界的误差诊断。

作者强调，所提出的路径并不保证全局探索；相反，它提供了一种连贯的机制，用以检测当前的轨迹是否未能建立全局探索，从而防止过度自信的推断。该工作已在 BlackJAX 库中实现，为这些自适应策略提供了一个可组合的推理框架。