Predictive Inference via Kernel Density Estimates

技术摘要：基于核密度估计的预测推断

问题陈述
本文探讨了非参数统计与贝叶斯预测推断的交叉领域。具体而言，它研究了核密度估计（KDE）及其递归变体是否能在贝叶斯框架内得到严格解释。在该框架中，数据通过指定一系列预测规则 $P(X_{n+1} | X_{1:n})$ 进行建模，使得预测测度序列几乎必然弱收敛于一个极限随机测度 $P$。如果这种收敛成立，则该极限测度可作为贝叶斯分析的后验分布。虽然在此背景下已对经验分布和测度值 Pólya 序列进行了研究，但基于核的预测规则（特别是经典 KDE 以及 Wolverton 和 Wagner (1969) 引入的递归核估计量）的行为，关于其渐近收敛性及其极限测度的拓扑性质，仍知之甚少。

方法论
作者定义了两个随机过程，基于核 $K$ 和带宽序列 $h_n$ 来模拟数据序列 $X_{1:\infty}$ 和 $\tilde{X}_{1:\infty}$ 的生成：

1. 经典 KDE 过程 ($X_{1:\infty}$)：
   预测规则定义为：
   $$P(X_{n+1} \in B | X_{1:n}) = \frac{1}{n} \sum_{i=1}^n K\left(\frac{B - X_i}{h_n}\right)$$
   这等同于生成模型 $X_{n+1} = X_{M_n} + h_n Y_n$，其中 $M_n$ 从 $\{1, \dots, n\}$ 中均匀选取，且 $Y_n \sim K$。在此，带宽 $h_n$ 在步骤 $n$ 统一应用于所有历史点。

2. 递归核过程 ($\tilde{X}_{1:\infty}$)：
   预测规则遵循递归更新：
   $$\tilde{P}_n(B) = \left(1 - \frac{1}{n}\right)\tilde{P}_{n-1}(B) + \frac{1}{n}K\left(\frac{B - \tilde{X}_n}{h_n}\right)$$
   生成模型为 $\tilde{X}_{n+1} = \tilde{X}_{M_n} + h_{M_n} Y_n$。关键在于，在此过程中，与特定历史点 $X_j$ 关联的带宽在其观测时刻 ($h_j$) 即被固定，且永不更新；而在经典 KDE 中，所有点共享当前的带宽 $h_n$。

分析假设 $h_n \leq C n^{-\delta}$（其中 $C, \delta > 0$），并要求核分布 $K$ 具有有限的矩。证明利用了鞅收敛定理、特征函数和紧性论证。

主要贡献与结果

1. 几乎必然弱收敛：
   本文确立了经典 KDE 过程和递归核过程均几乎必然弱收敛于随机概率测度（分别为 $P$ 和 $\tilde{P}$）。

   • 定理 1 (KDE)： 在条件 $h_n \leq C n^{-\delta}$ 和 $E[\|Y_1\|] < \infty$ 下，预测测度序列 $P_n$ 几乎必然弱收敛于随机测度 $P$。
   • 定理 2 (递归)： 在相同条件下，递归预测测度 $\tilde{P}_n$ 几乎必然弱收敛于随机测度 $\tilde{P}$。
     这些结果证实了两个过程均满足贝叶斯预测推断所需的条件，因为极限测度可被解释为从测度先验中抽取的样本。

2. 极限测度的紧支集（经典 KDE）：
   一个主要且令人惊讶的发现是，只要核 $K$ 具有足够的矩（具体而言，对于某个 $0 < c < \delta$，满足 $E[\|Y_1\|^{1/c}] < \infty$），经典 KDE 过程的极限测度 $P$ 几乎必然支撑在一个随机紧集上。

   • 证明涉及使用 Pólya 瓮模型分析数据点的“谱系”，以界定任何初始点的后代数量。通过证明序列中任意点的最大距离几乎必然有界，作者展示了极限测度的支集是紧的。
   • 即使对于重尾核（例如 $t_7$ 分布），只要带宽适当衰减，该结论依然成立。

3. 极限测度的非紧支集（递归过程）：
   相比之下，递归过程的极限测度 $\tilde{P}$ 并非几乎必然具有紧支集。

   • 作者使用一个具体示例证明了这一点，其中 $K$ 是标准正态变量的绝对值。由于递归性质，较旧的点保留了其原始（较大）的带宽，这使得过程允许无界的游荡。利用 Borel-Cantelli 引理和 Pólya 瓮的性质，证明了 $\sup_n \|\tilde{X}_n\| = \infty$ 几乎必然成立，这意味着极限测度具有非紧支集。

意义与主张
本文声称开启了核密度估计新贝叶斯解释的大门。通过证明这些过程的弱收敛，作者验证了标准 KDE 和递归核规则作为贝叶斯范式内有效预测规则的适用性，特别是满足了条件同分布（CID）属性或其渐近等价形式。

最重要的理论贡献是对极限测度拓扑支集的刻画。关于经典 KDE 过程产生紧支集极限的发现被描述为“令人惊讶”，特别是因为它与递归估计量的行为形成对比，并表明经典 KDE 隐式地假设了底层分布存在紧支集，即使在使用重尾核时也是如此。这为已知性质（即狄利克雷过程混合模型比其基础测度具有更轻的尾部）提供了更强的类比。

该工作并未提出新的应用或实验方案，而是提供了将这些非参数估计量视为贝叶斯先验所必需的理论基础（收敛性和支集性质）。