Moving Least Squares without Quasi-Uniformity: A Stochastic Approach

技术摘要：非拟均匀性下的移动最小二乘法：一种随机化方法

问题陈述
局部多项式回归（LPR）与移动最小二乘法（MLS）在代数上是等价的非参数方法，但它们是在不同的理论框架下演进的。根植于统计学的 LPR 分析在随机采样假设下的收敛性，侧重于处理观测噪声。相反，从数值分析领域发展的 MLS 则依赖于确定性采样假设，即拟均匀性（quasi-uniformity），即填充距离（$h_n$）与分离距离（$\delta_n$）在常数因子范围内是可比的。

本研究解决的核心问题是：当应用于随机采样时，经典 MLS 理论的失效。在独立同分布（i.i.d.）随机采样下，拟均匀性假设无法成立：随机点倾向于形成密集的局部簇，导致分离距离的衰减速率与填充距离不同。这种几何不稳定性威胁着局部设计矩阵的可逆性以及经典收敛证明的有效性。虽然近期的研究表明随机点在 Sobolev 空间逼近方面可能是渐近最优的，但仍缺乏严谨的随机分析来证明 MLS 在随机采样下仍能保持其经典的导数逼近和光滑性性质。

方法论
作者采用了一种纯粹的无噪声逼近框架，其中随机性仅源于样本点的空间布局。该方法论分为三个阶段进行：

1. 几何特征的概率表征： 作者首先量化了在满足内锥条件的定义域上，从“行为良好”的分布（远离零和无穷大）中提取的 i.i.d. 样本的填充距离（$h_n$）和分离距离（$\delta_n$）的渐近行为。他们证明了在概率意义下，$h_n \propto n^{-1/d} \log^{1/d}(n)$ 且 $\delta_n \propto n^{-2/d}$，从而证实了 $h_n$ 与 $\delta_n$ 不可比，由此违反了拟均匀性。
2. 随机稳定性分析： 为了克服缺乏拟均匀性的问题，作者借鉴并改进了 Mirzaei [8] 和 Levin [6] 的确定性证明。他们引入了一个高概率事件 $E_I$，确保在半径与 $h_n$ 成比例的局部邻域内的样本数量随 $n$ 呈对数增长（具体为 $\Theta(\log n)$）。在此事件下，他们证明了归一化 Gram 矩阵（经验加权协方差矩阵）以高概率保持正定且良态。
3. 导数与光滑性界限： 利用 Gram 矩阵及其逆矩阵的稳定性，作者推导了 MLS 形函数导数的概率界限。他们利用 Bernstein 不等式和并集界（union bounds）来控制经验矩阵与其理论对应物之间的偏差。

核心贡献与结果

• 定理 1（几何速率）： 本文证明了对于 i.i.d. 样本，填充距离的衰减速度为 $O_P(n^{-1/d} \log^{1/d} n)$，而分离距离的衰减速度为 $\Omega_P(n^{-2/d})$。这从严谨角度证明了随机设置下拟均匀性条件的失效。
• 定理 2（导数的随机收敛性）： 主要贡献在于证明了对于函数 $f \in C^k$，使用 MLS 逼近阶数为 $m < k$ 的线性微分算子 $Q$ 时，其误差以高概率按 $h_n^{k-m}$ 速率衰减。具体而言，误差超过 $K h_n^{k-m}$ 的概率随 $n \to \infty$ 而趋于零。这建立了经典确定性收敛率在随机设置下的随机模拟。
• 定理 3（局部光滑性）： 作者证明了 MLS 近似器以高概率具有局部 $C^k$ 光滑性。具体而言，在半径 $\delta_0 \asymp h_n$ 的球体上，近似器继承了权重函数的光滑性。这一结果基于以下事实：虽然归一化的 Gram 矩阵涉及不连续的样本计数，但未归一化的 Gram 矩阵随评估点平滑变化，从而确保了形函数在局部的可逆性与光滑性。
• 解决拟均匀性瓶颈： 研究表明，只要样本密度足够（局部邻域内呈对数增长），局部设计矩阵的代数稳定性在随机采样下得以保持。这使得将确定性导数逼近结果扩展到纯随机配置成为可能。

意义与主张
本文声称提供了首次统一的 MLS 随机分析。其重要性在于弥合了 LPR 的统计传统与 MLS 的数值分析传统之间的鸿沟。作者证明了经典的收敛速率和光滑性性质并非确定性、拟均匀采样的产物，而是在自然的概率模型下依然存在。

至关重要的是，作者通过关注 MLS 近似器（定义在整个定义域上的单个函数）的函数行为，而非点对点估计，将其工作与标准的统计 LPR 分析区分开来。这是应用于求解偏微分方程（PDE）等无网格方法的关键前提，因为这些方法要求近似器具有全局光滑性和可微性。

本文对于光滑性的范围描述较为审慎：它建立了基于填充距离缩放球体的局部光滑性。作者明确指出，若要实现全局光滑性陈述，则需要扩大带宽，但这会降低逼近精度。由于本文设定为无噪声环境，这种精度下降代表了真实的精度损失，不同于在有噪声设置中噪声底限可能会吸收这种权衡。因此，他们保留了精确的局部结果。

最后，作者指出这些结果为未来向随机流形移动最小二乘法（MMLS）的扩展奠定了基础，即针对从未知黎曼流形中采样的数据，该课题将在配套研究中讨论。