Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator

技术摘要：最大似然估计量的次高斯集中性与熵正态性

问题定义
本文研究了基于从密度函数 $f(x|\theta)$ 中抽取的独立同分布样本 $X_1, \dots, X_n$，对参数 $\theta \in \Theta \subset \mathbb{R}$ 的最大似然估计量（MLE）的渐近行为。研究的主要对象是归一化估计误差 $Z_n = \sqrt{n}(\hat{\theta}_n - \theta_0)$，其中 $\hat{\theta}_n$ 为最大似然估计量，$\theta_0$ 为真实参数。

虽然经典统计理论确立了在标准正则性条件下 $Z_n$ 依分布收敛于标准高斯随机变量 $Z \sim \mathcal{N}(0,1)$，但本文旨在加强这一结果。具体而言，作者试图将依分布收敛提升为更强的收敛模式，包括矩收敛和相对熵（Kullback-Leibler 散度）收敛。

方法论与假设
作者采用矩方法结合熵控制论证，而非依赖通常用于独立变量和的卷积或熵单调性方法（由于 MLE 对数据的非线性依赖，这些方法不直接适用于 MLE）。

为了获得这些更强的结果，本文在标准 MLE 假设之外引入了三个特定的正则性条件：

1. 次高斯拉普拉斯包络（假设 1）：对数似然差被一个次高斯随机变量 $H(X)$ 乘以参数差所界定。这确保了指数一致性并控制了得分函数的尾部行为。
2. 得分导数的次指数控制（假设 2）：得分函数的导数满足由次指数随机变量 $\bar{H}(X)$ 控制的 Lipschitz 条件。该假设对于建立高阶矩界和控制似然函数的二阶泰勒展开至关重要。
3. 估计量密度的光滑性（假设 3）：为了消除主要熵结果所需的平滑步骤，本文假设 $Z_n$ 密度的 Fisher 信息一致有界，或者密度的一阶导数一致有界。这排除了奇异行为，例如参数空间边界上的离散原子，否则会导致相对熵为无穷大。

主要贡献与结果
本文建立了三个主要定理：

1. 次高斯集中性与矩收敛（定理 1）：在假设 1 和假设 2 下，证明了归一化误差 $Z_n$ 是 $O(1)$ 次高斯的。因此，本文证明了 $Z_n$ 的所有矩收敛于极限高斯分布的相应矩（对于所有 $m \ge 1$，$E|Z_n|^m \to E|Z|^m$）。这是对经典中心极限定理（CLT）的重要加强，后者仅保证依分布收敛。

2. 平滑估计量的熵中心极限定理（定理 2）：作者证明了估计量的平滑版本 $\tilde{Z}_n = \sqrt{1-\epsilon}Z_n + \sqrt{\epsilon}Z$（其中 $Z$ 是独立的标准正态变量）依相对熵收敛于高斯极限。即 $\lim_{n \to \infty} D(\tilde{Z}_n \| Z) = 0$。该结果在假设 1 和假设 2 下成立。平滑是必要的，因为原始 MLE 可能会将概率质量置于紧致参数空间的边界上，导致其分布相对于高斯极限不是绝对连续的。

3. MLE 的熵正态性（推论 1）：通过引入假设 3（有界 Fisher 信息或有界密度导数），作者证明了可以去除平滑参数 $\epsilon$。这得出了主要结果：未平滑的 MLE 误差 $Z_n$ 本身依相对熵收敛于标准高斯分布，即 $\lim_{n \to \infty} D(Z_n \| Z) = 0$。

意义与范围
本文声称，相对熵收敛是一种比依分布收敛强得多的收敛模式。根据 Pinsker 不等式，它意味着总变差距离的收敛；根据 Talagrand 不等式，它意味着 Wasserstein 距离的收敛。

作者指出，虽然样本均值和中心次序统计量的熵中心极限定理已为人所知，但将这些结果扩展到 MLE 并非易事，因为 MLE 通常不是独立变量的和。本文提供了一个框架，用于为广泛的统计模型建立熵正态性，包括指数族之外的模型（例如具有未知尺度的 Pearson Type IV、Logistic 和 Cauchy 模型），前提是得分函数及其导数满足指定的有界性和尾部条件。

这项工作区别于学习理论中关于 MLE 的先前文献，后者通常关注由估计参数和真实参数在样本空间上诱导的分布之间的 KL 散度。相比之下，本文关注估计量本身的分布向高斯律的收敛。证明依赖于辅助工具，包括指数一致性界和高阶矩估计，作者认为这些工具本身可能具有独立的兴趣。