Finite-Sample Bias Correction for Plug-in Estimators of Extropy, Rényi Extropy, and Tsallis Extropy

技术摘要：插值估计量中外熵度量的有限样本偏差修正

问题陈述
本文研究了当应用于有限支撑离散随机变量时，香农（Shannon）、瑞尼（Rényi）和达利斯（Tsallis）外熵（extropies）的插值估计量所固有的有限样本偏差问题。外熵作为熵的补充度量——用于量化与事件不发生相关的确定性，并证明其对分布尾部具有敏感性——标准的插值估计量在有限样本中已知存在偏差。这种偏差会显著降低估计精度，特别是在样本量 $n$、支撑集大小 $r$ 处于中等水平，或参数 $\alpha$（在瑞尼和达利斯外熵中）偏离 1 的情况下。现有的缓解偏差的方法，如基于核函数的法、贝叶斯技术和自助重采样法（bootstrap resampling），通常面临计算强度大、对调节参数敏感或难以应用于离散数据等问题。

方法论
作者采用了解析偏差修正法。核心方法论包括：

1. 中间泛函分析： 研究聚焦于中间泛函 $S_\alpha(p) = \sum_{i=1}^r (1-p_i)^\alpha$，该泛函是定义瑞尼和达利斯外熵的核心。
2. 泰勒展开： 通过对函数 $\phi(t) = (1-t)^\alpha$ 在真实概率 $p_i$ 处进行二阶泰勒展开，作者推导出了经验估计量 $\hat{S}_\alpha$ 的显式一阶偏差公式。
3. 偏差传播： 利用推导出的 $\hat{S}_\alpha$ 的偏差，作者解析地推导出了香农、瑞尼和达利斯外熵插值估计量的一阶偏差（$O(1/n)$）。
4. 修正构造： 通过从原始插值估计量中减去估计的偏差项，构造出显式的偏差修正估计量。
5. 渐近分析： 本文证明了修正后的估计量与未修正估计量之间的差异为 $O(1/n)$ 阶，从而确立了它们的渐近等价性。

主要贡献
本文提供了以下具体的理论与实践贡献：

• 显式偏差公式： 推导了以下指标的闭式一阶偏差表达式（$O(1/n)$）：
  • 香农外熵： 发现其偏差为 $-1/(2n)$，与特定的概率分布 $p$ 无关。
  • 达利斯外熵： 偏差取决于 $\alpha$ 和概率，具体为 $-\frac{\alpha}{2n} \sum p_i(1-p_i)^{\alpha-1}$。
  • 瑞尼外熵： 一个涉及变换后概率的一阶矩、二阶矩以及泛函 $S_\alpha$ 的复杂偏差项。
• 偏差修正估计量： 提出了包含这些偏差项的特定估计量，以提高有限样本下的精度。
• 渐近等价性证明： 严格证明了修正后的估计量与未修正的估计量仅相差 $O(1/n)$ 阶项，这意味着它们具有相同的渐近性质（一致性和渐近正态性）。
• 模拟验证： 通过在各种样本量（$n=10$ 至 $2000$）和参数（$\alpha=0.5, 3$）下的综合模拟研究（$M=1000$ 次重复实验），验证了理论偏差公式，并证实了修正后的估计量在适中样本量下明显优于未修正的估计量。

结果

• 有限样本性能： 模拟结果证实，对于有限的 $n$，未修正的插值估计量系统性地低估了真实的外熵值（负偏差）。偏差修正估计量有效地消除了这一领先偏差项，使得即使在小到中等样本量下，偏差也微乎其微。
• 渐近行为： 当 $n \to \infty$ 时，未修正估计量的偏差以 $1/n$ 的速率消失，且修正后与未修正估计量的标准差均以 $1/\sqrt{n}$ 的速率衰减。因此，在渐近状态下，两者的均方根误差（RMSE）和估计量极限是相同的。
• 参数敏感性： 研究表明，有限样本偏差的大小取决于 $\alpha$。$\alpha = 0.5$（强调稀有事件）的估计量比 $\alpha = 3$（强调主导事件）的估计量表现出更大的偏差，但修正方法在两种情况下均保持有效。

意义与主张
本文声称其主要意义在于为在渐近设置（如涉及几乎处处收敛和渐近正态性的设置）中使用更简单的、未修正的插值估计量提供了理论依据，正如配套论文 [1] 中所展示的那样。作者认为，由于修正版本与未修正版本在渐近意义上是等价的，因此在进行大样本理论分析时，较简单的未修正估计量是足够的。

然而，对于涉及中等样本量的实际应用，本文主张使用所提出的偏差修正估计量以确保更高的精度。研究强调，解析方法提供了一种相比于自助法或贝叶斯方法等更复杂的偏差缩减技术而言，更具计算效率、可解释性且无需参数的替代方案。研究最后指出，未来的研究方向包括将这些结果扩展到可数无限字母表，以及开发基于自助法的方差估计量。