Entropy concavity for log-concave random variables: an asymmetric counterexample

技术摘要：对数凹随机变量的熵凹性

问题陈述
本文探讨了 Ball-Nayar-Tkocz 熵凹性猜想。该猜想认为，对于具有共同对数凹密度（log-concave density）的独立同分布（i.i.d.）实随机变量 $X$ 和 $Y$，其加权和的微分熵为：
$$F(t) = h\left(\sqrt{1-t}X + \sqrt{t}Y\right), \quad 0 \le t \le 1,$$
是关于权重参数 $t$ 的凹函数。虽然该猜想对于对称密度以及诸如高斯尺度混合（Gaussian scale mixtures）等特定类别的密度成立，但其对于一般非对称对数凹密度的有效性仍是一个开放问题。本文研究了对称性假设对于该猜想是否为必要。

方法论
作者通过对标准高斯密度的扰动构造了一个特定的反例。该方法论依赖于以下步骤：

1. 密度构造： 定义了一个严格正的、光滑的概率密度 $f$，它是标准高斯密度 $\phi(x)$ 的一个扰动：
   $$f(x) = \phi(x)\left(1 + \varepsilon u(x) + \varepsilon^2 v(x)\right),$$
   其中 $\varepsilon = 10^{-24}$ 是一个微小参数。扰动函数 $u(x)$ 和 $v(x)$ 使用经过缩放的高斯因子形式的概率论者埃尔米特多项式（Hermite polynomials, $H_3, H_4, H_5$）构造而成。具体而言，$u$ 结合了四次和五次项，而 $v$ 则利用了三次项。
2. 矩与得分分析： 该构造旨在满足特定的矩约束：
   • 密度是以零为中心且方差为 1。
   • 三阶中心矩 $\mu_3 = \int x^3 f(x) dx$ 通过二阶扰动 $v$ 被设定为严格正值（$\mu_3 > 0$）。
   • 得分函数（score function）的三阶矩 $J_3 = \int f(x) \rho(x)^3 dx$ 被操纵为负值（$J_3 < 0$）。这是通过 $u$ 的偶部与奇部之间的交叉项相互作用实现的，这种相互作用确保了 $J_3$ 中 $\varepsilon^2$ 项的系数为负，并主导了更高阶的余项。
3. 端点展开： 本文建立了熵函数 $F(t)$ 在 $t \to 0$ 时的二阶导数的渐近展开。通过分析在变量代换 $s = \sqrt{t}$ 下熵的泰勒展开，作者推导出了如下奇异行为：
   $$F''(t) = -\frac{\mu_3 J_3}{16\sqrt{t}} + O(1), \quad t \downarrow 0.$$
4. 严格界限： 为了确保反例的有效性，论文提供了扰动函数及其导数的显式一致界限。这些界限验证了所构造的密度保持严格对数凹性（具体而言，$(\log f)'' < -1/2$），并且 $F''(t)$ 的符号由足够小的 $t$ 时的主导奇异项决定。

关键结果

• 对一般猜想的证伪： 所构造的密度 $f$ 是严格对数凹的，具有均值零和方差一，并且产生一个在端点 $t=0$ 附近（根据问题的对称性，在 $t=1$ 附近也是如此）严格凸的函数 $F(t)$。这通过证明对于 $0 < t < \delta$，有 $F''(t) > 0$ 来演示。
• 端点曲率公式： 本文证明了对于一类高斯扰动密度，熵函数的端点曲率受三阶中心矩与得分函数三阶矩乘积的控制：
  $$F''(t) \sim -\frac{\mu_3 J_3}{16\sqrt{t}}.$$
  曲率的符号由 $-\mu_3 J_3$ 的符号决定。
• 不对称性的作用： 该反例完全依赖于密度的不对称性。对于对称密度，$\mu_3$ 和 $J_3$ 均消失，导致奇异项消失。因此，在这种情况下，凹性的失效是由源于不对称性的 Edgeworth 型展开中的三次项驱动的。

意义与主张
本文声称在缺乏额外对称性假设的情况下，证伪了 Ball-Nayar-Tkocz 熵凹性猜想。所构造的反例属于强对数凹密度类，这表明即使是强对数凹性也不足以保证非对称变量的熵凹性。

作者明确指出，该反例并未解决在加入对称性假设时该猜想的情况；对称对数凹密度的行为仍然是一个开放问题。此外，虽然该示例确立了端点附近的局部凸性，但并未解决对于非对称密度，$F(t)$ 的全局最大值是否出现在中点 $t=1/2$ 处的问题。这项工作强调了高阶矩（特别是三阶矩）和得分函数在卷积下熵的曲率判定中的关键作用。