Entropic analogues of Grünbaum's inequality

技术摘要：Grunbaum 不等式的熵类比

问题陈述
本文研究了经典 Grunbaum 不等式在熵意义下的类比是否存在。经典的 Grunbaum 不等式断言，对于 $\mathbb{R}^n$ 中的凸体 $K$，任何包含 $K$ 重心的半空间 $H^+$ 所截取的体积至少为 $1/e$。其泛函对应形式指出，对于任何对数凹随机变量 $X$，$P(X \geq \mathbb{E}X) \geq 1/e$，当且仅当 $X$ 服从指数分布时取等号。

受“熵与体积之类比”以及熵方法在凸几何中日益增长的作用的启发，作者探讨了对数凹分布的熵在受到半空间限制时的行为。具体而言，他们试图建立关于对数凹随机变量 $X$ 的熵与其截断后的条件熵 $X|X \in H^+$ 和 $X|X \in H^-$ 之间的不等式关系。

研究方法
作者结合了信息论恒等式、凸分析和优化技术：

1. 信息论分解： 证明利用了将变量的微分熵与条件分布的熵以及截断概率的二元熵联系起来的恒等式：$h(X) = p_+ h(X_+) + p_- h(X_-) + H_2(p_+)$。
2. 单调性与刚性： 对于上界结果，作者确立了 Rényi 熵在对数凹密度进行单侧截断时是非增的。这依赖于一个关于比较不等式 $\log \|g\|_\infty \leq 1 + \int g \log g$ 的刚性结果，该结果将等号情况刻画为特定的单侧或非对称双指数族。
3. 约束熵最小化： 对于下界（反向不等式）结果，由于要求截断点必须为均值，作者开发了一种针对 $\mathbb{R}^+$ 上对数凹密度的全新约束熵最小化结果。
   • 他们利用“自由度”方法将潜在最小化者的类别缩减为最多在三个区间上为对数仿射的密度。
   • 他们应用 Fritz–John 平稳条件（KKT 型优化）来证明任何局部极小值实际上必须在单个区间上是对数仿射的（单部分对数仿射）。
   • 这使得可以直接验证由此产生的指数或分段指数形式。
4. 反例： 为了处理高维扩展问题，作者利用乘积测度和中心极限定理构造了特定的反例，以证明在没有加性维度常数的情况下，直接的维度推广会失效。

主要贡献与结果

1. 上界（截断不等式）
作者证明了对于 $\mathbb{R}$ 上的对数凹随机变量 $X$，Rényi 熵在单侧截断下不会增加。

• 定理 1： 对于任何 $m \in \mathbb{R}$，$h_\alpha(X | X \leq m) \leq h_\alpha(X)$。
• 等号刻画： 当且仅当 $X$ 的支撑集包含在 $(-\infty, m]$ 中，或者 $X$ 在 $(-\infty, M]$ 上服从指数分布（其中 $M \geq m$）时，等号成立。
• 推论： 这意味着函数 $t \mapsto h_\alpha(X | X \leq t)$ 是非减的，而 $t \mapsto h_\alpha(X | X \geq t)$ 是非增的。

2. 下界（反向 Grunbaum 不等式）
作者在假设截断发生在均值处（$\mathbb{E}X = 0$）的情况下，建立了微分熵（$\alpha=1$）和极值熵（$\alpha=\infty$）的锐利反向不等式。

• 定理 2： 令 $X$ 为中心化的对数凹随机变量。
  • 微分熵： $h(X | X \leq 0) \geq h(X) - C_1$，其中 $C_1 = \frac{e}{e-1}H_2(1/e)$。当且仅当 $X$ 在 $[1/\lambda, \infty)$ 上服从中心化指数分布（其中 $\lambda < 0$）时，等号成立。
  • 极值熵： $h_\infty(X | X \leq 0) \geq h_\infty(X) - C_\infty$，其中 $C_\infty = \log(1+\sqrt{2})$。当且仅当密度在有限区间 $[0, a]$ 上为常数，并在 $(-\infty, 0]$ 上为指数分布时，等号成立。
• 极值者的显著性： 极值者随熵阶的变化而不同。微分熵的极值者是镜像指数分布，而极值熵的极值者是分段对数仿射函数（一侧为常数，另一侧为指数分布）。

3. 高维障碍
论文表明，如果不进行修改，这些结果无法直接推广到 $\mathbb{R}^n$：

• 中心化必要性： 一个二维空间的反例表明，若截断超平面不经过重心，则极值熵不等式会失效。
• 维度常数： 通过对乘积指数分布进行中心极限定理论证，作者表明对于大维度 $n$，差值 $h(X_+) - h(X)$ 以 $\sqrt{n}$ 的速度增长。因此，任何反向不等式的维度扩展都需要一个阶数为 $\Omega(\sqrt{n})$ 的加性常数 $C_n$。

意义与主张
本文声称提供了首个具有完整等号情况刻画的 Grunbaum 不等式的熵类比。

• 锐利性： 常数 $C_1$ 和 $C_\infty$ 被证明是锐利的，并且实现了等号的具体分布已被完全识别。
• 理论桥梁： 该工作将几何 Grunbaum 不等式与信息论联系起来，强化了体积与熵之间的类比。
• 新不等式： 下界证明依赖于关于具有固定均值和边界斜率约束的 $\mathbb{R}^+$ 上对数凹密度的全新不等式（命题 17）。作者指出，关于微分熵与极值熵之间比较的等号情况刻画（命题 10）可能具有独立的研究价值。
• 可靠性联系： 作者观察到，其结果意味着一维对数凹分布具有“剩余寿命的不确定性递减”性质，这是可靠性工程中曾研究过的属性。

论文最后提出了关于高维最优常数 $c_n, C_n$ 以及在不同法向量的超平面条件下进行条件化时熵的行为等开放性问题，并暗示乘积指数密度可能是高维情况下的相关极值者。