🧬 biology

An Entropy-based Coefficient of Determination with Adjustment of Optimization Bias

本文引入了一种基于熵的决定系数（ $R^2$ ），该系数利用熵方差提供了一种与尺度无关且与分布无关的模型拟合度量，为那些受样本量膨胀和坐标尺度依赖影响的经典指标提供了一种稳健的替代方案，同时显著降低了变量选择中的伪发现率。

原作者： Longhai Li

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Longhai Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你是一名正在试图破解谜题的侦探，但你有一个非常棘手的工具：一个随着你发现的线索越多就变得越来越大的放大镜。在统计学的世界里，这个工具就是“样本量”。通常情况下，拥有更多的数据是一件好事——它能帮助我们更清晰地看到真相。但在科学研究的世界里，这个放大镜出了故障。如果你观察一大堆数据，即使是最微不足道的、毫无意义的尘埃，也会看起来像是一个巨大的、发光的异形遗物。这就是“统计显著性危机”。科学家们发现了一些具有“统计显著性”（意味着它们绝非随机噪声）的事物，但在现实生活中却微小到根本无关紧要。这就像是被告知你赢得了一个奖品，结果却发现奖品只是一粒沙子。

为了解决这个问题，研究人员通常试图测量效应的“大小”，而不仅仅是它的存在。他们想知道：“这个线索真的有用吗，还是仅仅是一个微小的尘埃？”最著名的工具被称为 $R^2$ （R平方）。把 $R^2$ 想象成一张计分卡，它告诉你你的模型解决了多少谜题。如果你的得分是 100%，你就破案了。如果得分是 0%，你就是在瞎猜。但问题在于，旧的计分卡是为简单的、直线型的谜题设计的。当科学家开始将它们用于复杂的、曲线型的或形状怪异的数据（比如我们肠道中的细菌模式）时，这些计分卡就失效了。它们会给出负数，或者仅仅因为你改变了测量单位（比如从英寸切换到厘米）就会发生变化。这就像一把尺子，无论你用左手还是右手拿着，测出的长度都不一样。

这篇论文介绍了一种全新的、超级智能的计分卡，叫做基于熵的决定系数（或称为 EV- $R^2$ ）。作者 Longhai Li 意识到，与其像传统尺子那样测量数据的“离散度”，我们应该测量信息本身的“体积”。想象一下，你的数据是一团气体云。旧的方法试图通过观察云的平均高度来测量云；而这种新方法测量的是这团云实际占据的空间。如果你的模型很好，它会将那团云挤压成一个微小且致密的球体。如果你的模型很差，云就会保持巨大且蓬松的状态。这种新计分卡（作者称之为 $R^2_{SV}$ 和 $R^2_{SVP}$ ）非常特别，因为它不在乎你使用什么单位，并且内置了一个“测谎仪”，可以阻止你对虚假线索感到兴奋。

论文发现，这种新方法在挑选模型中正确的变量方面是一个游戏规则的改变者。在一系列计算机模拟中，作者将这种新计分卡与旧的方法进行了对比测试。当他们在包含大量噪声的大规模数据集上使用旧方法时，“测谎仪”失效了，模型不断添加无用的变量，并认为它们很重要。其错误发现率（即模型选中虚假线索的百分比）高达 80%。但当他们使用新的 EV- $R^2$ 计分卡时，该比例骤降至仅为 6%，同时仍保留了真实且重要的线索。这就像是从一个什么闪光物体都抓起来的侦探，换成了一个只捡起那些真正能破案之物的侦探。

论文还将此应用于一个现实世界的谜题：帕金森病以及生活在我们肠道中的细菌。当研究人员使用旧的“内部”方法（即使用同一组数据来寻找线索并进行检查）时，他们发现了大约 20 个细菌线索，并声称该模型解释了 81% 的谜题。这听起来非常惊人，但很可能是由于数据自我欺骗而产生的幻象。然而，当他们使用带有严格“数据拆分”规则的新方法（使用一组完全不同的数据来检查发现的线索）时，模型缩减到了仅有的 4 个关键细菌线索。新计分卡给出了一个更为真实的解释度：34%。这表明旧方法过于自信，而新方法提供了一个更加诚实、脚踏实地的答案。

作者对这种新计分卡的数学原理非常有信心。他们并非凭空猜测；他们证明了这种新的测量方式遵循一种特定的、可预测的模式（F 分布），这使得他们能够计算出精确的概率和置信区间。他们展示了这种新方法在处理简单的线性模型时表现完美（恢复了经典结果），同时也修复了复杂非线性模型的损坏计分卡问题。他们还证明了，与旧方法不同，即使你改变测量数据的方式（比如从摄氏度切换到华氏度），这个新计分卡依然保持不变，这对于确保科学家们是在进行“苹果对苹果”的公平比较方面具有重大意义。

简而言之，这篇论文提供了一种更诚实的方法，用来衡量一个模型对世界的解释程度。它阻止了我们被那些让微小事物看起来巨大的海量数据集所愚弄，并帮助我们在复杂的微生物组数据中找到真实的、有意义的模式。它不仅仅是一个新公式；它是一种关于“解决”统计谜题的新思维方式，确保当我们说我们发现了一项突破时，我们指的确实是真正的突破。

技术摘要：一种基于熵的决定系数及其优化偏差修正

问题陈述
本文探讨了应用研究中的“统计显著性危机”，即经典的似然比检验（LRT）和信息准则（如 $\Delta$ AIC）会随着样本量的增加而缩放，导致在大型数据集中将微不足道的改进误判为高度显著。虽然因果估计量（如平均处理效应 ATE）试图量化实际幅度，但它们依赖于期望算子（ $\mathbb{E}$ ），这使其受限于原始数据的坐标尺度，并易受非线性变换的影响。

现有的伪 $R^2$ 指标未能充分解决这些问题：

基于方差的度量（如 Efron 的 $R^2$ 、Gelman 的 $R^2$ ）忽略了高阶分布层面的改进（如异方差性、重尾分布），且缺乏对单调变换的不变性。
基于熵的度量（如 McFadden 的 $R^2$ 、Cox & Snell 的 $R^2$ ）在连续域中遭遇几何悖论。微分熵在下界是无界的，导致这些指标可能违反 $[0, 1]$ 范围限制，或者由于交叉熵的线性比例对引入单位变化的加性常数敏感，从而缺乏尺度不变性。
优化偏差： 标准估计量通常受到训练乐观主义（过拟合）的影响，且现有框架缺乏严谨的有限样本推断机制（例如 $p$ 值、置信区间），而这些机制无需依赖难以计算的 Fisher 信息矩阵。

方法论
作者提出了一个基于**熵方差（Entropic Variance, EV）**的框架，其定义为两次指数化的交叉熵（ $v = \exp(2h)$ ）。作者认为，EV 而非熵本身，为正则参数族提供了对普通最小二乘法（OLS）残差方差的严谨推广。

总体定义：
- 熵方差 ( $\nu^*$ )： 定义为全群体中个体 EV 的几何平均值。
- 总体效应量 ( $\rho^2_V$ )： 受限模型 ( $\mathcal{M}_0$ ) 与全模型 ( $\mathcal{M}_1$ ) 之间 EV 的比例缩减： $\rho^2_V = 1 - \nu^*_1 / \nu^*_0$ 。
- 标准化 ( $\rho^2_{SV}$ )： 对于离散结果，应用校正因子以确保该指标即使在零模型熵较低时也能跨越 $[0, 1]$ 区间。
几何解释：
- 本文确立了 $\rho^2_V$ 代表了有效状态平方数（对于离散数据）或核体积平方几何平均值（对于连续数据）的比例缩减。
- 至关重要的是， $\rho^2_V$ 对响应变量的严格单调变换具有严格不变性，这一特性是方差度量或标准熵度量所不具备的。
估计量与偏差修正：
- $R^2_V$ ： 通过应用自由度惩罚 ( $n-p$ ) 来修正有限样本训练乐观主义的经验 EV 估计量，类似于 OLS 中的无偏方差估计量。
- $R^2_{SVP}$ ： 一种样本外预测估计量，通过应用平方复杂度惩罚来同时应对训练缩减（deflation）和预测膨胀（inflation）。
推断框架：
- 作者推导了经验熵方差信噪比（EV-SNR）的分布。
- 他们确立了统计量 $F_V = \frac{n-p_1}{k} \hat{SNR}_V$ 渐近服从非中心 $F$ 分布（ $F_{k, n-p_1}(\lambda_V)$ ），其中 $k$ 是参数数量之差。
- 这使得无需复杂的 Fisher 信息矩阵推导即可计算精细的 $p$ 值和 $\rho^2_V$ 的连续置信区间。

关键结果

理论统一： 本文证明了当应用于高斯线性模型时，EV 框架能精确还原经典的 OLS 理论（恢复了 RSS、调整后的 $R^2$ 以及 ANOVA $F$ 检验）。
模拟研究：
- 在逻辑回归模拟中，提出的 $F_V$ 检验与传统的 $\chi^2$ 和马氏距离（ $F_{MD}$ ）检验相比，表现出显著更低的第一类错误率。
- 使用 $R^2_{SVP}$ （设定阈值为 $\ge 0.05$ ）进行变量选择时，在保持高召回率的同时，将错误发现率（FDR）从标准 LASSO-CV 的 80% 大幅降低至 6%。
- 估计量展现了稳健的有限样本特性，其置信区间达到了名义覆盖率。
现实应用（帕金森病微生物组）：
- 应用于肠道微生物组数据集（ $n=328$ ），该方法采用了严格的数据拆分策略，将变量排序（LASSO）与评估分离。
- 该方法识别出一个具有生物学解释性的模型，仅包含四个预测因子（包括 Roseburia、Lactobacillus、Bacteroidales 以及年龄-性别交互项），并实现了 34% 的现实样本外 $R^2_{SV}$ 。
- 相比之下，内部评估（使用相同数据进行选择和评估）产生了 81% 的膨胀 $R^2_{SV}$ 且包含约 20 个预测因子，这说明了优化偏差的严重性。

意义与主张
本文声称通过从原始熵转向熵方差，解决了定义普适性预测效应量时长期存在的悖论。其主要贡献在于：

尺度无关性： 提供了一种无量纲的效应量度量，该度量对单调变换具有不变性，不同于基于方差或标准熵的度量。
推断严谨性： 建立了基于 $F_V$ 分布的统一推断机制，能够在无需复杂解析推导的情况下，为一般正则参数族提供精确的 $p$ 值和置信区间。
实用价值： 证明了通过预测效应量（ $R^2_{SVP}$ ）而非统计显著性或未惩罚的信息准则来进行模型评估，可以实现更优的变量选择，在高维设置中显著减少错误发现。

作者将这项工作定位为连接抽象信息论与实际模型评估的桥梁，提供了一个基于实际预测效用而非仅仅是统计可检测性的稳健变量选择准则。作者指出，未来仍需研究如何将该框架推广到奇异似然（例如，贝叶斯推断、带有预筛选的惩罚回归），在这些场景下，简单的参数计数（ $p$ ）可能不再适用。

技术摘要：一种基于熵的决定系数及其优化偏差修正

类似论文