📊 statistics

Statistical Compatibility, Refutational Information, and Acceptability

本文构建了一个描述性频率主义解释框架，将 P 值视为观测结果与模型预测的兼容性指标而非逻辑矛盾的证据，并主张实际推断应超越单纯的数据 - 模型兼容性，结合背景知识、假设合理性及分析师的主观判断等多重因素来综合评估模型的适用性。

原作者： Alessandro Rovetta

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Alessandro Rovetta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章的核心思想可以概括为：统计学中的"P 值”并不是在宣判一个理论“有罪”或“无罪”，它只是在告诉我们，在某个特定的“假设剧本”下，我们观察到的现象有多“不合常理”。

作者 Alessandro Rovetta 认为，我们不应该把统计数字当作绝对的真理判决，而应该把它们看作一种参考信息，最终是否接受这个理论，取决于我们作为“分析师”的综合判断（包括常识、数据质量、后果严重性等）。

为了让你更轻松地理解，我们可以用几个生动的比喻来拆解这篇文章：

1. 统计模型 = “虚构的小世界”

想象你正在玩一个桌游。

规则书（假设 A）：规定了骰子是公平的、硬币是均匀的、没有人在作弊。
目标假设（Hi）：比如“这枚硬币是公平的（正反面概率各 50%）”。
小世界：当你把规则和目标假设结合起来，你就进入了一个“虚构的小世界”。在这个世界里，一切必须按照规则书来运行。

关键点：在这个小世界里，只要规则书没禁止，发生任何事情都是逻辑上可能的。哪怕你连续扔了 10 次正面，在这个“公平硬币”的小世界里，虽然概率极低，但并不是不可能。

2. P 值 = “在这个剧本里，这事儿有多离谱？”

P 值不是告诉你“硬币一定有问题”，它只是在说：

“如果我们要相信‘硬币是公平的’这个剧本，那么连续扔出 10 次正面这种事，发生的概率有多小？”

P 值很大（接近 1）：就像扔硬币扔出了“正反正反”，这很平常，说明数据和剧本很合拍（兼容）。
P 值很小（接近 0）：就像扔硬币扔出了"10 次正面”。这说明在“公平硬币”的剧本里，这事儿太离谱了（不兼容）。

作者的警告：
很多人误以为 P 值小 = “剧本是假的（逻辑矛盾）”。
错！就像在“公平硬币”的剧本里，扔出 10 次正面虽然极度罕见，但逻辑上依然可能发生。P 值小只是说“这事儿很稀奇”，而不是说“剧本彻底崩塌了”。

3. S 值 = “反驳信息的‘比特’数”

为了解决 P 值让人头大（比如 0.04 和 0.01 差别很大，但 0.94 和 0.91 差别很小）的问题，作者引入了 S 值。
你可以把 S 值想象成**“惊讶的刻度尺”**，单位是“比特”（就像电脑里的信息单位）。

比喻：想象你在玩“抛硬币猜正反面”的游戏。
- 如果你连续猜中 1 次，S 值增加 1 比特。
- 如果你连续猜中 10 次，S 值增加 10 比特。
作用：S 值告诉我们，数据提供了多少**“反驳证据”**。
- 如果 S 值很高（比如 10 比特），意味着数据对“硬币是公平的”这个假设提出了强烈的质疑。
- 但这依然不是直接说“硬币一定有问题”，而是说“如果你坚持认为硬币公平，那你得准备好面对巨大的‘惊讶’"。

4. “接受度” = 现实世界的“决策天平”

这是文章最核心的观点：统计数字只是参考，最终决定权在你手里。

想象你是一个法官，手里拿着统计报告（P 值/S 值），但你要做决定（是否接受这个理论）。

统计报告：告诉你“被告（假设）被指控犯错的概率很低”。
现实决策：你需要考虑后果（损失函数）。

举个栗子🌰：

场景 A（低风险）：你在研究一种药会不会让人头痛。
- 统计显示有点“离谱”（S 值中等）。
- 决策：因为头痛后果不严重，你可能觉得“好吧，虽然有点奇怪，但为了安全起见，我们暂时接受这个药有问题”。
场景 B（高风险）：你在研究一种药会不会让人心脏骤停。
- 统计显示有点“离谱”（同样的 S 值）。
- 决策：因为后果太严重，你可能觉得“这点‘离谱’还不够，除非证据铁证如山（S 值极高），否则我绝不轻易下结论说药有问题”。

结论：同样的统计数字，在不同的风险背景和分析师的价值观下，会导致完全不同的决定。统计本身不能告诉你“该怎么做”，它只提供信息。

5. “惊讶”的两种含义

文章还区分了两种“惊讶”：

信息论的惊讶（Shannon Surprise）：就像看到一只蓝色的猫。在普通世界里这很罕见（概率低），所以你很惊讶。但这不代表你从此认为“世界上没有猫了”，只是觉得“这事儿真少见”。
信念的惊讶（Bayesian Surprise）：就像你看到一只蓝色的猫，然后你开始怀疑“难道我以前的世界观全错了？猫其实是蓝色的？”这会改变你的信念。

作者建议：在统计学中，我们主要关注第一种（“这事儿在剧本里多罕见”），而不要急着跳到第二种（“所以剧本肯定是错的”）。

6. 给科学家的建议：少做“判决”，多做“描述”

文章最后呼吁：

单个研究：不要试图通过一个实验就“一锤定音”解决所有问题。单个研究应该像摄影师一样，清晰地拍下“数据与假设的关系”（比如：在假设 A 下，数据看起来有多奇怪）。
综合判断：真正的科学结论，需要把很多个研究（很多张照片）拼在一起，结合专家的知识、常识和道德判断，才能决定一个理论是否“可接受”。

总结

这篇文章就像是在给统计学家和大众**“去魅”**：

P 值/S 值 不是**“真理的审判官”，它们只是“剧本里的奇怪程度计”**。
统计显著 不等于**“逻辑不可能”**。
最终决定 不是由数字自动生成的，而是由人根据风险、常识和价值观综合判断的。

一句话概括：
别被 P 值吓到，也别被它忽悠。它只是告诉你：“在这个剧本里，这事儿挺稀罕的。”至于要不要换剧本，得看你自己的判断和承担后果的能力。

以下是基于 Alessandro Rovetta 所著论文《统计兼容性、证伪信息与可接受性》（Statistical Compatibility, Refutational Information, and Acceptability）的详细技术总结：

1. 研究背景与问题 (Problem)

核心问题：传统的频率派统计推断（特别是 P 值）常被误读为对假设“真/假”的逻辑判定，或被视为模型与数据之间存在“逻辑不相容”（logical incompatibility）的证据。这种误读源于对“显著性”的二元划分（显著/不显著）以及对“不相容”一词的过度使用，导致了对统计结果的过度自信或错误解释。
概念混淆：
- P 值的误用：将小 P 值视为模型在逻辑上被证伪，而非仅仅是数据在模型假设下的“罕见”表现。
- 语言陷阱：使用“不相容（incompatibility）”一词暗示二元对立（要么可能，要么不可能），而实际上统计结果是一个连续谱。
- 信息缺失：P 值在 0-1 区间内是非线性的，难以直观反映证据强度的增量变化。
- 语境缺失：缺乏将统计结果转化为实际决策（可接受性）时的背景考量（如损失函数、领域知识、数据质量）。

2. 方法论与理论框架 (Methodology & Framework)

本文在理想化的频率派描述性框架内构建了一个新的解释体系，主要基于以下核心概念：

“小虚构世界” (Small Fictional Worlds)：
- 将统计模型定义为 $A + H_i$ ，其中 $A$ 是假设集（包括数据生成过程、分布形式等）， $H_i$ 是目标假设。
- 在这个“世界”中，模型被暂时视为真，概率描述的是数据在该模型下的行为，而非假设本身的真理值。
兼容性 (Compatibility) 而非不相容性：
- 重新定义 P 值为兼容性指数（graded index of compatibility），范围从 0 到 1。
- P 值接近 1 表示数据与模型预测高度一致；P 值变小表示数据在模型下变得“不典型”（atypical），但并不意味着逻辑上的不可能或矛盾。
- 反对使用“不相容”一词，因其暗示二元对立，容易引发“逆推谬误”（inversion fallacy，即混淆 $P(Data|H) $与$ P(H|Data)$）。
S 值 (S-values) 与证伪信息：
- 引入 $S = -\log_2(p)$ ，将 P 值转换为以 2 为底的对数尺度（比特，bits）。
- 优势：S 值在加性尺度上保持信息量的一致性（例如，从 9 比特到 10 比特的信息增量与从 19 到 20 比特相同），且通过“抛硬币”类比（ $s$ 次抛硬币全为正面）使罕见程度更具直观物理意义。
可接受性 (Acceptability) 与损失函数：
- 提出统计推断的最终目标不是判定真理，而是评估模型的可接受性。
- 可接受性是一个决策导向的概念，取决于：数据 - 模型兼容性 + 外部证据（领域知识、假设合理性、数据质量）+ 损失结构（错误决策的后果）。
- 强调分析师的主观能动性（competence, intentions, moral values）在评估可接受性中的核心作用。
惊奇度 (Surprise) 的辨析：
- 区分香农式惊奇（Shannon-type surprisal，基于模型内的概率罕见度）与贝叶斯式惊奇（基于信念的更新）。
- 指出在频率派框架下，S 值衡量的是模型内的“惊奇”，并不直接导致信念修正，除非结合外部损失评估。

3. 主要贡献 (Key Contributions)

概念重构：明确区分了“模型内的逻辑一致性”与“现实世界的可接受性”。P 值/S 值仅描述数据在特定假设下的罕见程度，不能直接作为拒绝假设的逻辑证据。
语言净化：强烈建议用“兼容性（compatibility）”替代“不相容性（incompatibility）”，以避免二元思维陷阱和逆推谬误。
S 值的推广与解释：详细阐述了 S 值作为“证伪信息（refutational information）”的度量，强调其作为比特单位的可加性和直观性，并澄清其并非对模型真理性的直接证据。
决策框架的整合：将统计推断置于更广泛的决策理论中，指出单一研究（尤其是缺乏累积证据的研究）不应试图解决“可接受性”问题，而应专注于清晰描述数据与模型的关系；可接受性判断需结合多源证据和具体的损失函数。
对“惊奇”的重新定义：提出了一种基于假设与数据匹配程度的“惊奇”定义（即不同假设在相同数据下产生的证伪信息量不同），并警示香农式惊奇在应用中的潜在误读风险。

4. 关键结果与发现 (Results & Findings)

P 值的非线性：P 值从 0.04 变到 0.01 的证据强度变化远大于从 0.94 变到 0.91，而 S 值能线性地反映这种信息量的差异。
语境依赖性：同样的证伪信息量（如 4 比特），在轻微副作用（头痛）的评估中可能足以拒绝假设，但在严重副作用（过敏性休克）的评估中则远远不够。这证明了没有通用的“显著性”阈值。
多模型共存：在给定数据下，往往存在多个与数据高度兼容的模型（ $H_i$ ），甚至不同的假设集 $A$ 也能解释数据。因此，单一研究无法确定“唯一真理”。
累积证据的重要性：对于缺乏多源证据的独立研究，目标应是提供透明、可比较的“数据 - 模型关系描述”，而非做出最终的可接受性裁决。

5. 意义与启示 (Significance)

对统计实践的修正：呼吁统计学家和研究人员放弃二元决策（显著/不显著），转向基于兼容性、证伪信息和背景知识的连续谱评估。
降低误读风险：通过规范术语（如使用“兼容性”而非“不相容性”），减少临床研究和公共政策制定中的统计误用和过度解读。
明确分析师责任：强调统计推断不仅仅是数学计算，更是涉及分析师判断、道德价值观和领域知识的综合过程。
指导证据综合：为系统评价和荟萃分析提供了更清晰的输入标准——即关注可解释的数据 - 模型关系描述，而非试图在单个研究中嵌入复杂的损失函数。

总结：
Rovetta 的这篇文章旨在通过重新定义 P 值和 S 值的解释框架，将统计推断从“寻找真理”的误区拉回“评估模型在特定语境下的可接受性”的务实轨道。它强调统计量（P 值/S 值）仅是描述数据在理想化模型中行为的工具，而最终的决策必须结合外部证据、领域知识和损失评估，由具备专业能力的分析师在现实世界中进行判断。