📊 statistics

Hypothesizing an effect size by considering individual variation

该论文提出了一种通过首先考虑效应分布来构想平均处理效应的方法，并通过医学、经济学和心理学的实例展示了其在实验和观察性研究设计中的应用。

原作者： Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

发布于 2026-04-10

📖 2 分钟阅读☕ 轻松阅读

原作者： Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文由安德鲁·杰尔曼（Andrew Gelman）等知名统计学家撰写，核心观点非常有趣且反直觉：在预测一个实验或政策的效果时，不要只盯着“平均数”看，而要先想象“每个人会有什么不同的反应”。

为了让你轻松理解，我们可以把这篇论文的核心思想比作**“预测一场暴雨对城市交通的影响”**。

1. 传统做法的陷阱：只盯着“平均降雨量”

现状：
当科学家或政策制定者设计实验时，他们通常问：“这个药/政策平均能带来多大效果？”
这就好比气象学家只告诉你：“明天平均降雨量是 10 毫米。”

问题：
如果你只盯着"10 毫米”这个平均数，你会误判风险。

情况 A（理想化）： 也许这 10 毫米是均匀洒在每个人头上的，大家鞋都湿了，但没人淹死。
情况 B（现实化）： 也许 90% 的人完全没淋到雨（因为他们在室内），而剩下的 10% 的人被淋成了落汤鸡，甚至引发了洪水。

论文指出的问题：
很多研究者在设计实验（比如计算需要多少人参与）时，直接假设效果是均匀分布的，或者参考过去的文献（但过去的文献往往只报道了那些“效果显著”的成功案例，就像只报道了“下暴雨”的日子，忽略了“没下雨”的日子）。这导致他们高估了实验成功的概率，或者低估了需要的人数。

2. 论文提出的新方法：先画“人群反应地图”

论文建议，在猜“平均效果”之前，先做一个更宏大的思考：“如果把这个药/政策给到所有人，每个人的反应会是什么样？”

作者提出了一个四步走的“思维体操”：

第一步：想象“完美情况” (The Plausible Effect)

比喻： 想象如果这药对每一个需要它的人都能起效，且效果达到最大值，那会是多少？
例子： 假设一种新药能救活所有濒死的人，效果是 100%。

第二步：考虑“现实世界的杂音” (Real-world Range)

比喻： 但现实中，不是每个人都会吃药，也不是每个人吃了药都能吸收。
例子： 也许有些人忘了吃药，有些人身体代谢不了，有些人本来就不会死。所以，实际效果的范围可能是从 0%（完全没用）到 100%（完美救活）。

第三步：给人群“分分类” (The Distribution)

比喻： 把人群分成三六九等。
- 纯无效组（Nulls）： 比如那些本来就不会死的人，或者根本不吃药的人。他们占了很大比例（比如 50% 甚至 90%）。
- 部分有效组： 吃了药，好了一点点。
- 超级有效组： 吃了药，起死回生。
关键点： 大多数干预措施（如教育、营销、新药），对大多数人来说其实是没感觉的（效果为 0）。只有对特定的一小部分人，效果才巨大。

第四步：重新计算“平均数”

比喻： 现在，你不再猜“平均降雨量”，而是根据你刚才画的“人群地图”来算。
计算逻辑：
- 如果 90% 的人没反应（效果 0），只有 10% 的人有巨大反应（效果 100）。
- 那么平均效果 = (90% × 0) + (10% × 100) = 10%。
结论： 这个"10%"才是你真正应该用来设计实验的“平均效果”。它比直接猜"50%"要现实得多，也保守得多。

3. 为什么要这么做？（三个生动的例子）

例子一：救命药 vs. 普通感冒药

传统思维： 医生觉得这药能提升 25% 的存活率，于是设计了一个小规模的实验。
新思维： 医生开始想：“这药只对那些‘本来会死但能被救活’的人有用。对于那些‘本来就会死’或‘本来就会活’的人，药没用。”
结果： 医生发现，在真实的大众里，真正能被救活的人可能只占 20%。所以，真实的平均效果可能只有 5%，而不是 25%。如果按 25% 去设计实验，实验大概率会失败（因为样本量不够大，测不出这微小的 5%）。

例子二：认识同性恋朋友会改变对婚姻的看法吗？

传统思维： 以前研究认为，认识一个同性恋朋友，对态度的改变很大（比如从 1 分变成 4 分）。
新思维： 让我们看看人群：
- 30% 的人本来就极度反对，认识朋友也改变不了（效果 0）。
- 30% 的人本来就极度支持，认识朋友也没变化（效果 0）。
- 只有中间那 40% 的“摇摆人”可能会改变。
- 而且，改变可能只是从“中立”变成“稍微支持”（比如从 3 分变 4 分），而不是翻天覆地的变化。
结果： 算下来，平均改变可能只有 0.1 分（在 1-5 分的量表上）。这解释了为什么很多研究测出来的效果很小，甚至像是噪音。如果你一开始就预期会有大变化，你就会觉得研究失败了；但如果你预期只有微小的变化，你就知道需要多大的样本才能测出来。

例子三：儿童早期教育能让人成年后多赚 42% 的钱？

传统思维： 有个著名研究说，上幼儿园能让人以后多赚 42%。这听起来太棒了！
新思维： 这真的可能吗？
- 对于某些孩子，这个教育可能彻底改变了命运（赚 100% 更多）。
- 但对于大多数孩子，可能只是稍微好一点点，或者完全没影响。
- 如果要让平均提升 42%，意味着要么所有人都提升 42%（不太可能），要么少数人提升 100% 以上，而其他人提升很少。
结论： 这种“平均数”往往掩盖了巨大的个体差异。如果效果真的因人而异，那么那个"42%"的结论可能只是运气好，或者是因为样本里恰好都是那些“容易被改变”的孩子。

4. 核心启示：从“寻找真理”到“理解分布”

这篇论文想告诉我们要**“倒置”**我们的思考顺序：

旧顺序： 先猜一个平均数 -> 设计实验 -> 发现结果不显著 -> 困惑。
新顺序： 先想象每个人会有什么不同反应 -> 算出真实的平均数 -> 设计足够大的实验 -> 得到可靠的结论。

一句话总结：
不要试图用一个数字（平均效果）去概括复杂的世界。就像预测天气，不要只说“平均降雨量”，要先想“哪里会下暴雨，哪里会干旱”。只有理解了个体差异（Heterogeneity），你才能做出更聪明的实验设计，避免被“虚假的平均数”误导，也能更客观地看待科学研究的成败。

这不仅是统计学的技巧，更是一种更谦逊、更现实的看待世界的方式。

论文技术总结：通过考虑个体变异来假设效应量

标题：Hypothesizing an effect size by considering individual variation
作者：Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman
日期：2026 年 4 月 7 日

1. 研究背景与核心问题 (Problem)

在实验设计和观察性研究评估中，对平均处理效应 (Average Treatment Effect, ATE) 提出合理的假设至关重要。这种假设在贝叶斯推断（构建先验分布）、频率学派推断（功效计算、误差估计）、预测分析以及研究设计（样本量确定）中均扮演核心角色。

然而，现有的假设效应量的方法存在显著缺陷：

元分析与文献综述：存在“垃圾进，垃圾出”的问题，因为发表偏倚（基于统计显著性的选择）导致文献中的效应量估计往往被高估。
专家咨询：专家本身可能受发表文献和个人信念的偏见影响，直接询问“平均效应”往往导致过度自信。
传统分类（Cohen's d）：将效应量分为小、中、大，在现代追求增量改进的环境中往往过于乐观。
试点研究 (Pilot Studies)：试点研究样本量小，估计值噪声极大，直接用于主研究的样本量计算会导致严重的功效高估和样本量不足。
统计文化：存在“贝叶斯尴尬 (Bayesian cringe)"，即为了避免限制性假设而采用过于宽松的先验，导致效应量被高估，进而引发可重复性危机。

核心痛点：研究者往往试图直接猜测一个单一的“平均效应值”，而忽略了处理效应在个体层面的异质性 (Heterogeneity)。这种单一数值的假设忽略了现实世界中干预措施对不同个体产生不同效果（甚至无效或反向效果）的事实。

2. 方法论 (Methodology)

作者提出了一种范式转变：从假设单一的效应量，转变为假设一个“效应量的分布” (Distribution of Effect Sizes)。

2.1 核心策略：锚定与调整 (Anchoring and Adjustment)

该方法通过构建个体处理效应的分布模型来推导平均效应，具体步骤如下：

假设“理想”效应 (Plausible Effect Size, X)：
- 基于科学文献（需校正发表偏倚）和领域知识，假设当干预措施在理想条件下对“可受益者”完全生效时的最大可能效应 $X$ 。
考虑现实世界的变异范围：
- 定义效应的可能范围，例如 $(0, X)$ 。考虑到某些情况下干预可能无效甚至产生负面效果（如反向激励），分布可能包含负值。
构建分布模型：
- 将上述范围转化为概率分布。例如，若理想效应为 $X$ ，可假设分布中心在 $0.5X$ ，尺度参数为 $0.5X$ 的正态分布。
假设“纯零效应”比例 (Proportion of Pure Nulls, $p_{null}$ )：
- 估计人群中完全不受干预影响的比例（例如：未服药者、未注意课程的学生、未接触促销的顾客）。
- 默认建议：医学和社会科学的直接干预中， $p_{null} \approx 50\%$ ；市场营销等间接干预中， $p_{null} \approx 90\%$ 。

2.2 平均效应计算公式

结合上述步骤，平均处理效应 ($ATE$) 的估算公式为：
$ATE \approx (1 - p_{null}) \cdot 0.5X$

对于直接干预，这意味着将理想效应 $X$ 除以 4。
对于间接干预，将 $X$ 除以 20 或更多。

2.3 形式化访谈与工具

作者对三位研究人员进行了形式化访谈，测试该协议。

流程：先询问研究背景，再询问“如果干预有效，平均效应是多少” ( $\hat{ATE}_{pre}$ )，随后引导研究者思考个体层面的变异（谁受益最大/最小？比例如何？），最后计算加权平均得到 $\hat{ATE}_{post}$ 。
发现：研究者能够轻松描述极端情况（最大/最小效应），但难以确定中间状态的比例。这支持了该方法论：由研究者定义范围（最大/最小），并主要关注“纯零效应”人群的比例，而非试图精确拟合整个分布。

3. 关键贡献与案例 (Key Contributions & Results)

3.1 理论贡献

范式转移：将研究设计的起点从“猜测平均数”转变为“构建异质性分布”。平均效应不再是基本假设，而是个体变异、样本构成和研究目的共同作用的结果。
解决“单一数值”谬误：指出在存在异质性的情况下，不存在一个普适的“药物效应”或“干预效应”，效应大小完全取决于样本中患者的混合比例。
重新定义先验：在缺乏自然复制的情况下，通过假设效应分布来构建贝叶斯先验，比直接猜测单一参数更稳健。

3.2 实证案例分析

医学（二元结果）：
- 场景：一种药物旨在降低死亡率。
- 分析：区分三类人：(1) 无论是否治疗都会存活；(2) 治疗能挽救；(3) 无论是否治疗都会死亡。
- 结果：在严格筛选的“疗效 (Efficacy)"试验中（排除类型 1 和 3），平均效应可能很高（如 0.65）。但在更广泛的“有效性 (Effectiveness)"试验中（包含大量类型 1），平均效应可能骤降至 0.20。这解释了为何严格控制试验的结果不能直接外推到广泛人群。
- 案例：某医生认为药物能增加 25% 的生存率，但通过分布分析发现，这实际上意味着药物对 25% 的人有 100% 的挽救效果，而对其他人无效。这种视角修正了对不确定性的认知。
政治科学（数值数据）：
- 场景：认识特定群体（如同性恋者）对态度的影响。
- 分析：基于 1-5 的量表，假设 1/3 的人观点已固化（无变化），1/3 的人观点可改变。在可改变的人群中，进一步细分正向、负向和无变化比例。
- 结果：计算出的平均效应仅为 0.1（在 5 点量表上），这比直接猜测的效应更合理，也解释了为何实际观测到的信号微弱。
研究目的与样本构成的互动：
- 如果目的是检测效应是否存在，应针对效应最大的子群体（如统计知识较少的人）进行抽样，以获得最大功效。
- 如果目的是估计总体平均效应，必须根据总体分布进行分层抽样或事后分层 (Post-stratification)。
- 如果目的是研究效应如何随协变量变化，则需对效应较小的子群体进行过采样。
批判“过大”的已发表效应：
- 案例 1：早期儿童干预使成年收入增加 42%。通过分布分析，这要求部分人收入增加 100% 以上，而其他人无变化，这在逻辑上极不可能，暗示该估计存在严重偏差。
- 案例 2：女性月经周期与穿红色衣服的关系（3 倍概率）。考虑到许多女性从不穿红或受工作限制，平均效应应接近零。显著性结果可能是由于未控制的自由度或偶然性，而非真实效应。

4. 意义与影响 (Significance)

解决可重复性危机 (Replication Crisis)：
- 承认效应量的异质性，使得“零假设检验”（效应是否严格为零）变得不再重要。
- 解释了“不可重复”现象：不同研究可能针对了不同的人群构成或情境，导致效应分布不同，而非简单的“假阳性”。
- 通过降低对平均效应的预期，帮助研究者意识到低功效 (Low Power) 的风险，从而设计更合理的样本量。
改进研究设计：
- 防止因过度乐观的效应量假设而导致的样本量不足（Type M 和 Type S 错误）。
- 明确区分疗效 (Efficacy) 与 有效性 (Effectiveness)，指导研究者在不同阶段（概念验证 vs. 广泛部署）采用不同的抽样策略。
提升推断质量：
- 在贝叶斯分析中，基于分布的假设提供了更合理的先验，减少了因先验过宽导致的推断偏差。
- 鼓励研究者从“自下而上”思考调节变量（Moderators），而非仅仅关注平均数。

5. 结论

该论文主张，在假设效应大小时，不应试图寻找一个单一的“真实”平均值，而应首先构建一个个体处理效应的分布模型。通过考虑谁受益、谁无效、谁受害，以及这些人群在样本中的比例，研究者可以推导出更现实、更稳健的平均效应估计。这种方法不仅提高了实验设计的科学性，也为解释复杂的科学发现提供了更深刻的理论框架，有助于缓解科学界的可重复性危机。