📈 economics

Classification testing: A new framework for drawing qualitative conclusions from quantitative estimates

本文引入了“分类测试”（classification testing），这是一种新的统计框架，它允许研究人员在受控的误差率下为具有实质相关性的定性类别分配定量估计值，或者宣布结果为不确定，其论点在于这种方法通过更好地判定竞争性可能性并使假设面临证伪，从而改进了标准的假设检验。

原作者： Andrew C. Eggers, Zikai Li

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrew C. Eggers, Zikai Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在社会科学领域，研究人员致力于测量那些无法直接观察的事物：一项新政策如何改变一个社区，一条特定的信息是否改变了一个人的投票倾向，或者一种治疗方法是否改善了患者的健康。他们收集数据并进行数值计算，以寻找这些行为的平均效应。然而，他们最终讲述的故事很少是一串长长的数字。相反，他们将这些精确的数字转化为简单的、定性的判断。他们决定一个效应是真实的还是不存在的，是正向的还是负向的，或者是否微小到可以忽略不计。为了支持这些判断，科学家们依赖于一种被称为“假设检验”的标准方法。这种方法就像是一个守门人，旨在通过确保当研究人员声称某个结果是真实存在时，其声称错误的概率被控制在极低的水平，从而保护公众免受虚假警报的误导。

几十年来，这一系统在证实特定预测方面表现良好，但它有一个显著的盲点。它的构建初衷是证明某事正在发生，但在证明某事并未发生，或是在两个竞争的可能性之间进行公平裁决时却显得力不从心。如果研究人员试图证明某种疗法有效，只要证据足够充分，该系统就允许他们宣布胜利。但如果证据薄弱，系统只会简单地表示研究人员未能证明其观点；它并不允许他们自信地宣布该疗法实际上毫无作用。这造成了一个不平等的竞争环境，使得某些结论易于达成，而另一些结论则始终难以触及，从而可能使整个科学对话向过于乐观的发现倾斜。

政治学家安德鲁·埃格斯（Andrew Eggers）和李子凯（Zikai Li）提出了一种新的框架，为应对这些不确定性提供了一种不同的路径。他们称之为“分类检验”（classification testing）。这种方法不再强迫研究人员只去捍卫一个特定的偏好理论，而是要求他们根据现实世界中真正重要的标准，将所有可能的结果划分为不同的类别。例如，研究人员可以将可能性分为三组：效应是正向且足够显著的；效应是负向且足够显著的；或者效应微小到可以忽略不计。其目标不仅仅是看一个数字是否不同于零，而是将结果归入正确的“桶”中。

这种新方法的威力在于它能以同等水平的统计严谨性来对待所有这些类别。在旧系统中，研究人员只有在拒绝了“效应为零或为负”的假设后，才能自信地说“效应是正向的”。他们无法以同样的确定性来自信地说“效应为零”或“效应为负”，除非他们事先设定了一个非常具体且往往显得生硬的测试。分类检验消除了这种偏差。它允许研究人员观察数据，并以受控的误差率做出判断：结果属于“微不足道”类别，还是属于“正向且显著”类别，亦或是数据过于模糊而无法判定。它将科学问题从“我能否证明我的假设？”转变为“对这一结果最诚实的描述是什么？”

为了展示其实际应用效果，作者将该方法应用于一个著名的媒体消费领域实验。原始研究调查了福克斯新闻（Fox News）的常客接触到 CNN 时发生了什么。研究人员测量了三十二个不同的结果，范围涵盖了从政治偏好变化到对新闻来源信任度的转变。当他们应用大多数社会科学期刊所使用的标准检验方法时，发现其中十六个结果是“显著的”，另外十六个则不显著。这使得一半的结果处于不确定的状态，即研究人员无法自信地判断效应是真实的还是不存在的。

当作者使用分类检验重新分析相同的数据时，图景变得清晰得多。通过将结果分类为“正向且显著”、“负向且显著”或“微不足道”，他们能够对三十二个结果中的二十九个做出具有置信度且误差受控的陈述。他们可以自信地表示，对于某些指标，效应是巨大且正向的。对于另一些指标，他们可以自信地表示效应微小到可以忽略不计。即使对于那些被旧方法标记为“不显著”的结果，新方法通常也允许他们得出结论，即该效应确实是微不足道的，而不仅仅是“未知”。只有在数据确实过于嘈杂、无法支持任何明确主张时，他们才会不得不说结论是“不确定的”。

这种转变改变了研究进行的激励机制。在旧规则下，研究人员经常面临寻找正向结果以获得发表机会的压力，导致他们设计出那些很可能证实其预期的研究。新框架鼓励一种更加开放的态度。由于该方法允许研究人员自信地得出“效应很小”或“效应不存在”的结论，研究人员可以在无需担心“零结果”意味着失败的情况下，研究真正开放的问题。它将“微小效应”视为一种有效的、可测试的结果，而非一个死胡同。

作者认为，这种方法并没有降低科学的严谨性；事实上，它保持了避免虚假主张的同样高标准。它只是扩大了可以被自信回答的问题范围。通过允许科学家以声明一个效应是巨大的同等确定性，来声明一个效应是微不足道的，该方法减少了将数据强行纳入特定叙事的压力。这表明，最有价值的科学结论并不总是戏剧性的发现，有时是一个清晰、诚实的评估，即某项干预措施并未产生实质性的影响。作者认为，这种清晰度正是建立一个更可靠、更少偏见的社会运作理解的关键。

技术摘要：分类测试：一种从定量估计中得出定性结论的新框架

问题陈述
本文指出了当前定量社会科学实践中的一个根本性局限：标准假设检验的不对称性。传统的统计方法（例如 Wald 式的零假设显著性检验）旨在针对单一研究假设对零假设进行检验。这种结构使得研究人员只有在拒绝零假设并支持其研究假设时，才能做出受误差控制的肯定性结论。如果无法拒绝零假设，则无法得出受误差控制的结论；研究假设无法以与证明其“正确”同等的统计严谨性被证明是“错误”的。

这种不对称性造成了以下几个问题：

裁决失败（Adjudication Failure）： 当目标是回答一个开放式问题（例如，“效应是正向还是负向的？”）而非测试特定预测时，标准做法迫使研究人员任意指定一个可能性作为零假设，从而导致对立的可能性未经过检验。
激励扭曲（Incentive Distortion）： 由于只有研究假设可以被肯定，研究人员倾向于选择他们认为极有可能成立的假设，以避免出现“无显著结果”，这可能导致文献研究集中在已解决的问题上，而非真正开放的探索。
定性总结不足： 虽然社会科学家经常将定量估计转化为定性结论（例如，“效应是正向的”、“微不足道的”或“显著的”），但当前的检验框架无法同时为所有此类定性区分提供误差控制的保证。

方法论：分类测试
作者提出了“分类测试”（classification testing）作为替代或增强标准假设检验的框架。其核心创新在于将重点从检验单一假设转向将参数空间 ( $\Theta$ ) 划分为互斥且逻辑完备的“类别”，这些类别代表了不同的定性结论。

框架：
- 划分： 研究人员定义类别 $C_1, C_2, \dots, C_K$ （例如：负向、零/微不足道、正向）。
- 误差控制： 目标是为每个类别构建接受区域 ( $A_j$ )，使得将真实参数 $\theta$ 误分类到错误类别的概率对于任何 $\theta$ 值都受到显著性水平 $\alpha$ 的限制。
- 最优性： 作者采用了“极大极小”（maximin）准则，选择能够最大化“最差情况功效”（即在所有类别和所有可能的 $\theta$ 值下，正确分类 $\theta$ 的最小概率）的分类规则。
- 结果： 该测试要么将 $\theta$ 分配给特定类别并提供误差控制，要么在数据无法有力支持任何单一类别时宣布结果为“不确定”（inconclusive）。
三种具体的测试类型：
1. 符号分类（Sign Classification）： 将 $\theta$ 划分为负向 ( $C_-$ ) 和正向 ( $C_+$ ) 类别（以 0 为界）。这等同于运行两个无需多重比较校正的单侧检验，允许对两种符号或不确定结果进行误差控制的结论。
2. 量级分类（Magnitude Classification）： 将 $\theta$ 划分为“微不足道”类 ( $C_0 = (-\delta, \delta)$ ) 和“显著”类 ( $C_\pm$ )。不同于标准的等价性检验（TOST，只能肯定微不足道性），该测试允许对“微不足道”和“显著”两者均进行误差控制的肯定。作者推导出了最优接受区域，并根据噪声水平 ( $\sigma/\delta$ ) 进行了调整，解决了 TOST 过于保守的问题。
3. 符号与量级分类（Sign-and-Magnitude Classification）： 将 $\theta$ 划分为三个类别：负向/显著、微不足道、以及正向/显著。这结合了前述两种测试的目标，允许进行更精细的定性区分。
实现：
- 对于简单情况（如符号分类），该程序近似于检查 $(1-2\alpha)$ 置信区间是否完全位于某个类别内。
- 对于更复杂的情况（量级和符号与量级分类），作者提供了一个 R 程序包和特定的算法，用以计算能严格维持 $\alpha$ 误差率的最优接受区域，特别是在估计值具有高噪声（即简单的置信区间规则失效）的情况下。
- 组合测试： 文中概述了结合多个分类测试结果（例如，符号测试和量级测试）以形成精细结论的规则，前提是组成部分的误差保证适用于所组合声明的具体边界。

主要贡献

理论统一： 该框架统一并推广了现有的方法，如定向双侧检验（Kaiser, 1960; Jones and Tukey, 2000）、等价性检验（TOST）以及三侧假设检验（Goeman et al., 2010）。它证明了这些都是更广泛分类原则下的特例。
提高功效与对称性： 作者证明了分类测试提供了对称的误差控制。它允许研究人员在与拒绝该类别相同的误差保证下，肯定任何类别（包括“零”或“微不足道”类别）。
优于 TOST： 量级分类测试被证明比标准的双单侧检验（TOST）等价性检验程序更具功效。它避免了 TOST 在标准误相对于等价边界较大时的“保守”行为，从而能够提供 TOST 无法提供的关于“显著性”的肯定结论。
实际应用： 作者提供了一个 R 程序包以促进实现，并将该框架应用于对 Broockman 和 Kalla (2025) 实地实验的重新分析。

结果（应用于 Broockman 和 Kalla, 2025）
作者重新分析了关于让 Fox News 观众接触 CNN 效应的 32 个预注册指标。

标准双侧检验： 产生 16 个显著结果和 16 个非显著结果。
分类测试：
- 符号测试按方向对 18 个估算量进行了分类（17 个为正向，1 个为负向），为两个在双侧检验中不显著的案例提供了误差控制的方向性结论。
- 符号与量级测试将 2 个指标分类为“正向且显著”，12 个分类为“微不足道”，其余 18 个为“不确定”。
- 组合声明： 通过整合符号和量级的测试结果，作者为 32 个指标中的 29 个（约 91%）提供了误差控制的分类，而标准双侧检验仅能覆盖 16 个（50%）。
定性丰富性： 分类方法提供了更丰富的定性总结，能够区分哪些效应仅仅是“显著”的，哪些是“显著/实质性”的，并能以误差控制识别出“微不足道”的效应。

意义与主张
本文认为分类测试优于当前实践，主要基于两个原因：

裁决（Adjudication）： 它是回答开放式问题的适当工具，其目标是区分竞争性的可能性，而非仅仅测试一个预设的单一假设。
证伪（Refutation）： 即便是在测试单一研究假设时，分类测试也更具信息量，因为它使假设面临被“证伪”（即肯定对立类别）的风险，而不仅仅是面临“无法被肯定”的风险。

作者指出，分类测试可能会间接改善研究激励。通过允许对更广泛的结果（包括“微不足道”或“负向”结果）进行误差控制的结论，它减轻了研究人员寻找符合其假设的“正向”结果的压力，从而可能鼓励对真正开放问题的研究。文章最后总结道，分类测试将从置信区间中提取定性结论的常见做法形式化，同时在固定置信区间无法保证所有场景的情况下，提供了严谨且最优的误差控制。

类似论文