📈 经济学

The Galileo problem in expert panels: screening calibration under decision loss and blame avoidance

本文提出了一种基于期望损失的框架，用于确定专家小组中评估者层面筛选的最优严苛程度，认为组织者可能会为了最大限度地减少来自责难和争议的机构风险而理性地接受一定的决策质量损失，并提供了一种排除概率启发式方法来使这些权衡具有可操作性。

原作者： Krzysztof Kontek

发布于 2026-09-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Krzysztof Kontek

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当一群专家必须选出获胜者、挑选资助对象或聘用新领导时，他们很少依赖单一的声音。相反，他们会召集一个专家小组，要求每位成员对选项进行评分，并将这些数字结合起来得出最终决定。这种制度旨在确保公平，通过汇集多元化的知识来降低因一人失误或偏见而毁掉结果的可能性。然而，这种优势本身也创造了一个漏洞：当小组成员中出现一个与其他人截然不同的人时，该怎么办？这个人可能是一个试图操纵结果的破坏者，可能是一个误解了规则的困惑参与者，也可能是一位看到了他人所忽略之真相的卓越异见者。这种困境被称为“伽利略问题”，以天文学家伽利略命名，当时他的大多数同僚都是错误的，而他是正确的。如果小组忽视了这个异见者，他们可能会扼杀天才；如果他们听从了这个异见者，他们可能会让骗子或错误左右结果。

几十年来，机构一直试图通过微调个人评分来解决这个问题。如果一位评委对某个特定候选人的评分过高或过低，系统只需将该数字截断或使其向平均值靠拢。这种方法将每个候选人分开处理，忽略了一个事实：即一位评委在所有评估中可能表现出一致的异常。一种较新的想法（在近期研究中被探讨）建议同时观察评委的整个记录。该系统不再修正单个数字，而是检查评委的整体概况。如果一位评委的评分模式与小组常态过于偏离，该评委将被整个剔除出流程，其影响力也会在所有候选人身上被抹去。这种方法更简洁、更透明，但也让那个古老的困境变本加厉地回归了：规则应该定得有多严格？

克里斯托夫·科内克（Krzysztof Kontek）的一项新研究深入探讨了究竟在哪里划定那条界线。该研究并未声称找到了适用于所有情况的完美通用公式，而是通过建立一个详细的模拟实验来理解设置规则时所涉及的权衡。作者模拟了一个典型的专家小组，并询问当剔除评委的门槛设定在不同严格程度时会发生什么。研究发现，并没有一个能保证最佳结果的“神奇数字”。相反，存在一个广泛的“安全区”，在此区间内规则运作良好。如果规则太松，小组会保留那些困惑或试图操纵结果的评委，这会损害最终决策的质量。如果规则太严，小组会开始剔除那些实际上是正确的但仅仅是想法不同的评委，这同样会损害决策。理想的平衡点在于中间位置，即规则既足够严格以捕捉明显的捣乱者，又足够宽松以保留有见地的异见者。

该论文还揭示了一个与数学无关、完全关乎人性的意外转折。为小组制定规则的人——即组织者——并不总是与小组持有相同的目标。小组的目标仅仅是做出尽可能好的决策。然而，组织者必须承担后果。如果小组保留了一位试图操纵结果的评委，且结果看起来像是被操纵的，组织者会被责难。如果小组剔除了一位极其优秀的专家，而公众随后得知了真相，组织者同样会被责难。研究表明，由于组织者担心这两种不同的指责，他们可能会选择一个与产生数学上完美决策略有不同的规则。他们可能会制定更严格的规则以避免因结果被操纵而引发的丑闻，即便这意味着偶尔要沉默一个有价值的声音。或者，他们可能会制定更宽松的规则以避免开除著名专家的丑闻，即便这意味着要接受略高的决策风险。

为了使这些复杂的选择具有实践意义，该研究引入了一种讨论规则的简单方式。作者建议使用“排除概率”来代替那些随评委人数变化而变化的复杂技术性截断值。这是一个直观的百分比，它告诉组织者：“在正常情况下，一名普通且诚实的评委被该规则排除的可能性是二十分之一。”无论小组中有十人还是二十人，这个数字都保持不变，使得比较不同系统和在评审开始前设定明确预期变得容易。研究证实，虽然你无法仅凭评分就完美区分出一个骗子还是一个天才，但你可以设计一个系统，将其中任何一方可能造成的损害降至最低。通过接受某些错误是不可避免的，机构可以选择一个既能保护流程完整性，又不至于牺牲大众智慧的严格程度。

该研究依靠计算机模拟来测试这些想法，运行了数千个包含不同类型评委和不同程度分歧的场景。它并不声称已经永久解决了人类判断的问题，但它提供了一张清晰的地图。它表明，最好的方法不是寻找一个能捕捉每一个坏人同时放行每一个好人的完美过滤器，因为这样的过滤器并不存在。相反，最好的方法是承认已知信息的局限性，并设定一个平衡“让骗子混入的风险”与“踢走天才的风险”之间的规则。研究表明，对于大多数专家小组，适度的严格程度效果最好，这创造了一个缓冲带，使系统既足够稳健以应对错误，又不至于因过于僵化而扼杀创新。最终，论文认为，小组的目标不仅是得到正确答案，更是要设计一个即使在寻找答案的过程艰难重重时，公众仍能信任其过程的机制。

技术摘要：专家评审中的伽利略问题

问题陈述
依赖专家评审（如资助评审、招聘委员会、音乐比赛）的机构面临着一种根本性的张力：即在控制策略性操纵与保护真诚的少数意见之间进行权衡。这被称为“伽利略问题”。虽然传统的手段（如分值层面的修剪或截断）限制了极端影响，但它们作用于单个评分坐标，保留了评审员的整体轮廓。一种更新的替代方案是评审员层面的筛选（特别是“排除异常评审员”或 EOJ 程序），它将一名评审员的全部影响力置于准入规则的约束之下。

然而，存在一个核心的信息约束：在观测模糊性下，相同的提交评分配置可能源于策略性操纵（有害的），也可能源于真诚的少数判断（有价值的）。正如 Borowiecki 和 Law (2026) 所形式化的那样，没有任何确定性规则能同时保证对操纵的控制和对多元化的保护。因此，设计问题从完美的分类转向了“宪制选择”：即确定筛选的适度程度，其中抑制有价值的分歧与容忍策略性扭曲之间的权衡必须经过校准。

方法论
本文开发了一个期望损失框架，用于分析评审筛选的校准。该方法通过以下几个层面展开：

制度架构： 分析采用了 EOJ 框架 (Kontek and Kenner, 2025)，即如果一名评审员与其轮廓与评审团中位数的曼哈顿距离超过阈值 $T_K$ ，则将其排除。该阈值由应用于轮廓距离的中值绝对偏差的容差乘数 $K$ 定义。
潜在状态建模： 本文定义了针对特定评审员的四种潜在状态：
- $H$ ：普通、称职、真诚的判断。
- $F$ ：真诚但缺乏精确度的判断（由于精确度低而有害）。
- $M$ ：策略性扭曲（有害的操纵）。
- $G$ ：伽利略式的知情异议（有价值但异常的判断）。
- 注：状态 $M$ 和 $G$ 在观测上是等效的；它们产生相同的评分轮廓，但具有相反的决策价值。
三层分析： 本文区分了：
- 统计性排除： 评审员跨越边界的概率。
- 关键性（Pivotality）： 保留与排除该评审员会改变集体胜选者的概率。
- 后果性排除： 上述两者的交集，即排除行为实际改变了结果的情况。
损失函数：
- 决策质量 ( $L_Q$ )： 最小化期望决策损失（例如，选错胜选者）。
- 组织者损失 ( $L_O$ )： 结合了决策损失与“规避责备”成本。这包括因保留有害异常值而产生的声誉/程序成本 ( $C_M$ )，以及因争议性地排除有价值的分歧者而产生的成本 ( $C_G$ )。
操作启发式： 本文引入了排除概率 (PEx)，定义为在预设的参考模型下，普通评审员轮廓跨越筛选边界的先验概率。这能将理论上的截断值 $K$ 转化为可解释的操作特性。

核心结果

不可能性的扩展： 本文将 Borowiecki–Law 的不可能结果扩展到了更广泛的确定性基于评分的干预措施（包括修剪和截断）。任何确定性程序都无法恢复评分中缺失的潜在信息；因此，在控制操纵与保护多元化之间进行权衡是所有此类规则固有的。
决策质量最优解： 在基准案例（ $N=17, A=6$ ）中，决策质量的最优解 ( $K_Q^*$ ) 位于 $K \approx 2.2$ 附近的“宽低损区域”。这比统计参考点 PE5（5% 尾部概率， $K \approx 3$ ）更严格，但比决策中性噪声边界（ $K \approx 2$ ）更宽松。其损失曲面是平坦的，表明一系列截断值产生的决策质量在经济上是难以区分的。
公共选择楔子： 本文证明了组织者偏好的规则 ( $K_O^*$ $K_{O}^{*}$ ) 往往与决策质量最优解相背离。
- 如果保留有害异常值的预期制度成本 ( $\pi_M C_M$ ) 高于排除伽利略型分歧者的成本 ( $\pi_G C_G$ )，则组织者会理性地选择更严格的筛选 ( $K_O^* < K_Q^*$ )，即接受更高的决策损失以减少暴露于责备的风险。
- 反之，如果排除显著分歧者的成本更高，组织者则会选择更宽松的筛选。
- 这产生了一个“公共选择楔子”，即制度自我保护的需求证明了某种规则可能在纯粹的决策质量上是次优的。
PEx 作为校准工具： 本文确立了原始截断值 ( $K$ ) 无法在不同的评审规模或计分表宽度之间移植。PEx 提供了一个稳定的、先验的指标，用于沟通和校准筛选强度（例如，“排除一个普通轮廓的风险为 5%”），无论针对特定的评审配置需要什么样的数值阈值。

意义与主张
本文声称其主要贡献有四点：

伽利略问题的泛化： 它将观测等效性的逻辑从特定的排除规则扩展到了更广泛的确定性基于评分的干预措施。
期望损失框架： 它提供了一种通过权衡保留与排除的后果及其对应的潜在状态概率，来校准筛选严苛程度的形式化方法。
公共选择分析： 它明确区分了决策质量目标与组织者的制度目标，并推导出了在何种条件下，规避责备会导致决策质量最优规则与组织者偏好规则之间的分歧。
操作启发式： 它引入了 PEx 作为一个实用的工具，将理论上的筛选机制转化为透明的、预先公布的规则，使其在不同的制度环境下具有可比性。

本文得出结论，加强筛选不仅可以由提高决策质量来证明，也可以由制度保护来证明。文章认为，“决策质量”与“组织者偏好”之间的“楔子”强化了对“宪制承诺”的诉求：即预先公布且中立的规则既能约束评审员（通过使失去影响力的代价变得可信），也能约束组织者（通过限制事后裁量权），从而管理伽利略问题中固有的权衡。

技术摘要：专家评审中的伽利略问题

类似论文