Closing a 17-Year Gap: Algorithmic Detection and Empirical Prevalence of Rank Reversal in Multi-Criteria Decision Analysis
本文在 Scikit-Criteria 中提出了一个开源算法框架，该框架将 Wang 和 Triantaphyllou 提出的已有 17 年历史的用于检测排名反转的理论准则进行了操作化实现，并通过大规模审计揭示了尽管最优备选方案的稳定性几乎是普遍存在的，但传递性和重构一致性的违例在当前的多准则决策分析文献中却屡见不鲜。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一位才艺表演节目的评委，正试图从歌手、舞者和魔术师的阵容中选出最优秀的节目。你有一张计分卡，上面有几个类别：嗓音、舞台表现力和原创性。你将分数相加，魔术师赢得了比赛。但紧接着，出现了一个新的表演者——一个没人关心的糟糕小丑。突然间，魔术师掉到了第二名，而歌手夺得了榜首。或者，你决定先分别对歌手和舞者进行评分，然后再合并结果，却发现合并后的获胜者与你把所有人放在一起评判时选出的获胜者不同。这种令人困惑的反复变动被称为“排名反转”（Rank Reversal）。这发生在一个名为“多准则决策分析”（MCDA）的科学领域，这基本上是一种用数学方法来处理需要考虑许多不同因素的复杂决策的专业说法。无论你是在挑选一部新智能手机、一种医疗方案还是一项太空任务，你都希望你的数学模型是公平且一致的。如果仅仅因为你增加了一个无用的选项或将问题拆分成较小的部分，获胜者就发生了变化，那么整个系统就会让人觉得失效了，人们也将无法信任其结果。
在超过 17 年的时间里，科学家们都知道存在这个问题，并写下了三条具体的规则来测试一种决策方法是否可靠。但问题在于，他们只写下了规则，却从未制造出运行这些测试的实际机器。这就像是只有一份蛋糕食谱，却没有烤箱。由于这些测试很难转化为计算机代码，因此从未有人真正检查过现实世界中使用的流行方法是否通过了这些规则。这在理论（我们认为应该发生的情况）与实践（人们每天使用的软件中实际发生的情况）之间留下了一个巨大的鸿沟。
这篇论文讲述的是终于有人造出了那个“烤箱”的故事。作者们是一个来自阿根廷的研究团队，他们创建了一个全新的开源计算机工具包（作为 Scikit-Criteria 库的一部分），将那些有着 17 年历史的规则转化为了可运行的代码。他们不仅编写了代码，还利用它对 27 种不同的决策方法进行了严格的压力测试。
以下是他们的发现，而且这其中有一个情节转折。首先，他们测试了当他们让其他选项变得稍微糟糕一点时（比如给其他表演者一个糟糕的发型），“最佳”选择是否依然保持最佳。他们发现几乎所有人都通过了这项测试——在 96.3% 的情况下，第一名依然稳居榜首。看起来这些方法是非常可靠的。
但随后，他们运行了更难的测试。他们将问题分解成微小的对子（每次只比较两个表演者），以观察其逻辑是否成立。这就是情况变得混乱的地方。大约 15% 的方法未能通过“传递性”（transitivity）测试，这意味着它们的逻辑变得循环了（比如得出 A 比 B 好，B 比 C 好，但 C 又比 A 好的结论）。更令人惊讶的是，当他们尝试从这些微小的对子中重建完整的排名时，近一半（48.1%）的方法未能通过最严格的测试。他们从“小碎片”中得到的最终排名，与他们从“全貌”中得到的排名并不匹配。
论文并没有说这些方法是没用的，但它确实证明了排名反转不仅仅是出现在虚构案例中的罕见、奇怪的故障。它是科学家和工程师目前正在使用的工具中一个普遍存在的、可衡量的特征。作者们建议，我们不能仅仅假设这些方法是一致的；我们必须对其进行测试。通过将他们的测试工具免费且开源地提供给所有人使用，他们为世界提供了一种新的方式，去检查我们的决策数学是否真的在按预期运作，从而确保当我们选出一个获胜者时，是因为他们实至名归，而不是因为数学被一个糟糕的小丑搞糊涂了。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。