Geometric mean-based pairwise comparison method with the reference values -- statistical approach

想象一下，你是某个学校社团的社长，你需要为即将到来的新学年挑选出最棒的三项活动。你询问你的朋友们进行投票，但他们不仅仅是选出一个最喜欢的，而是通过将每一项活动都与其它所有活动进行对比。比如：“‘徒步’是否比‘烘焙’有趣两倍？”“‘编程’是否比‘艺术’好上三倍？”这种通过两两比较来确定优劣的方法，是专家们用来做出艰难决策的一种经典工具，从选择一位新的市长到挑选最佳的医疗方案，皆是如此。这就像是试图通过每次只测量两棵树之间的坡度，来测算一座山的确切高度。

问题在于，人类并不是完美的计算器。一位朋友可能会说徒步比烘焙好，但接着又说烘焙比编程好，而编程又比徒步好。这是一个逻辑循环，或者说“不一致性”。几十年来，数学家们已经有了平滑这些循环并得出最终排名的方法，但他们大多将这些误差视为可以忽略的杂乱“噪声”。他们能告诉你排名的结果是什么，却无法轻易告诉你对这个排名有多大把握。这就像得到一个天气预报说“将会下雨”，却没告诉你降水概率是 51% 还是 99%。本文的研究填补了这一空白，它将这些混乱的人类比较视为统计实验中的数据点，使我们能够像科学家测量实验室结果一样，去衡量决策的置信度。

论文的核心思想：将直觉转化为数学实验室

本文的作者 Konrad Kułakowski、Kamil Pustelnik 和 Jacek Szybowski 正在研究一种特定的决策方法，称为“启发式评分估计”（Heuristic Rating Estimation, HRE）。想象一下，你有一份未知项目清单（比如新的电子游戏）和一些已知项目（比如你最喜欢的经典游戏，你知道它是满分 10/10）。你请一位专家将这些新游戏与经典游戏以及彼此之间进行比较。目标是确定这些新游戏的“权重”或得分。

传统上，这是通过几何平均值（一种处理比例关系效果很好的特定平均值类型）来完成的。作者意识到一个非常精妙的点：整个过程实际上是一个线性回归问题。这是一种高级说法，意思是用数学方法在散点图的点阵中画出一条“最佳拟合线”。

这里有一个类比：想象你正在尝试猜测几个神秘箱子的重量。你有一些已知的参考重量放在秤上。你不知道那些神秘箱子的重量，但你的朋友给了你一些线索，比如：“箱子 A 大约是箱子 B 重量的一半，”或者“箱子 C 是那个 5 公斤参考重量的两倍。”你的朋友并不完美；有时他们猜“两倍重”，但实际情况可能是“1.9 倍”。

本文建议我们不应该仅仅对这些猜测取平均值。相反，我们应该将每一次比较视为科学实验中的一次“测量”。“未知的重量”是我们试图求解的变量，而“朋友的猜测”则是我们的数据点。通过使用统计工具（特别是最小二乘法），我们可以找到这些神秘箱子最可能的重量。

他们的发现：置信区间与“并列”簇

这篇论文真正的魔力不仅在于找到权重，还在于知道该在多大程度上信任它们。因为他们将问题视为一场统计实验，所以他们能够计算出以前无法实现的内容：

1. 置信区间： 就像民调可能会说“支持率为 50%，正负误差 3%”一样，这种方法可以告诉你，某款游戏的得分可能在 0.15 到 0.25 之间。如果范围很大，你就知道数据很不稳固；如果范围很小，你就可以信任这个排名。
2. 排名逆转的概率： 这是最令人兴奋的部分。作者计算了两个项目顺序正确的精确概率。例如，他们发现对于示例中的两个特定项目，其中一个优于另一个的概率为 99.46%。但对于另一对项目，这个概率仅为 58.18%。这几乎跟抛硬币决定胜负没多大区别！
3. “并列”解决方案： 这是论文最具有实际应用价值的部分。如果项目 A 优于项目 B 的概率较低（例如低于 75%），作者建议我们不要强行进行排名。相反，我们应该将它们归入一个“并列簇”（tie cluster）。想象一场比赛，两名选手如此接近，以至于终点线的摄像机都无法分辨谁赢了。与其宣布一个虚假的胜者，不如说“他们打平了”。本文提出了一种算法，可以自动将这些不确定的项目组合在一起，并赋予它们一个平均得分。这能防止决策者基于薄弱的证据做出大胆的选择。

他们并未声称的内容（以及他们排除的内容）

需要注意的是，本文并非做出了以下主张。它并不声称修复了人类的大脑，也不声称能让专家停止犯错。数据中的“噪声”或不一致性依然存在，本文只是更好地衡量了它。

作者明确反对仅仅忽略不确定性，或仅仅依赖传统的“不一致性指数”（旧有的数学工具，用于给出一个表示数据有多混乱的单一数值）。他们表明，单一的数值是不够的，因为两个不同的项目对可以拥有相同的“混乱度”得分，但其中一对可能界限分明（易于排名），而另一对可能几乎完全相同（难以排名）。他们的新方法同时捕捉到了“混乱度”和项目之间的“距离”。

他们也没有声称这对于所有情况都是灵丹妙药。他们的结果是基于数学证明和模拟实验（例如他们处理的包含 7 个备选项的示例）。他们指出，在多人参与的场景中（即多位专家提供数据时），这种方法会更加强大，因为它可以结合每个人的“测量结果”来描绘出一幅更清晰的图景，即使每位专家都遗漏了一些比较。

总结

简单来说，这篇论文将“我觉得这个比那个好”这种混乱且主观的世界，转化为了严谨的、数据驱动的科学。它给了我们一种方式去说：“我们 99% 确定 A 比 B 好，但对于 C 和 D，我们只有 58% 的把握，所以让我们把 C 和 D 视为并列。”它将僵化的排名列表变成了一个灵活且诚实的表达方式，反映出我们实际掌握的信息，从而帮助决策者避免陷入“假装自己比实际更有把握”的陷阱。