💻 computer science

The Trust Paradox: How CS Researchers Engage LLM Leaderboards

通过对八位计算机科学领域研究人员的访谈，本文揭示了一个悖论：从业者虽不信任大语言模型排行榜，却将其作为粗略指南加以依赖，最终发现同行网络和基于竞技场排名的机制比静态基准更能驱动模型选择，同时凸显了对成本透明度的迫切需求。

原作者： Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能研究的世界就像一个规模宏大、 stakes 极高的体育联盟。在这个联盟中，排行榜就是官方记分牌。它们根据模型在特定测试（如标准化数学考试或阅读理解测验）中的表现，对人工智能模型（即“运动员”）进行排名。

普遍的假设很简单：如果某个模型位于记分牌顶端，它就是最优秀的运动员。

然而，滑铁卢大学的一项新研究揭示，实际参与这场游戏的科学家们并不相信记分牌能反映全部真相。事实上，他们与记分牌之间存在着一种奇怪且矛盾的关系。

以下是他们研究发现的详细拆解，并辅以日常类比：

1. “信任悖论”：明知记分牌有缺陷，却依然查看

研究人员采访了来自不同领域的八位计算机科学家。他们发现了一种普遍模式，称为**“务实的怀疑主义”**。

类比：想象你在买车。你知道官方的“年度汽车”杂志排名是有缺陷的，因为杂志可能存在偏见，或者测试无法反映真实的驾驶条件。你知道这些排名是靠不住的。
现实：尽管这些研究人员对排行榜深表怀疑，但他们仍然会查看它们。为什么？不是为了做出最终决定，而是为了缩小选择范围。
结果：他们将排行榜视为一种“粗略过滤器”。它帮助他们排除明显糟糕的选项，从而无需测试 100 个模型，但他们绝不会将排名第一的位置视为绝对真理。

2. 真正的“教练”：同行网络胜过记分牌

如果研究人员不信任记分牌，他们信任谁？他们的朋友和同事。

类比：这就像选择餐厅。你可以查看官方的“米其林指南”（即排行榜），但你更有可能问一位你信任的朋友：“嘿，你昨晚去哪家餐厅吃饭觉得真的不错？”
发现：对于八位研究人员中的七位来说，选择人工智能模型时最重要的因素是来自同行的推荐。他们更信任同事的个人经验（“我试过这个，它在我的特定项目中奏效了”），而不是公司的营销宣传或静态的测试分数。
信任层级：
1. 同行/同事（最受信任）
2. 第三方专家
3. 制造人工智能的公司（最不受信任，被视为有偏见的广告商）

3. “竞技场”与“笔试”

研究发现，研究人员更偏好其中一种类型的排行榜。

静态基准（笔试）：这些是固定的测试，模型反复回答相同的问题。研究人员对这些持怀疑态度，因为公司可以“备考”甚至作弊，或者测试可能已经过时。
基于竞技场的（现场秀）：这些平台让真实的人类实时投票选出他们更喜欢的人工智能回复（类似于人气竞赛）。
裁决：所有人都更偏好“竞技场”。他们认为这更诚实，因为它反映了人类如何实际与人工智能互动，而不是人工智能在多大程度上死记硬背了特定测试。

4. 并非所有人都玩同一场比赛

研究揭示，追逐排行榜顶端的压力完全取决于你所在的“队伍”（子领域）。

自然语言处理（NLP）团队：这些研究人员承受着巨大的压力。这就像高中体育联盟，如果你的平均绩点（GPA）不是最高，你就无法进入大学。他们必须将自己的工作与排名靠前的模型进行比较，才能发表成果。
人机交互（HCI）与隐私团队：这些研究人员就像在从事完全不同的运动。他们不在乎排行榜。他们关心的是用户体验、安全性或隐私。如果他们的人工智能不安全或难以使用，那么在数学测试中“排名靠前”毫无意义。
意外发现：这些其他领域的一些研究人员甚至不知道排行榜的存在！他们在人工智能世界中探索，却从未看过记分牌。

5. 缺失的一环：价格标签

如果研究人员能够重新设计这些排行榜，使其真正有用，他们会添加什么？

核心诉求：成本透明度。
类比：想象一个排行榜告诉你一辆车每加仑能行驶 50 英里，却不告诉你这辆车售价 20 万美元。这是毫无用处的信息。
现实：研究人员需要知道运行这些模型的成本。一个模型可能很“聪明”，但如果使用成本高昂，它就不切实际。八位研究人员中有七位表示，这是最重要的缺失功能。他们还想知道“竞技场”中是谁在投票，以确保投票者不是一群来自特定国家或文化的人。

总结

该论文得出结论：排行榜作为“真相讲述者”是失效的，但作为“对话发起者”是有用的。

研究人员不会盲目追随排名。他们将排行榜作为起点，但依靠他们的人际网络、个人测试和成本计算来做出真正的决策。这项研究表明，如果我们希望这些记分牌更具帮助性，它们就必须停止假装完美，转而展示全貌：成本、具体优势以及分数背后的人类投票者。

技术摘要：信任悖论——计算机科学研究人员如何参与大语言模型排行榜

问题陈述

大语言模型（LLM）排行榜已成为现代人工智能研究中的核心产物，它们通过聚合模型在标准化任务上的得分来提供排名。这些平台通常采取两种形式：静态基准排行榜（例如 MMLU、Open LLM Leaderboard），在固定测试集上对模型进行排名；以及竞技场式排行榜（例如 Chatbot Arena），聚合人类偏好投票。

尽管这些平台备受关注，但技术文献已确立了其在可靠性和稳健性方面的显著局限。研究表明，排行榜排名对微小扰动敏感（例如调整评估提示或移除少量数据），容易受到策略性操纵（例如刷票或针对性测试），且不同的排名算法（例如 Elo 与 Glicko）可能基于相同数据产生截然不同的排序。

然而，一个关键的空白依然存在：虽然排行榜的技术脆弱性已有记录，但实证研究尚未阐明这些平台实际上如何塑造研究人员的日常实践、决策过程以及信任判断。目前尚不清楚研究人员是将排行榜位置视为进展的确定性代理指标，还是持怀疑态度并有选择性地使用这些信号。本研究通过考察排行榜在不同计算机科学子领域中的社会技术角色，填补了这一空白。

方法论

本研究采用基于**反思性主题分析（RTA）**的定性解释主义方法。

参与者：招募了来自四个子领域的八位计算机科学研究人员：自然语言处理（NLP， $n=3$ ）、人机交互（HCI， $n=2$ ）、系统/隐私（ $n=2$ ）以及跨学科的“其他”类别（ $n=1$ ）。样本包括博士生、一名硕士生和博士后研究人员。
数据收集：数据通过半结构化访谈（30–45 分钟）收集，访谈前填写背景问卷，访谈后通过成员核查流程，由参与者审查其访谈摘要以确保事实准确性。
程序：向参与者展示排行榜设计的视觉分类图以奠定讨论基础。访谈探讨了模型选择策略、对排行榜可信度的态度以及排名对研究框架构建的影响。
分析：使用 Braun 和 Clarke 的六阶段 RTA 流程分析转录文本。主要研究人员生成了 210 个编码片段，涵盖 71 个独特代码，组织为七个分析维度和六个主题。未进行编码者间信度检验；相反，通过撰写分析备忘录和参与者成员核查来维持反思性。

主要贡献

本文做出了三项主要贡献：

“实用怀疑主义”悖论的实证证据：研究确定了一种近乎普遍的立场，即研究人员对排行榜排名表示深度不信任，却继续将其用作粗略的决策辅助工具。
跨子领域的影响力比较：研究证明，排行榜的影响力由学科文化而非个人态度所中介。例如，NLP 研究人员面临巨大的与最先进（SoTA）模型比较的压力，而 HCI 和系统/隐私研究人员则报告几乎没有此类期望。
可操作的设计建议：本研究将研究人员的需求转化为具体的基础设施改进措施，超越了对评估的假设，转而解决实际的使用模式。

主要结果

1. 信任悖论与使用模式

与从热情采纳到完全拒绝的光谱相反，所有八位参与者均表现出实用怀疑主义。

不信任：参与者承认静态基准可以被“学习”或操纵，且竞技场排名可能被人为操控。他们认识到排名并非质量的决定性衡量标准。
使用：尽管存在这种不信任，参与者仍使用排行榜作为“弱先验”来缩小搜索空间。他们并不将排名视为事实真相，而是将其作为进一步调查的起点。
主要选择机制：同行网络而非排行榜，成为模型选择的主导机制。八位参与者中有七位主要依赖同行推荐（实验室对话、社交媒体、受信任的专家）。一位 NLP 研究人员指出：“我 90% 的使用是基于推荐。”
经验优于证据：个人、动手的试错测试优先于定量排名。参与者经常进行“满意解”（satisficing），接受“足够好”的模型，而不是寻找排名最高的选项。

2. 参与度的学科差异

排行榜的影响力因子领域不同而显著差异：

NLP：由于出版规范，研究人员面临与最先进（SoTA）模型进行比较的巨大压力。他们深度参与排行榜，但仍对其稳定性持怀疑态度。
HCI 和系统/隐私：这些领域的研究人员报告没有由排行榜驱动的出版压力。他们的评估标准（例如延迟、用户体验、形式化隐私保证）通常超出了标准基准指标的范围。值得注意的是，八位参与者中有五位（包括 HCI 和系统/隐私研究人员）对特定排行榜平台几乎没有或完全没有先前的了解，突显了非 NLP 受众在可发现性方面的失败。

3. 可信度与缺失的指标

竞技场与静态：所有子领域（8/8）达成普遍共识，即基于竞技场（人类投票）的排行榜优于静态基准排行榜。参与者认为竞技场结果更具可解释性，且与实际用户体验更一致。
成本透明度：八位参与者中有七位提出的最迫切缺失功能是成本透明度。研究人员批评缺乏定价或效率数据，指出每次查询的成本往往是学术研究人员面临的约束性限制。
粒度：参与者请求按任务细分的分数分解（例如，数学、编程、多语言分别计分），而不是单一的汇总数字。
透明度：呼吁披露投票者的人口统计信息以评估偏见，以及提供关于模型来源和机构利益冲突的信息。

意义与主张

本文认为，大语言模型排行榜不应仅被视为技术基础设施，而应被理解为嵌入研究文化中的社会技术产物。

社会嵌入：本研究挑战了仅靠更好的指标就能提高采用率的观点。它提出，模型选择具有深刻的社会性，由同行信任网络驱动，这些网络会过滤、解读（或忽略）排行榜信号。
效用的悖论：尽管普遍存在不信任，排行榜的使用依然持续，这表明其价值不在于准确性，而在于其作为协调工具的功能，能够减少令人不知所措的搜索空间。
伦理与结构关切：作者强调，当前的排行榜文化编码了资源不平等，惩罚了那些没有工业级计算预算、无法在 SoTA 基准上竞争的研究人员。此外，治理缺乏透明度以及基准测试被操纵的可能性构成了伦理风险，特别是对于 NLP 以外的从业者，他们可能缺乏批判性评估基准方法论的专业知识。

研究结论指出，评估基础设施必须重新设计，以符合研究人员实际使用它的方式，纳入成本数据、特定任务的粒度以及关于投票人口统计和治理的透明度，而不是依赖无法捕捉研究人员所需异质性效用的单一分数排名。