Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering
本文通过实证研究揭示了大语言模型作为代码评审法官时，其判断结果极易受提示词偏差影响，导致评估缺乏一致性和可靠性，因此呼吁在软件工程评估中必须将偏差敏感性纳入报告并实施显式控制以确保评估的可信度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于**“让 AI 来当裁判，到底靠不靠谱？”**的研究论文。
想象一下，你开了一家巨大的“代码工厂”，每天有成千上万行代码需要检查。以前，你需要雇佣成千上万的程序员（人类专家）来一个个检查，这太慢、太贵了。于是，你决定雇佣一个**"AI 裁判”**（大语言模型，LLM）来帮你打分、挑错、决定哪个代码更好。
这篇论文就是由三位来自英属哥伦比亚大学的研究员写的，他们给这位"AI 裁判”做了一次**“体检”**，结果发现：这位裁判虽然看起来挺聪明，但其实非常“玻璃心”，而且特别容易“被带节奏”。
下面我用几个生活中的比喻来给你讲讲这篇论文发现了什么：
1. 裁判的“脸盲症”与“位置偏见”
（核心发现：位置决定胜负）
想象你在参加一场辩论赛，裁判是 AI。
- 情况 A：选手 A 先发言，选手 B 后发言。
- 情况 B：选手 B 先发言，选手 A 后发言。
按理说，谁说得对谁赢，跟谁先说话没关系。但研究发现，AI 裁判非常在意“谁先出场”。
- 如果正确答案在第一个位置（A），AI 裁判往往能认出它。
- 如果正确答案被换到了第二个位置（B），哪怕内容一模一样，AI 裁判的得分能力就会“断崖式”下跌，甚至直接选错。
比喻：这就像你去买衣服，如果导购员先给你看那件贵的（其实是好的），你可能觉得“嗯，不错”；但如果先给你看那件便宜的（其实是坏的），再给你看那件贵的，你可能反而觉得“刚才那件也不错”，从而选错了。AI 裁判对“出场顺序”太敏感了。
2. 裁判的“耳根子软”：12 种“带节奏”的魔法
（核心发现：提示词里的微小改动就能操控裁判）
研究人员给 AI 裁判加了 12 种不同的“心理暗示”（Prompt 偏见），看看它会不会被带偏。结果发现，只要稍微改几个词，裁判的判决就完全变了。
这里有几个有趣的例子：
- “权威光环” (Authority)：如果你告诉裁判“选手 A 是参考了官方标准手册写的”，哪怕选手 A 的代码其实有错，裁判也会觉得它是对的。
- 比喻：就像有人说“这药是诺贝尔奖得主推荐的”，你就算没看说明书，也敢直接吃。
- “废话文学” (Verbosity)：如果选手 A 的回答特别长、解释特别多，裁判会觉得它“更严谨”，哪怕它其实是在胡扯。
- 比喻：就像老师批改作业，写得密密麻麻的卷子，哪怕错得离谱，老师看着也顺眼；写得简短的，哪怕全对，老师反而觉得你态度不端正。
- “情感煽动” (Sentiment)：如果选手 A 的语气特别自信（“绝对没问题！”），而选手 B 语气犹豫（“可能……也许……"），裁判会毫不犹豫地选 A，哪怕 A 是错的。
- 比喻：就像两个推销员，一个拍着胸脯说“包你满意”，另一个唯唯诺诺，你肯定选第一个，哪怕第一个卖的是假货。
- “思维链” (Chain-of-Thought)：如果让选手 A 把思考过程一步步写出来，裁判会觉得它逻辑严密，从而给它高分。
最可怕的地方在于：这些偏见不是随机的。如果正确答案正好在“被带节奏”的位置上，AI 的准确率会飙升（看起来它变聪明了）；但如果正确答案在另一个位置，AI 的准确率就会暴跌（看起来它变笨了）。
这意味着，如果你只看到 AI 裁判在某次测试中准确率很高，那可能只是因为它“运气好”，碰上了它喜欢的提示词，而不是它真的懂代码。
3. 裁判的“稳定性”：今天选 A，明天选 B？
（核心发现：重复测试，结果不一）
如果你让同一个 AI 裁判，用完全一样的题目、完全一样的规则，连续看两次同样的代码，它会给出同样的答案吗？
- 对于简单的代码：它比较稳。
- 对于难的代码：它就像个“摇摆不定”的人。第一次看觉得 A 好，第二次看觉得 B 好。
- 特别糟糕的情况：有些模型（比如通用的 Qwen 模型）甚至根本不给答案！它们会开始写长篇大论的废话，直到把屏幕填满，却永远不输出“我选 A"或“我选 B"。
- 比喻：你问它“这道题选 A 还是 B？”，它开始跟你讲“这道题的背景、历史、以及 A 和 B 的哲学意义……"，讲着讲着就超时了，最后啥也没选。
4. 这对我们意味着什么？（结论与建议）
这篇论文给所有想用 AI 来评估代码的人敲响了警钟：
- 不要盲目信任 AI 裁判：现在的 AI 裁判并不是一个客观的“上帝视角”，它更像是一个容易受环境影响、容易看脸、容易听信谗言的“新手裁判”。
- 报告要透明：如果你用 AI 做研究或产品，不能只说“准确率 90%"。你必须同时报告：
- 如果我把题目顺序换一下，准确率变了吗？
- 如果我加一点“权威”或“自信”的提示词，结果变了吗？
- 我让它做了 10 次，有几次它没给出答案？
- 不要只靠 AI：在关键的时刻（比如决定代码能不能上线），不能只让 AI 拍板。如果 AI 裁判在“位置”或“提示词”上表现出不稳定，那就必须引入人类专家或者自动测试程序（比如真的把代码跑一遍看能不能通过）来复核。
总结一句话
让 AI 当代码裁判，就像让一个容易晕车、又特别在意谁先说话的人去当法官。如果你不精心设计规则（提示词），不反复验证，他给出的判决可能只是“运气”或者“被忽悠”的结果，而不是真正的真理。
这篇论文呼吁大家：在把代码交给 AI 裁判之前，先给裁判做个“心理体检”，确保它不会轻易被带偏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。