Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge

该研究系统评估了五种主流大语言模型在零样本温度设置下对相同输入评分的稳定性，发现模型间存在显著的评分不一致性、同一模型重复运行时的波动性以及温度参数对稳定性的影响差异，从而揭示了将大模型作为自动评估器用于企业生产流程时在公平性、可复现性和可靠性方面面临的严峻挑战。

要点

这篇论文就像是在给大语言模型（LLM）当“考官”时，发现了一个令人头疼的**“薛定谔的分数”**现象。

简单来说，作者做了一项研究，发现当我们让不同的 AI 模型去给同一个答案打分时，即使输入完全一样，AI 给出的分数却经常不一样，甚至同一个 AI 自己前后打分也不一致。

为了让你更轻松地理解，我们可以把这篇论文的核心内容想象成一场**“超级严格的考试”，而 AI 就是那些“阅卷老师”**。

1. 背景：为什么我们需要 AI 当阅卷老师？

以前，我们要检查成千上万份学生作业（比如客服回答、AI 生成的文章），只能靠人工一个个看，太慢太贵了。现在，我们请来了“超级 AI 阅卷老师”（LLM-as-a-judge）。它们速度快、不知疲倦，能瞬间给出一份作业打分，告诉你是“优秀”还是“不及格”。

但是，大家开始担心：这些 AI 老师靠谱吗？它们今天心情好给 90 分，明天心情不好给 60 分吗？

2. 实验：一场“重复考试”

作者找了 5 位著名的"AI 老师”（来自 OpenAI 的 GPT 系列、Google 的 Gemini 系列、Anthropic 的 Claude 系列），让它们去批改同一批真实的“企业级问答”（就像真实的客户咨询）。

作者设置了两个“考试环境”：

• 冷静模式（Temperature=0）： 理论上，AI 应该像机器一样，每次看到同样的题，都给出完全一样的答案。
• 随机模式（Temperature=1）： 允许 AI 发挥一点“创造力”，答案可能会变来变去。

结果让人大跌眼镜：
即使是**“冷静模式”，这些 AI 老师也没有**做到完全一致！

• 同一个老师，同一次考试： 让 GPT-4o 批改同一道题 10 次，它可能第一次打 0.8 分，第二次打 0.5 分，第三次又打 0.9 分。
• 不同的老师，同一次考试： 同一道题，GPT 觉得是满分，Claude 可能觉得只有一半分，Gemini 可能觉得完全不行。

3. 核心发现：三个“怪现象”

怪现象一：连“满分”都拿不稳（内部不一致）

这就好比一个数学老师，今天批改你的试卷，因为手抖多算了一分，明天又少算了一分。

• 最严重的领域是“完整性”（Completeness）： 也就是看答案有没有把话说全。在这个指标上，AI 们的分数波动最大。
• 即使是“冷静模式”也不行： 作者原本以为把温度调到 0（最冷静），AI 就会像计算器一样精准。但现实是，AI 依然会“手抖”。这就好比你让一个机器人走直线，它理论上应该走直线，但实际上它还是会偶尔歪一下。

怪现象二：老师的“口味”大不同（模型间差异）

不同的 AI 老师对“什么是好答案”有完全不同的理解。

• 例子 A（关于“能力”的误解）： 有一道题问“你能帮我做某事吗？”。GPT 和 Gemini 觉得：“哦，它解释了为什么不能做，很诚实，给高分！”但 Claude 却觉得：“它在推卸责任，没直接解决问题，给零分！”
• 例子 B（关于“完整”的定义）： 有一个答案解释了为什么无法提供图表。Gemini 觉得：“解释得很清楚，满分！”GPT 却觉得：“虽然解释了，但没给替代方案，只能给一半分。”
• 比喻： 这就像三个评委看同一场表演。评委 A 喜欢幽默，评委 B 喜欢技术，评委 C 喜欢情感。哪怕表演者没变，三个评委给出的分数天差地别。

怪现象三：降温也没用（温度的影响）

作者试图通过降低“温度”（让 AI 更冷静）来解决问题。

• GPT 和 Gemini： 稍微冷静一点，它们就稳多了，分数波动变小。
• Claude（Anthropic 家族）： 哪怕把温度降到 0，它们依然“情绪化”，分数该乱跳还是乱跳。
• 结论： 并不是所有 AI 老师都能通过“冷静下来”变得靠谱。

4. 这对我们意味着什么？（现实风险）

想象一下，你的公司用 AI 来自动处理客户投诉：

• 场景： 客户 A 发了一个投诉，AI 打分 0.9（严重），系统立刻把工单转给高级经理处理。
• 场景： 客户 B 发了一模一样的投诉，因为 AI 刚才“手抖”了，打分变成了 0.4（轻微），系统只转给了普通客服。

后果：

1. 不公平： 同样的问题，不同的人得到了不同的待遇。
2. 不可靠： 你无法预测系统下一秒会怎么反应。
3. 甚至可能违法： 在医疗、法律或安全领域，这种“随机性”可能是灾难性的。

5. 总结与建议

这篇论文告诉我们：不要盲目信任 AI 给出的具体分数。

• AI 不是计算器： 它们不是像 1+1=2 那样绝对确定的机器。它们更像是有自己“性格”和“心情”的艺术家。
• 稳定性比平均分更重要： 如果一个 AI 总是给 50 分（虽然低，但稳定），我们至少知道它不行，可以调整策略。但如果它一会儿给 10 分，一会儿给 90 分，我们就完全没法信任它了。
• 怎么办？
  • 多重保险： 不要只依赖一个 AI 打分，可以多个 AI 一起评，或者让人类最后把关。
  • 监控波动： 企业在使用 AI 评分时，不仅要盯着平均分，还要盯着“分数的波动范围”（标准差）。
  • 格式也要稳： 有时候 AI 连分数的格式都写错（比如把"Score: 0.5"写成了"0.5 分”），导致系统解析失败。

一句话总结：
现在的 AI 阅卷老师虽然聪明，但它们不够“稳”。在把重要的业务决策（比如谁该被录用、哪个投诉该优先处理）交给它们之前，我们必须先给它们装上“稳定器”，或者时刻盯着它们，防止它们因为“心情不好”或“理解不同”而乱打分。

技术摘要

论文技术总结：LLM 裁判评分的不一致性研究

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）在研究和企业环境中的普及，"LLM-as-a-judge"（将 LLM 作为自动评估者）已成为主流实践，用于评估生成内容的质量、相关性、准确性和帮助性。然而，现有的研究多集中在 LLM 裁判的准确性、偏见或与人类偏好的一致性上，严重缺乏对“评分稳定性”（Consistency/Stability）的考察。

核心问题：
在基于分数的评估任务中（例如为回答打分 0-10 或 0-1），当面对完全相同的输入（Question-Answer 对）时，LLM 是否能给出一致的分数？

• 即使设置温度（Temperature）为 0（理论上应产生确定性输出），LLM 是否仍会因非确定性机制产生不同的评分？
• 不同模型家族（如 OpenAI, Google, Anthropic）对同一输入的评分是否存在系统性差异？
• 温度参数对评分稳定性的影响程度如何？

这种不一致性对企业级工作流（如路由、分级、质量门控）构成了重大风险，可能导致相同的用户请求在不同时间或由不同模型处理时得到截然不同的结果，引发公平性和可靠性问题。

2. 方法论 (Methodology)

实验设计：

• 数据来源：使用来自企业级检索增强生成（RAG）系统的真实用户问答对。由于包含专有数据，数据集未公开，但保证了生态效度并避免了基准污染。
• 评估指标：针对每个回答评估三个维度（0-1 分）：
  1. 相关性 (Relevance)：是否直接回答问题。
  2. 准确性 (Accuracy)：信息是否事实正确。
  3. 完整性 (Completeness)：是否提供了回答问题所需的全部信息（该指标在 RAG 系统中尤为关键）。
• 模型选择：选取了三大主流模型家族中的 5 个模型：
  • OpenAI: GPT-4o, GPT-4o-mini
  • Google: Gemini-2.5-Flash
  • Anthropic: Claude-Haiku-4.5, Claude-Sonnet-4.5
• 实验变量：
  • 温度设置：对比 Temperature = 0（理论确定性）和 Temperature = 1（高随机性）。
  • 重复运行：每个模型对每个问题重复运行 10 次，以计算分数的标准差（Standard Deviation）。
• 提示词 (Prompt)：所有模型使用统一的评估提示词（见附录 1），要求输出结构化评分和理由。

3. 关键发现与结果 (Key Results)

RQ1：模型内部评分的一致性 (Within-Model Consistency)

• 非确定性普遍存在：即使在 Temperature = 0 的设置下，所有模型在重复运行中仍表现出显著的评分波动。理论上“确定性”的设置并未完全消除随机性。
• 指标差异：完整性 (Completeness) 指标的波动性最大，其次是准确性和相关性。这表明模型对“信息是否完整”的判断最为不稳定。
• 模型表现：
  • Anthropic 家族 (Claude)：在 Temperature = 0 时表现最差，完整性评分的波动甚至高于 Temperature = 1 的情况。
  • GPT 家族：Temperature = 0 显著降低了标准差，稳定性有所提升。
  • Gemini：在 Temperature = 0 时表现出极高的稳定性，部分情况下标准差降至接近零。

RQ2：模型间的评分差异 (Cross-Model Differences)

• 系统性偏差：不同模型家族对同一问题的评分存在显著差异。
  • 严格程度：Anthropic 模型通常比 GPT 和 Gemini 更严格。例如，对于同一个回答，Claude 可能给出接近 0 的分数（认为未回答用户意图），而 GPT/Gemini 给出高分。
  • 解释标准：模型对“完整性”的定义不同。Gemini 倾向于认为只要解释了局限性即为完整（给 1 分），而 GPT-4 可能认为缺乏后续建议即为不完整（给 0.5 分）。
• 后果：相同的输入可能导致下游流程（如路由或拦截）做出完全不同的决策。

RQ3：温度对一致性的影响 (Effect of Temperature)

• 影响不均：降低温度并不总能提高稳定性。
  • GPT 和 Gemini：降低温度（从 1 到 0）显著提高了评分的一致性。
  • Anthropic：降低温度带来的改善微乎其微，甚至在某些情况下（如 Claude 的完整性评分）波动反而增加。
• 结论：非确定性不仅仅源于采样随机性（Sampling Stochasticity），可能还涉及模型架构或解码层面的深层差异。

其他发现：

• 格式不一致：即使分数相似，模型的输出格式（JSON 或文本结构）偶尔也会偏离提示词要求，导致下游解析错误。

4. 主要贡献 (Key Contributions)

1. 填补研究空白：首次系统性地量化了 LLM 在基于分数的评估任务中的稳定性问题，特别是针对企业级 RAG 场景中的“完整性”指标。
2. 揭示“伪确定性”风险：证明了即使设置 Temperature = 0，LLM 裁判仍无法保证完全确定的输出，挑战了当前工业界对“确定性模式”的盲目信任。
3. 多模型对比分析：揭示了不同模型家族（OpenAI, Google, Anthropic）在评分逻辑、严格程度和对温度参数响应上的显著差异。
4. 提出企业级风险：指出了评分不一致性对自动化工作流（路由、门控、质量检查）的潜在破坏，强调了单一模型平均分的局限性。

5. 意义与启示 (Significance)

对企业部署的警示：

• 不可靠的自动化决策：如果依赖 LLM 评分进行自动路由或质量门控，相同的用户请求可能因模型版本、温度设置或运行时间的不同而被错误分类。
• 公平性与审计：评分的不一致性可能导致用户受到不公平对待，并在法律或安全关键领域（如法律索赔、软件维护）引发责任问题。
• 评估标准需升级：企业在选择 LLM 裁判时，不能仅看平均得分（Mean Score），必须将标准差（Standard Deviation）或置信度作为核心指标。一个“ consistently wrong"（始终错误但稳定）的模型比一个“unstable”（有时对有时错）的模型更具可预测性和可管理性。

技术建议：

• 混合评估：建议采用“人类+LLM"的混合评估策略，或引入二级解析模型来确保输出格式的鲁棒性。
• 监控与治理：在生产环境中必须持续监控评分的波动性，而不仅仅是监控准确性。
• 参数调优：对于 Anthropic 模型，单纯降低温度可能无法解决稳定性问题，需探索提示工程（Prompt Engineering）或架构层面的优化。

总结：
该研究有力地证明了当前的 LLM 裁判在评分任务中缺乏必要的稳定性。在将 LLM 集成到生产级评估管道之前，组织必须正视这种非确定性，并通过严格的监控、稳健的解析策略和混合评估机制来缓解风险，以确保 AI 系统的可靠性、公平性和可审计性。