💬 NLP

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

本文揭示了大型语言模型在面对保持语义不变的改写时，其回答往往表现出显著的不稳定性，这表明标准的准确率指标可能会掩盖可靠性问题，并且自我改写策略可以有效地恢复潜在知识以提升性能。

原作者： Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

完美机器人的幻象

想象一下，你正在和一个非常聪明的机器人朋友聊天，它几乎读过了图书馆里的每一本书。你问它一个简单的问题，它给出了一个精彩且正确的答案。你会感到很放心，对吧？但如果你用稍微不同的措辞再次询问同一个问题，情况会怎样？它还会给出同样的答案吗？这就是来自马里兰大学计算机科学家的一项新研究背后的核心问题。他们正在研究“大语言模型”（LLMs），也就是像聊天机器人这类工具背后的超智能 AI 大脑。这些模型以在测试中表现精准而闻名，但这项研究提出了一个棘手的问题：它们是真的可靠，还是仅仅擅长根据问题的措辞进行猜测？把它想象成一个背诵了练习题准确措辞的学生。如果稍微改变一下问题的说法，这个学生是否仍然知道答案，还是会感到困惑？研究人员想要找出这些 AI 模型是真的理解了这个世界，还是仅仅在玩一场“单词匹配”的游戏。

同样的问题，错误的答案

研究人员决定与 13 种不同的 AI 模型进行一场游戏，这些模型涵盖了从小型开源模型到大型科技公司使用的庞大强大模型。他们提取了关于现实世界事实的问题（例如“1864 年安德森输掉了多少盘国际象棋？”）和数学题，然后用几十种不同的方式重写了这些完全相同的问题。他们确保新的问题意思完全一致，就像说“你好吗？”与“最近怎么样？”或“过得如何？”之间的区别一样。

以下是他们发现的令人惊讶的转折点：AI 模型往往是不一致的。 尽管问题的含义相同，但模型有时第一次回答正确，而在重新表述问题后却回答错误。事实上，对于许多问题，模型会在正确与错误之间发生切换，这取决于措辞的方式。研究发现，不匹配率（即模型对同一个问题给出不同答案的情况）可能达到 23% 以上。这意味着如果你用不同的方式问同一个模型 100 次，即使它一直都知道正确答案，它仍有近四分之一的时间会给你一个不同的（且错误的）答案！

“隐藏知识”的差距

这个故事最引人入胜的部分在于，这反映了 AI 究竟“知道”什么。研究人员发现，模型的内部往往确实隐藏着正确答案。如果你用足够多的不同方式提问，模型最终至少能答对一次。这表明知识确实存在，但模型提取知识的过程并不可靠。

为了直观展示这一点，请想象一个正在考试的学生：

标准准确度： 学生在第一次尝试时答对了 80%。
可靠能力： 无论你如何措辞，只要你问这个问题，学生每次都能答对 80%。
潜在能力： 如果你用 10 种不同的方式提问，学生至少能答对一次。

研究发现，“可靠能力”与“潜在能力”之间存在巨大的差距。模型往往知道答案（潜在），但在展示答案时却无法保持一致（可靠）。在某些情况下，如果你换一种问法，模型可以多答对 30% 的问题，但在标准测试中却未能做到这一点。这意味着我们在排行榜上看到的标准“准确率”得分可能掩盖了大量的稳定性问题。这些模型并不一定是笨，它们只是脆弱。它们依赖于特定的词汇模式，而非深层、稳固的理解。

“翻转”与“修复”

研究人员还观察了一个被称为“翻转率”的现象。这是指模型第一次答对了问题，但在重新表述后却答错了；或者更令人困惑的是，它第一次答错了，但在重新表述后却答对了。这种“反复无常”的行为表明模型的思维是摇摆不定的。这就像一个指南针，当你以一种方式握住它时它指向北，但当你稍微倾斜它时，它就指向了东。

然而，出现了一线希望。研究人员尝试了一种简单的技巧，叫做自我改写（Self-Paraphrasing）。他们不再只是向模型提问，而是先让模型用自己的话重写问题，然后基于这些新的版本进行回答。这就像要求一个学生在回答之前先在脑海中“重读一遍问题”。这一简单的步骤帮助模型弥合了差距，通过帮助它们获取那些隐藏的、潜在的知识，从而提升了表现。

这对未来意味着什么

这篇论文的主要结论是，标准的准确率得分可能是具有误导性的。 仅仅因为一个模型在测试中获得了高分，并不意味着它在现实世界中是真正可靠的。在现实生活中，人们会以各种奇怪的方式提问，如果 AI 无法处理这些情况，那么它就还没准备好投入实际应用。研究表明，我们不应仅仅关注“它答对了多少题”，而应该开始询问“它的连贯性如何？”

作者们建议，要让 AI 真正值得信赖，必须测试它在不同措辞下保持一致性的能力。在此之前，我们可能高估了这些机器人真正的聪明程度。它们可能非常擅长背诵剧本，但在学会如何在不脱离思路的情况下即兴发挥之前，它们仍有很长的路要走。

技术摘要：同样的问题，不同的答案：评估大语言模型在准确率之外的可靠性

问题陈述

尽管大语言模型（LLMs）在标准基准测试中表现出极高的准确率，但当同一个问题以不同但语义等价的方式呈现时，其可靠性仍然不明朗。目前的评估实践通常依赖于单提示词准确率，这可能会掩盖显著的不稳定性。现有的 LLM 鲁棒性研究多侧重于浅层扰动（例如格式变化、对抗性噪声）或多项选择任务，这些任务限制了输出的变异性。此外，聚合准确率指标往往会掩盖实例层面的波动，且之前的改写研究有时会受到“意义漂移”的影响。本研究旨在填补这一空白，即探讨 LLM 在处理事实性问答和数学推理等开放式生成任务时，在严格的、保持原意的改写下的行为表现。

研究方法

作者引入了一个受控框架，通过使用经过严格验证的语义等价输入来评估 LLM 的一致性。

1. 构建语义等价测试集

为了隔离表面形式的影响，本研究使用一个三阶段验证流水线为每个原始查询（ $Q_0$ ）生成改写版本：

受控生成： 使用高能力模型（GPT-4.1-mini）在轻量级线索的约束下生成改写版本，以诱导结构或风格的变化（如语气、句法），同时保留意图和约束条件。
词汇重叠过滤： 丢弃与原句词汇重叠度较高（>0.8）的候选句，以确保是真正的重写而非表面的编辑。
双阶段语义验证：
- LLM 评判员验证改写句是否询问完全相同的信息。
- 基于 NLI 的过滤器（facebook/bart-large-mnli）检查原始句与改写句之间的双向蕴含关系。
人工验证： 由人类对一部分改写对（约 1250 对）进行标注，实现了 92–98% 的语义等价一致性，证实了该流水线的严苛性。

2. 评估协议

模型： 评估了 13 个模型，包括开源模型（Llama-3、Qwen-2.5/3 系列，参数量从 0.6B 到 32B 不等）和闭源模型（GPT-3.5、GPT-4o、GPT-4.1 变体）。
数据集： 四个涵盖事实性问答（SIMPLEQA、TRUTHFULQA）和数学推理（GSM8K、MATH-500）的基准测试。
解码： 使用确定性解码，将变异性归因于模型的内部状态，而非随机采样噪声。
指标： 研究超越了标准的准确率，定义了以下指标：
- 准确率变体： 原始准确率（ $A_{orig}$ ）、平均改写准确率（ $A_{dist}$ ）以及多数投票准确率（ $A_{MV}$ ）。
- 实例级稳定性： 不匹配率（原始结果与多数投票结果之间的分歧）、预测翻转率（方向性不稳定性）以及非确定性（ND）率（包含多个不同标签的集合比例）。
- 能力边界：
  - 最大能力（ $A_{any}$ ）： 模型在至少一个改写句上回答正确的比例（潜在知识）。
  - 可靠能力（ $A_{strict}$ ）： 模型在所有改写句上都回答正确的比例（可靠知识）。

核心结果

1. 稳定性的错觉

聚合准确率指标显示，在改写后的准确率波动较小（通常为 0–5%）。然而，实例层面的分析揭示了巨大的隐藏不稳定性：

高不匹配率： 高达 23% 的问题在被改写后会获得不同的正确性标签，即使聚合准确率的差距接近于零。
非确定性： 高达 47% 的改写集合包含相互矛盾的预测（模型对语义相同的输入输出不同的标签）。
翻转率： 模型经常在原问题上回答正确但在改写句上失败，反之亦然（在原问题上失败但在改写句上成功）。这表明标准准确率往往是抵消误差后的统计学产物，而非真实的可靠性。

2. 可靠性差距

模型的潜在知识与其一致性表现之间存在显著差异：

潜在 vs. 可靠： $A_{any}$ （最佳情况）始终高于 $A_{strict}$ （最差情况）。例如，在 TRUTHFULQA 上，模型通常具备能够正确回答额外 30% 问题的内部能力，但无法在不同措辞下一致地检索到这些知识。
规模趋势： 虽然更大的模型通常表现出更好的稳定性和更高的 $A_{strict}$ ，但这种差距依然存在，即使是在高性能模型中也是如此。思维链（CoT）推理提高了准确率和一致性，但并未完全消除不稳定性。

3. 通过自我改写弥合差距

研究表明，通过在推理阶段采用**自我改写（Self-Paraphrasing）**策略——即模型生成自身的改写版本以构建更丰富的上下文后再进行回答——可以部分弥合这种“可靠性差距”。在测试的 7 个模型中有 6 个性能得到了提升。这表明潜在知识是存在的，只是由于对表面形式的敏感性导致检索不一致。

重要性与主张

本文认为，标准的准确率指标提供了一个不完整且往往过于乐观的 LLM 可靠性视图。主要贡献如下：

揭示实例级的不稳定性： 研究证明，在保持原意的输入下存在显著的不稳定性，而这种不稳定性被聚合准确率所掩盖。
定义可靠性差距： 它形式化了潜在能力（ $A_{any}$ ）与可靠能力（ $A_{strict}$ ）之间的区别，表明模型往往拥有其无法可靠获取的知识。
提出新的评估范式： 作者倡导跨改写输入的“一致性感知评估”，以更好地反映用户措辞多变的实际部署场景。
实际缓解措施： 研究结果表明，简单的测试时策略（如自我改写）可以作为一种“去噪”机制，从而在无需重新训练的情况下恢复潜在知识并提高鲁棒性。