💬 NLP

Question Difficulty Estimation for Large Language Models via Answer Plausibility Scoring

本文介绍了 Q-DAPS，这是一种通过计算答案合理性分数的熵来估计大语言模型问题难度的新方法，与现有方法相比，该方法在多个数据集上展现出更优越的性能、鲁棒性以及与人类判断的一致性。

原作者： Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《通过答案似然性评分评估大语言模型的问题难度》（Q-DAPS）的解读，将其拆解为简单概念和日常类比。

核心理念：一个问题究竟有多难？

想象你是一位老师，试图弄清楚某道考题对学生来说有多难。传统上，你可能会审视题目并说：“这句话很长且用词生僻，所以肯定很难。”或者，你可能会查看有多少人曾问过这个问题；如果没人问过，那它一定很冷僻且困难。

但本文作者认为，对于大语言模型（LLMs）——即我们今天使用的超级智能 AI 聊天机器人——这些旧方法并不奏效。一个问题可能用词简单却需要复杂的逻辑，或者它可能非常流行，但仍能难倒 AI。

因此，他们发明了一种名为Q-DAPS的新方法来衡量难度。

核心类比：“困惑的侦探”

将大语言模型想象成一位试图解开谜团的侦探。

简单的问题： 侦探查看线索后立刻想到：“肯定是鲍勃·盖尔多夫（Bob Geldof）。”所有其他嫌疑人（如“教皇”或“一只随机猫”）都显得荒谬可笑。侦探有 100% 的把握。
困难的问题： 侦探查看线索后心想：“嗯，可能是罗杰·凯斯门特（Roger Casement），但也可能是迈克尔·柯林斯（Michael Collins），或者是埃尔斯金·柴尔德斯（Erskine Childers）。”所有嫌疑人都看起来同样可疑。侦探感到困惑且不确定。

Q-DAPS 测量的就是这种困惑。

Q-DAPS 不是问 AI“这个问题难吗？”，而是要求 AI 生成一份看似正确实则错误的答案列表。然后，它检查 AI 在这些错误答案之间犹豫的程度。

如果 AI 在许多错误答案之间感到困惑，那么这个问题就是难的（高熵）。
如果 AI 能立即排除所有错误答案，那么这个问题就是简单的（低熵）。

Q-DAPS 的工作原理（三步法）

论文将这一过程描述为三个简单的阶段，就像烘焙蛋糕一样：

1. 生成“虚假”答案（候选生成）

系统要求 AI 针对一个问题列出一组可能的答案，但明确指示 AI：“不要给出正确答案。只给我 20 个听起来合理的猜测。”

示例： 对于“谁是现代行为主义之父？”这个问题，AI 可能会猜测：“B.F.斯金纳”、“西格蒙德·弗洛伊德”、“伊万·巴甫洛夫”等。
AI 还会为每个猜测给出一个“似然性评分”（0 到 100），表示它认为该猜测为真的可能性有多大。

2. 消除“流行度”偏差（去偏）

这是一个棘手的部分。AI 模型通常对流行事物存在偏差。如果你询问一位名人，AI 可能会仅仅因为他们出名而首先猜测他们，而不是因为他们是正确答案。

解决方法： 研究人员检查每个猜测在维基百科上的流行程度（有多少人浏览该页面）。如果一个猜测非常流行，他们会略微降低其评分，以确保 AI 不仅仅是基于名气进行猜测。这使得测试更加公平。

3. 测量“困惑度”（评分）

最后，系统查看评分列表。

低熵（简单）： 一个答案的得分极高（例如 90），其余得分极低（例如 5、2、1）。AI 很有信心。
高熵（困难）： 所有答案的得分都相似（例如 40、38、35、32）。AI 分裂且困惑。

系统将这种“困惑度”转换为 0 到 1 之间的单个数字，其中 1 代表最难的问题。

为什么这很重要（根据论文）

作者在四种不同类型的问题数据集（从简单的常识问答到复杂的科学推理）上测试了这种方法。他们将 Q-DAPS 与其他方法进行了比较，例如：

可读性公式（计算音节数）。
流行度统计（有多少人搜索它）。
检索统计（在数据库中查找答案的难度）。

结果： Q-DAPS 获胜。它在预测哪些问题实际上会让 AI 出错方面，表现要好得多。

关键发现（通俗版）

即使没有答案键也能工作： 使用 Q-DAPS 不需要知道正确答案。AI 可以生成“虚假”答案并自行评估难度。
适用于较小的 AI 模型： 运行此测试不需要最昂贵、最庞大的 AI。更小、更便宜的模型也能很好地工作。
符合人类直觉： 当人类查看 Q-DAPS 标记为“难”的问题时，他们同意这确实很难。当人类查看那些“简单”的问题时，他们同意那些确实很简单。
能捕捉“幻觉”风险： 论文指出，如果一个问题具有高熵（高困惑度），AI 更有可能编造虚假答案（产生幻觉），因为它无法在看似合理的选项之间做出决定。

论文未声称的内容

它不声称这是一种用于诊断患者的医疗工具。
它不声称它对世界上每种语言都完美有效（该研究仅在英语中进行）。
它不声称“难”的问题 AI 就无法回答；它仅仅意味着 AI 目前对选项感到不确定或困惑。

总结

Q-DAPS 是一把衡量问题对 AI 而言有多难的新标尺。它不看纸面上的文字，而是观察 AI 在尝试猜测答案时变得多么困惑。如果 AI 在许多看似合理的错误答案之间左右为难，那么这个问题就很难。如果 AI 确切知道该选什么，那么这个问题就很简单。这有助于开发者知道何时信任 AI，以及何时需要对其工作进行双重检查。

技术摘要：Q-DAPS（基于答案可信度分数的题目难度评估）

问题陈述

评估题目难度对于在问答（QA）系统中评估和改进大语言模型（LLMs）至关重要。现有方法通常依赖可读性公式、基于检索的信号或流行度统计。然而，这些方法往往无法捕捉现代大语言模型所面临的具体推理挑战，因为它们通常基于人类可读性或检索系统指标，而非模型内部的不确定性。此外，现有方法未明确解决幻觉风险，即较难的题目更可能诱使模型生成虚构答案。因此，亟需一种面向大语言模型的难度指标，该指标应能反映错误答案在模型自身看来具有多大的说服力。

方法论：Q-DAPS

作者提出了Q-DAPS，一种通过计算一组候选答案的可信度分数的熵来估算题目难度的方法。该方法分为三个 distinct 阶段：

候选生成：提示大语言模型为给定题目生成 $N$ 个唯一的候选答案（排除标准答案），并为每个答案提供可信度分数（0–100）及理由。系统验证这些输出以确保无重复项、分数范围有效且候选数量正确。若验证失败，则通过提高温度参数重新生成。
流行度去偏：为减轻流行度偏差（即大语言模型倾向于生成或偏好更流行的实体），该方法利用维基百科页面浏览量统计对可信度分数进行调整。去偏后的分数（ $DePls_i$ ）计算如下：
$DePls_i = Pls_i \times (1 - \alpha \times Pop_i)$
其中 $Pls_i$ 是原始可信度分数， $Pop_i$ 是候选答案的归一化流行度， $\alpha$ 是控制去偏强度的超参数。
评分：最终难度分数源自归一化且去偏后的可信度分数的熵。
- 首先，将分数归一化以形成概率分布。
- 计算熵（ $H(q)$ ）： $H(q) = -\sum DePls^{norm}_i \times \log_2 DePls^{norm}_i$ 。
- 通过将熵除以 $\log_2 N$ （其中 $N$ 为候选答案数量），将其归一化至 [0, 1] 范围。
- 解读：高熵表明许多候选答案对大语言模型而言具有相似的可信度，意味着题目难度高且推理不确定性大；低熵表明分布 skewed，仅少数候选答案可信，意味着题目较易。

作者评估了三种用于生成可信度分数的估计范式：点对点（单独评分候选答案）、成对（比较成对答案）和列表式（联合生成候选答案及分数）。研究发现，列表式方法最为有效且计算效率最高（复杂度为 $O(1)$ ）。

主要贡献

新颖指标：提出 Q-DAPS，这是一种基于答案可信度分数熵的面向大语言模型的难度指标，将焦点从表面文本属性转向推理不确定性。
去偏策略：识别了候选答案生成中的流行度偏差，并引入了一种利用维基百科浏览量计数的轻量级去偏机制，以提高估算准确性。
全面验证：在四个多样化的问答数据集（TriviaQA、Natural Questions、MuSiQue、QASC）上进行了广泛实验，涵盖简单和复杂推理任务。该方法与可读性、流行度、基于检索器、基于提示和基于不确定性的基线进行了对比测试。
鲁棒性分析：消融研究表明，即使在没有标准答案、未进行流行度去偏以及在不同底层大语言模型（参数范围从 7B 到 70B）的情况下，Q-DAPS 依然有效。
人类对齐：人类评估研究证实，Q-DAPS 的难度估算与人类判断高度一致，且被 Q-DAPS 标记为“难”的题目确实对人类而言更难答对。

实验结果

性能：在所有四个数据集中，Q-DAPS 的表现始终优于所有基线方法（包括 Flesch-Kincaid、Gunning-Fog、PopQA 和基于不确定性的方法）。它在区分难易题目的 Cohen's $d$ 值以及与模型性能的相关性 Spearman's $\rho$ 值上均取得了最高分。
熵与平均值：基于熵的评分方法显著优于使用平均可信度分数的方法，证实了可信度分布（不确定性）比平均值是更强的难度信号。
消融发现：
- 标准答案：虽然提供标准答案能提升性能，但即使在没有标准答案的情况下，Q-DAPS 仍优于基线，使其适用于答案未知的现实场景。
- 去偏：移除流行度去偏组件会降低性能，但并未使该方法失效，表明去偏是一种有益的优化而非严格必要条件。
- 模型规模：该方法在不同模型规模下表现稳健，尽管较大模型（如 LLaMA 3.3 70B）产生的结果略好。
误差分析：作者识别了特定的发散模式，即基于熵的估算与精确匹配评估结果存在差异（例如，在具有许多语义相关答案的列表式事实问题中出现的“熵高估难度”现象）。他们认为这些案例反映了答案空间的丰富性，而非模型失败。

意义与主张

论文声称，Q-DAPS 提供了一种可解释、可扩展且抗偏差的题目难度估算方法。其意义在于其操作视角：它直接将难度与幻觉风险检测联系起来。通过衡量错误答案在大语言模型看来具有多大的可信度，Q-DAPS 可作为一种实用工具用于：

模型选择：为那些题目被一致估算为困难的领域选择更强的大语言模型。
题目路由：将高难度题目导向知识库中的人工审核员。
安全触发：对于被估算为具有高不确定性的题目，要求提供引用或用户确认。

作者强调，Q-DAPS 从模型视角捕捉了答案空间的内在歧义性，提供了比传统可读性或检索指标更细致的难度视图。未来工作建议探索多语言和 multimodal 扩展。