Query-Level Uncertainty in Large Language Models

本文提出了一种无需训练的“内部置信度”方法，通过利用模型层间和词元间的自评估信号，在生成前即可高效识别大语言模型的知识边界，从而在问答和推理任务中实现更优的自适应推理并降低计算成本。

要点

这篇论文提出了一种让大型语言模型（LLM）学会“知之为知之，不知为不知”的新方法。

想象一下，你正在和一个超级聪明的百科全书式机器人聊天。以前的机器人有个毛病：它不知道什么时候该停下来。如果你问它一个它完全不懂的问题（比如“明天彩票的中奖号码是多少？”），它可能会一本正经地胡编乱造（这就是所谓的“幻觉”），或者为了回答一个简单问题而浪费大量算力去“深思熟虑”。

这篇论文的作者们（来自帝国理工学院等机构）发明了一种叫**“内部自信度”（Internal Confidence）的机制，让机器人能在开口说话之前**，就迅速判断自己是否知道答案。

核心概念：在“思考”之前先“自省”

通常，我们判断机器人是否靠谱，是等它把答案写出来后，再看它写得像不像样（这叫“答案级不确定性”）。但这就像等厨师把菜端上来尝了一口，发现是咸的，才后悔刚才不该让他做这道菜。既浪费了食材，又浪费了时间。

这篇论文的方法不同，它让机器人在还没开始写答案的时候，就通过一种“自我提问”的方式，快速评估自己：“这个问题我懂吗？”

它是如何工作的？（三个生动的比喻）

1. 像“照镜子”一样的自我提问

作者让机器人面对一个问题时，不要直接回答，而是先在心里问自己一句：“我能准确回答这个问题吗？（Yes or No）”。

• 传统做法：让机器人先写长篇大论，最后再评估。
• 新方法：机器人瞬间在内部“照镜子”，看自己对这个"Yes/No"问题的信心有多大。如果它觉得心里没底（概率很低），它就知道自己不懂，直接放弃或寻求帮助。

2. 像“听交响乐”一样整合信息

机器人的大脑（神经网络）有很多层，就像一座有很多层的摩天大楼。

• 以前的方法：只站在顶楼（最后一层）看风景，或者只站在底楼看。
• 新方法（内部自信度）：作者发现，机器人对自己是否“懂行”的线索，分散在整栋大楼的各个楼层和各个房间（不同的层和不同的词）。
  • 这就好比听交响乐，不能只听小提琴（某一层），也不能只听鼓点（某一个词）。
  • 作者发明了一种**“加权聚合”**的方法，把整栋楼里所有楼层、所有房间发出的微弱信号收集起来，综合判断。如果大部分信号都显示“我不确定”，那机器人就会果断承认“我不知道”。

3. 像“智能管家”一样分配任务

有了这个“内部自信度”，机器人就可以扮演一个聪明的管家：

• 简单问题（如“法国首都是哪里？”）：机器人自信度很高，直接用自己的知识库回答，秒回，不浪费资源。
• 困难问题（如“如何计算复杂的量子物理公式？”）：机器人自信度低，它不会瞎编，而是立刻触发**“求助机制”**：
  • 去网上搜索（RAG，检索增强生成）；
  • 或者把问题转交给更高级的超级模型（模型级联）；
  • 或者启动“慢思考”模式，花更多时间推理。

为什么这很重要？（实际好处）

1. 省钱省时间（效率）：
   以前的方法为了判断一个问题难不难，往往需要先让机器人“跑”一遍，生成一大段文字，这非常慢且贵。
   新方法只需要机器人“想”一下（一次前向传播），不需要生成任何文字。

   • 比喻：就像以前判断路通不通，要先开车跑一圈；现在只要看一眼导航地图（内部状态）就知道。速度提升了30 到 600 倍！

2. 更诚实、更安全（信任）：
   在医疗、法律等高风险领域，机器人如果不懂装懂会出大乱子。
   有了这个机制，机器人会在不懂的时候主动说“我不知道”，或者去查资料，而不是胡编乱造。这就像让医生在拿不准时，主动去查病历或请教专家，而不是乱开药方。

3. 灵活应变（自适应）：
   它可以根据问题的难度，自动决定是用“小脑”（小模型）快速解决，还是调用“大脑”（大模型）或“外部知识库”（搜索引擎）。这就像开车，遇到平坦大道就开快车，遇到崎岖山路就换越野模式，既快又稳。

总结

这篇论文的核心贡献是发明了一种**“无需训练、无需生成答案”的“内部自信度”**检测器。

它让 AI 从“盲目自信”变成了“自知之明”。它不再是一个只会机械回答的复读机，而是一个懂得评估自身能力边界、懂得何时该求助、懂得如何最经济地解决问题的智能助手。这不仅让 AI 更聪明，也让它更省钱、更安全。

技术摘要

这是一篇发表于 ICLR 2026 的论文《QUERY-LEVEL UNCERTAINTY IN LARGE LANGUAGE MODELS》（大语言模型中的查询级不确定性）的技术总结。

1. 研究背景与问题 (Problem)

核心痛点：
大型语言模型（LLM）虽然能力强大，但存在明确的知识边界。模型需要能够自我感知其能力的局限，区分“能回答”和“不能回答”的查询。这种自我认知对于构建高效、可信的 AI 系统至关重要，例如：

• 效率优化： 在知识边界内直接回答，超出边界时触发检索增强生成（RAG）、深度思考（Slow Thinking）或模型级联（Model Cascading）。
• 可信度与安全性： 在高风险领域（如医疗），模型应能主动拒绝回答不确定的问题（Abstention），避免幻觉。

现有方法的局限性：

• 回答级不确定性（Answer-Level Uncertainty）： 现有方法大多在模型生成答案后评估不确定性（如计算生成文本的熵、困惑度等）。这需要先消耗计算资源生成完整的回答，效率低下，且无法在生成前做出决策。
• 微调依赖： 许多基于“我不知道”（I Don't Know）或自我评估的方法需要对模型进行微调（Fine-tuning），增加了开销并限制了泛化性。

本文目标：
提出一种生成前（Pre-generation）、**无需训练（Training-free）**的方法，在生成任何 Token 之前，仅通过一次前向传播（Forward Pass）即可判断模型是否具备回答特定查询的知识。

---

2. 方法论 (Methodology)

论文提出了**查询级不确定性（Query-Level Uncertainty）的概念，并设计了一种名为内部置信度（Internal Confidence, IC）**的算法。

核心思想

利用 LLM 内部状态（Hidden States）中的自评估机制。研究表明，LLM 可以在不生成具体答案的情况下，通过回答“是/否”问题来评估自己是否知道答案。

具体步骤

1. 提示构建（Prompting）：
   将原始查询 $x$ 转换为一个二元判断任务：“你是否有能力准确回答以下问题？请仅回答'Yes'或'No'。”

   • 注意：这不需要生成完整的答案，只需预测下一个 Token 是"Yes"的概率。

2. 基础指标 P(YES)：
   计算模型在最后一步（最后一个 Token）输出"Yes"的概率：
   $$P(YES) = \text{softmax}(W_{unemb} \cdot h^{(L)}_N)_{\text{YES}}$$
   其中 $h^{(L)}_N$ 是最后一层最后一个 Token 的隐藏状态。

3. 内部置信度（Internal Confidence, IC）：
   为了更充分利用模型内部信息，IC 不仅关注最后一层，而是聚合所有层（Layers）和所有 Token 位置的 $P(YES)$ 信号。

   • 决策中心（Decision Center）： 实验发现，区分可回答与不可回答查询的最佳信号通常位于模型的深层和后半部分（即右上角区域）。
   • 衰减编码聚合（Attenuated Encoding Aggregation）： 采用加权求和的方式，以“决策中心”为核心，利用衰减权重（Attenuated Weights）聚合周围层和 Token 的信号。权重公式基于高斯衰减：
     $$w^{(l)}_n \propto \exp(-\alpha |i - j|^2)$$
     其中 $i$ 是决策中心索引，$j$ 是当前索引，$\alpha$ 控制局部性（Locality）。
   • 最终得分：
     $$IC(h) = \sum_{n=1}^{N} \sum_{l=1}^{L} w^{(l)}_n P(YES | h^{(l)}_n)$$

关键特性

• 无需训练（Training-free）： 不需要额外的数据或微调，直接利用预训练模型的内部状态。
• 无需生成（Generation-free）： 仅需一次前向传播，无需生成答案文本，计算成本极低。
• 通用性： 适用于不同大小的模型（从 Phi-3 到 Qwen-14B）和不同任务（事实问答、数学推理）。

---

3. 主要贡献 (Key Contributions)

1. 概念创新： 首次正式定义并系统研究了查询级不确定性，将不确定性评估从“后生成”推进到“预生成”阶段。
2. 算法提出： 提出了**内部置信度（Internal Confidence）**方法，通过跨层和跨 Token 的自评估信号聚合，实现了对知识边界的精准探测。
3. 效率突破： 证明了该方法在保持高准确性的同时，比现有的回答级不确定性方法（如 Semantic Entropy, SAR 等）快 30 倍到 600 倍。
4. 应用验证： 展示了该方法在**自适应推理（Adaptive Inference）**场景中的实际价值，包括：
   • 高效 RAG： 仅在模型不确定时调用检索，大幅降低延迟和成本。
   • 模型级联： 小模型处理简单问题，不确定时自动转发给大模型，优化成本 - 性能平衡。

---

4. 实验结果 (Results)

实验在三个数据集上进行：TriviaQA（事实问答）、SciQ（科学问答）和 GSM8K（数学推理），测试了 Phi-3.8B、Llama-8B 和 Qwen-14B 三种模型。

• 区分能力（AUROC & PRR）：

  • 内部置信度在区分“可回答”与“不可回答”查询方面，显著优于所有基线方法（包括 Max(-log p)、Perplexity、Semantic Entropy 等）。
  • 例如在 Qwen-14B 上，平均 AUROC 达到 67.1，PRR 达到 31.7，均优于其他方法。
  • 校准误差（ECE）也较低，表明置信度分数与实际准确率高度一致。

• 运行效率（Speed）：

  • 速度对比： 内部置信度平均运行时间仅为 0.3 秒/样本。相比之下，回答级方法（如 Semantic Entropy, SAR）需要 10 秒到 180 秒不等。
  • 加速比： 相比现有基线，速度提升了 30x 到 600x。
  • 可扩展性： 内部置信度的运行时间不随答案长度增加而增加，而回答级方法（如 SAR）的运行时间随答案长度线性增长。

• 自适应推理效果：

  • 在 RAG 和模型级联实验中，通过设置置信度阈值，可以在不牺牲准确率的前提下，显著减少外部服务（检索）或大模型的调用频率，从而降低整体推理成本。
  • 实验揭示了“权衡区域（Trade-off Region）”和“最优点（Optimal Point）”，证明了该方法能有效指导资源分配。

---

5. 意义与影响 (Significance)

1. 推动高效 AI 发展： 提供了一种低成本、低延迟的机制，使 LLM 能够智能地决定“何时思考”、“何时检索”或“何时求助”，这对于构建大规模 Agent 系统至关重要。
2. 提升可信度： 使模型具备“知之为知之，不知为不知”的能力，减少幻觉，特别是在医疗、法律等高风险领域。
3. 通用基线： 作为一种无需训练、即插即用的方法，它为未来的不确定性量化研究提供了一个强有力的基准（Baseline）。
4. 成本节约： 通过减少不必要的复杂推理和检索调用，直接降低了 AI 应用的计算成本和能源消耗。

局限性：

• 需要访问模型的内部状态（Hidden States），无法直接用于完全黑盒的 API 调用。
• 目前的决策中心（Decision Center）采用固定策略（顶层最后 Token），虽然通用性良好，但在特定任务（如 TruthfulQA）上可能存在更优的特定位置。

总结：
该论文通过内部置信度方法，成功实现了在生成答案前快速、准确地判断 LLM 的知识边界。这不仅解决了现有不确定性评估方法效率低下的问题，还为构建自适应、经济且可信的下一代 AI 系统奠定了坚实基础。