技术摘要：在信息不足条件下弥合推理模型从检测到 abstention 的差距

1. 问题陈述

大型推理模型（LRMs）正越来越多地部署于医疗人工智能等高风险领域，在这些领域中，用户查询往往缺乏关键信息（例如缺失的症状、实验室结果或上下文）。本工作识别出一种关键的失效模式：尽管模型可能在中间推理过程中意识到问题定义不完整，但它们通常未能将这种认知转化为最终拒绝回答。相反，它们继续推理，编造缺失的前提，并生成缺乏支持的确定性答案。

作者将这一现象形式化为检测至 abstention 的差距：即模型识别信息不足的能力（检测率，DR）与其基于该识别采取行动而 abstention 的能力（总体 abstention 率，OAR）之间的差异。包括标准强化学习（RL）和提示工程在内的现有方法往往能提高检测能力，但未能弥合这一差距，导致模型“检测但不 abstention"。在安全关键场景中，这种状况尤为危险，因为一个缺乏支持的答案比拒绝回答更具危害性。

2. 方法论：先判断后求解（JTS）

为了弥合这一差距，本文提出了先判断后求解（Judge-Then-Solve, JTS），这是一种轨迹级别的推理控制框架。与将 abstention 仅视为最终答案风格不同，JTS 将其重新定义为在生成解决方案之前做出的显式控制决策。

核心机制

JTS 将推理过程分解为两个截然不同的阶段：

1. 可回答性判断：模型必须首先生成一个结构化的 <answerability_judge> 块，其中包含：
   • 上下文审计：分析所提供的上下文是否支持唯一有效的答案。
   • 完整性检查：验证缺失的前提或歧义。
   • 结论：做出 ANSWERABLE（可回答）或 UNANSWERABLE（不可回答）的二元决策。
2. 条件执行：
   • 若为 UNANSWERABLE：模型必须立即终止推理并输出 abstention 响应。
   • 若为 ANSWERABLE：模型在同一推理块内继续生成解决方案。

训练策略

JTS 通过两阶段训练过程实现：

1. 监督预热：模型在包含 1,091 条按 JTS 格式组织的轨迹数据集上进行微调。此阶段旨在教授该框架的结构先验（即 <answerability_judge> 块和立即终止规则），而非直接优化 abstention。
2. 带结构化奖励的强化学习（RL）：模型使用组相对策略优化（GRPO）进行优化，并采用复合奖励函数 $R(y)$：
   • 格式奖励（$R_{format}$）：强制执行严格的 JTS 结构（有效标签、结论位置）。
   • 一致性奖励（$R_{consistency}$）：惩罚判断（例如 UNANSWERABLE）与最终输出（例如提供答案）之间的矛盾。
   • 任务奖励（$R_{task}$）：奖励对定义不完整问题的正确 abstention 以及对定义明确问题的正确回答；惩罚对可解问题的错误 abstention。
   • 长度塑形奖励（$R_{length}$）：一种旨在抑制“过度思考”的条件信号。
     • 对于模型未能 abstention 的定义不完整问题，较短的轨迹会受到奖励，以鼓励在检测到问题后立即终止。
     • 对于模型未能正确回答的定义明确问题，较长的轨迹会轻微受到青睐，以鼓励完整的推理。

3. 主要贡献

1. 检测至 abstention 差距的形式化：本文识别并定义了一种特定的失效模式，即模型检测到缺失信息但未能 abstention，从而将其与简单的检测失败区分开来。
2. 先判断后求解框架：一种新颖的推理控制范式，强制在生成解决方案之前做出明确的可回答性承诺，从而有效地门控推理轨迹。
3. 条件长度塑形：一种专门针对“检测后 deliberation"失效的奖励机制，鼓励模型一旦检测到信息不足便立即停止推理，同时保留可解问题的推理深度。
4. 实证验证：在密集模型（DeepSeek-R1-Distill-Qwen-14B）和混合专家模型（Qwen3-30B-A3B-Thinking）上，跨多个基准测试（包括医疗领域 MedIQ）进行了全面评估。

4. 实验结果

实验在缺失前提（MIP）数据集和 AbstentionBench 的四个子集（MMLU-History、MMLU-Math、GPQA-Diamond、MedIQ）上进行。

• 弥合差距：JTS 显著提高了检测时的 abstention（A@D），将其推至接近饱和水平（DeepSeek 为 99.8%，Qwen 为 99.3%）。这表明一旦模型检测到缺失信息，它就能可靠地基于该检测采取行动。
• 整体性能：
  • DeepSeek：OAR 从基线的 18.6% 提升至 JTS 的 88.5%。
  • Qwen：OAR 从基线的 21.1% 提升至 JTS 的 72.4%。
• 效率：JTS 通过在定义不完整的问题上终止不必要的 deliberation，大幅减少了平均响应长度（例如，DeepSeek 从约 2600 个 token 减少至约 350 个 token）。
• 定义明确的问题：虽然 JTS 在可解问题的原始回答率和正确率上引入了轻微权衡，但它显著提高了每 token 效率（正确性/1K token），表明推理更加简洁有效。
• 不确定性分析：Token 级熵分析显示，与倾向于过度自信的基线模型相比，JTS 模型在缺失前提周围保持了更高的不确定性（熵）。这种不确定性意识驱动了 abstention 行为。
• 次要观察：在缺失前提数据上进行训练（即使使用普通 RL）被观察到减少了在困难但可回答的数学问题（Omni-Math）上的“无效自我反思”和犹豫，从而在中等至困难难度范围内略微提高了 pass@8 分数。

5. 意义与主张

本文主张，可靠的 abstention 是大型推理模型在高风险领域安全部署所必需的一种关键推理控制形式。该工作的重要性在于：

• 安全性：证明模型可以被训练以拒绝在医疗及其他安全关键背景下提供缺乏支持的答案，从而防止生成有害的幻觉。
• 机制：表明未能 abstention 通常是一个控制问题（检测后继续推理），而非纯粹的能力问题，并且可以通过结构化推理轨迹来解决。
• 效率：证明提前终止不可回答的轨迹可以减少计算浪费和推理时间。

作者谦逊地指出，虽然 JTS 改善了 abstention，但它可能导致在定义明确的问题上出现轻微的错误 abstention 增加，他们认为这种权衡对于安全关键应用是可以接受的。他们还承认了局限性，包括依赖大语言模型作为评估法官以及全参数强化学习训练的计算成本。