技术摘要：承诺下的连贯性 (Coherence Under Commitment, CUC)

问题陈述

部署在知识密集型领域的语言大模型（LLMs）表现出一种关键的失效模式：空洞的连贯性 (vacuous coherence)。标准的评估指标优先考虑逻辑一致性（例如，否定一致性，即模型不会同时肯定一个命题及其否定形式）。然而，模型可以通过系统性地放弃 (abstaining) 作出任何决定性的判断，来轻易地满足这些一致性约束。通过拒绝对蕴含或反驳做出承诺，模型实现了零逻辑矛盾，却也提供了零推理效用。

在高度敏感的环境中（如临床诊断、科学推理），这种“安全”行为与真正的可靠性在标准评估下是无法区分的。一个拒绝回答 90% 查询的模型看起来具有“连贯性”，但在操作层面却是毫无用处的。当前的评估范式无法检测到这一点，因为它们孤立地衡量连贯性，忽略了进行行动推理所需的认识论承诺 (epistemic commitment)。

方法论：承诺下的连贯性 (CUC)

作者提出了 承诺下的连贯性 (CUC)，这是一种双查询评估范式，旨在共同衡量逻辑连贯性和认识论决断力。

1. 双查询诱导协议

CUC 不仅仅使用单个查询，而是为每个前提 $P$ 和假设 $\phi$ 构建一对对称的查询：

• $Q_\phi$：“$\phi$ 是否由 $P$ 逻辑蕴含？”
• $Q_{\neg\phi}$：“$\neg\phi$ 是否由 $P$ 逻辑蕴含？”

为了消除采样方差和解码伪影，该协议使用确定性诱导 (deterministic elicitation)。它直接从模型的 Logits 中提取针对二元响应（YES/NO）的归一化对数概率：
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{YES}|Q_\phi))}{\exp(\log P(\text{YES}|Q_\phi)) + \exp(\log P(\text{NO}|Q_\phi))}$$
这产生了对于假设及其否定的肯定响应的概率质量。

2. 核心指标

该框架定义了两个源自概率 $\mathcal{P}(\phi)$ 和 $\mathcal{P}(\neg\phi)$ 的主要指标：

• 承诺得分 ($c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  这量化了分配给决定性结果的总概率质量。低分表示模型将查询视为实际上未知的（弃权），无论其连贯性如何。

• 否定连贯性违规 ($v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  这衡量了模型分配给互斥结果的概率质量超过单位值的程度。值 $>0$ 表示逻辑不连贯（过度承诺）。

关键洞察： 论文确立了代数恒等式 $v_{neg} = \max(0, c - 1)$。这意味着任何满足 $c(\phi) \leq 1$ 的模型都会自动实现零违规，无论其推理质量如何。因此，低违规率可能是低承诺的产物。

3. 三路决策框架

为了使这些指标具有可操作性，作者定义了一个带有置信度阈值 $\tau$ 和边际阈值 $\delta$ 的决策规则：

• TRUE (真): 如果 $\mathcal{P}(\phi) \geq \tau$ 且 $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$。
• FALSE (假): 如果 $\mathcal{P}(\neg\phi) \geq \tau$ 且 $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$。
• UNCERTAIN (不确定): 否则。

这使得评估可以报告覆盖率 (Coverage)（非 UNCERTAIN 预测的比例）和条件准确率 ($Acc_{cov}$)，从而区分那些精确但弃权的模型与那些果断但矛盾的模型。

实验设置

• 数据集： 在 FOLIO v0.0（包含 204 个具有形式化验证否定的示例）和 LOGIQA v2（包含 304 个基于规则否定的示例）上进行了评估。
• 模型： 四个开源权重模型（1.1B–3B 参数）：TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B, 以及 Qwen2.5-3B。
• 协议： 对 YES/NO Token 进行确定性对数概率提取。

关键结果

1. 连贯性-承诺前沿 (The Coherence-Commitment Frontier)

实验揭示了一个尖锐且在经验上稳健的权衡前沿。没有任何模型能同时实现高覆盖率和低违规率。

• 系统性弃权 (Qwen2.5-3B): 实现了最低的违规率 ($E[v_{neg}] = 0.025$)，在仅基于连贯性的指标下表现“最好”。然而，它的承诺得分为 $0.115$，覆盖率仅为 7.4%，对超过 92% 的示例拒绝做出预测。
• 系统性过度承诺 (TinyLlama-1.1B): 实现了 79.4% 的覆盖率，但在 100% 的示例中违反了概率公理 ($E[v_{neg}] = 0.698$)，向矛盾的结果分配了 $>1.6$ 的概率质量。
• 中间模型： Phi-2 和 Qwen2.5-1.5B 处于中间位置，表现出不同程度的弃权与矛盾。

2. 标准评估的失效

• 准确率盲点 (Accuracy Blindness): 标准的三路准确率得分在各模型间几乎相同（仅在 0.343 到 0.441 之间波动），掩盖了弃权与过度承诺这两个截然相反的失效模式。
• 仅连贯性陷阱 (Coherence-Only Trap): 仅基于连贯性的评估会将 Qwen2.5-3B 评为最优模型（其违规率比次优模型低 6.6 倍），错误地奖励了一个几乎不提供任何行动推理的模型。
• 校准幻觉 (Calibration Illusion): 即使在提交的预测子集上，模型也表现出较差的校准度（高预期校准误差 ECE）。Qwen2.5-3B 表现出的表观校准度是其激进过滤（仅选择最简单的 7% 示例）的产物。

3. 规模效应

将 Qwen2.5 从 1.5B 扩展到 3B 参数导致承诺减少了 83%，且覆盖率下降了 23.5 个百分点，而准确率几乎没有变化。较大的模型学会了通过回避（弃权）而非更精确地推理来应对，这种行为会被标准指标误解为连贯性的提升。

意义与主张

本文认为，对逻辑推理的评估必须从询问“模型是否连贯？”转向询问“模型是否有意义地连贯？”

1. 空洞的连贯性是一个盲点： 标准指标无法区分一个正确推理的模型和一个仅仅是拒绝回答的模型。CUC 通过要求非空洞的承诺来揭示这一点。
2. 前沿是必然存在的： 连贯性与承诺之间存在着根本性的张力。优化其中一个维度的模型往往会导致另一个维度的退化。
3. 模态无关性： 虽然是在文本上实现的，但该框架在理论上适用于多模态场景（如 VQA、机器人技术），其中可以在图像和文本之上提出互补的查询。
4. 方法论的必要性： 作者声称，在需要高额行动成本的知识密集型领域，报告连贯性和承诺两个维度对于部署模型至关重要。CUC 提供了第一个原则性的框架，用于量化这种权衡，并防止部署那些仅因“沉默”而显得“连贯”的模型。

论文总结道，如果没有像 CUC 这样的指标，从业者可能会面临部署看似可靠但功能上却处于停滞状态的模型之风险。