💬 NLP

Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

本文引入“意图坍缩”作为分析语言模型推理的框架，通过熵、有效维度和可恢复性指标来测量生成前的内部状态，揭示了思维链提示会引发异质的内部不确定性机制，并且即使最终行为准确率下降，潜在知识仍可能保持可恢复，尤其是在多项选择题格式中。

原作者： Patricio Vera

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Patricio Vera

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你即将发表演讲。在你开口之前，你的大脑正充斥着记忆、未成形的论点、情感和潜在词汇选择的混乱风暴。这是一团丰富、杂乱、高维的“意图”云。

但当你最终开口时，你并不会释放整团云。你只挑选一个特定的句子。你将那场庞大的内部风暴坍缩为单一的线性词串。

本文认为，大型语言模型（LLMs）做的正是完全相同的事情。作者将这一过程称为**“意图坍缩”**。

以下是他们发现的分解，使用了简单的类比。

1. 核心理念：“演讲前”时刻

大多数人看到 AI 的回答，并根据最终的词语来评判它。但这篇论文说，我们应该观察在 AI 选择第一个词之前，其“大脑”内部正在发生什么。

把它想象成摄影师拍照。

场景： 复杂的 3D 世界（AI 的内部状态）。
照片： 平坦的 2D 图像（文本输出）。
坍缩： 快门按下的那一刻。信息丢失了。3D 深度被压平为 2D 像素。

作者希望测量“场景”（内部状态），以查看我们是否能预测“照片”（回答）是好是坏，以及不同的提示技巧如何改变该场景。

2. AI 心智的三项“健康检查”

为了测量这种内部状态，作者创建了三个简单的指标。将这些视为 AI 意图的生命体征：

意图熵（“困惑”计）：
- 类比： 想象你站在十字路口。如果你确切知道该往哪走，你的“熵”就低。如果你毫无头绪，向左、向右或直行的可能性均等，你的熵就高。
- 在 AI 中： 这衡量 AI 对下一个词的概率分布有多分散。低熵意味着它非常确定；高熵意味着它不确定或在考虑许多选项。
有效维度（“丰富度”计）：
- 类比： 想象一幅画。它是简单的火柴人（低维度），还是具有多层含义的复杂、详细风景画（高维度）？
- 在 AI 中： 这衡量 AI 的内部思想使用了多少“空间”。它的思想是简单狭窄的，还是复杂多面的？
可恢复性（“隐藏知识”计）：
- 类比： 想象一个知道数学题答案的学生，但因为紧张而写下了错误的数字。如果你能看透他的头脑，你会看到他知道答案。
- 在 AI 中： 研究人员训练了一个简单的“探针”（微型检测器）来观察 AI 的内部状态，并猜测最终答案是否正确。如果探针能正确猜测，这意味着 AI 在内部拥有正确的信息，即使它未能将其写下来。

3. 实验：测试“思维链”

“思维链”（CoT）是一种流行的技巧，即告诉 AI，“在回答之前逐步思考”。每个人都假设这会让 AI 变得更聪明。研究人员在三种不同类型的任务（数学、抽象推理和数学应用题）上，对三种不同的 AI 模型（Mistral、LLaMA、Qwen）进行了测试。

他们比较了三种情况：

基线： 直接给出答案。
CoT： 逐步思考。
胡言乱语： 写一段长篇大论的意识流（以查看仅仅是写更多内容是否有帮助，还是思考本身有帮助）。

4. 令人惊讶的发现

发现 1：“逐步思考”并不总是更好。

数学（自由回答）： CoT 效果很好。准确率显著提高。
抽象推理（多项选择）： CoT 实际上使情况变糟。当被迫“大声思考”时，AI 的表现比直接给出答案时更差。
要点： 强迫 AI 将其推理过程语言化有时会使其困惑，特别是当它必须从选项列表（A、B、C、D）中进行选择时。

发现 2：不同的 AI “思考”方式不同。
在使用 CoT 时，不同模型的内部“困惑”（熵）变化不同：

Mistral： 变得更确定（熵降低）。它缩小了焦点。
LLaMA： 变得更不确定（熵升高）。它扩大了可能性。
要点： “推理”在 AI 内部没有单一的表现形式。一个模型的“思考”看起来像另一个模型的“困惑”。

发现 3：AI 可能知道答案，但未能说出来。
这是最有趣的部分。在某些情况下（例如 Qwen 在抽象推理任务中），AI 的内部状态显示出高可恢复性。“探针”可以轻易看出 AI 知道正确答案。然而，AI 的最终书面答案是错误的。

类比： 这就像一位对道路了如指掌的司机（高内部知识），但在最后一秒不小心转错了方向（坍缩失败）。
要点： 问题并不总是 AI 缺乏知识。有时，问题在于“坍缩”——将知识转换为特定格式（如多项选择题的字母）的最后一步是错误发生的地方。

发现 4：胡言乱语不是思考。
“胡言乱语”对照组（只是写大量无意义的内容）并未产生与 CoT 相同的内部变化。这证明 CoT 不仅仅是让输出变长；它实际上改变了 AI 思想的内部结构。

总结

该论文建议我们不再将 AI 的回答仅仅视为“对”或“错”。相反，我们应该观察意图坍缩——即 AI 决定开口的时刻。

有时，要求 AI “大声思考”有助于它集中注意力（降低熵）。
有时，这会导致它过度思考并感到困惑（升高熵）。
有时，AI 在内部知道真相，但未能以所需的格式正确表达出来。

通过测量“演讲前”状态，我们可以更好地理解 AI 为何失败，而不仅仅是知道它确实失败了。

技术摘要：意图坍缩：用于语言模型推理的意图级指标

问题陈述
本文解决了大型语言模型（LLMs）丰富的高维内部状态与其产生的离散线性令牌序列之间的结构性脱节问题。作者将这种多对一映射形式化为意图坍缩：从内部意图空间 $I$ （生成前的潜在状态）到外部语言空间 $L$ 的不可逆投影。现有的增强推理的技术（例如思维链、自我修正）通常仅根据最终准确率进行评估，从而掩盖了这些方法在生成之前如何重塑内部状态。核心问题在于缺乏一个统一的框架来测量坍缩前状态 $I$ 的信息和几何属性，并确定在何种情况下重塑 $I$ 有助于或损害性能，特别是在不同的响应格式中。

方法论
作者通过将意图状态 $I$ 定义为第一个输出令牌被选择之前，在最终提示位置处的隐藏表示集合，从而对意图坍缩进行操作化定义。他们提出了三种在 $I$ 上计算的与模型无关且计算成本较低的指标：

意图熵 ( $H_{int}(I)$ )： 坍缩前时刻下一个令牌分布的香农熵，用于衡量模型即时延续的集中度或扩散度。
有效维度 ( $d_{eff}(I)$ )： 基于坍缩前隐藏状态的 PCA 特征值的参与比，捕捉意图表示的几何丰富性。
**潜在知识可恢复性 ($Recov(I; Z) $)：** 在$ I$ 上训练的线性探针以预测任务结果（例如答案正确性）的 AUROC，量化坍缩前存在但可能未能体现在最终输出中的信息。

实验设计
该框架在一个 $3 \times 3$ 的实证研究中进行评估：

模型： Mistral-7B-Instruct、LLaMA-3.1-8B-Instruct 和 Qwen-2.5-7B-Instruct。
基准测试： GSM8K（自由回答数学）、ARC-Challenge（多项选择抽象推理）和 AQUA-RAT（多项选择数学）。
推理模式： 基线（直接回答）、思维链（CoT）和 Babble（一种生成无关意识流文本的冗长控制）。
协议： 每个单元格 $n=200$ 个项目；贪婪解码（ $T=0$ ）以隔离提示条件化效应；在第一个令牌生成之前严格提取 $I$ 。

主要结果

CoT 的格式依赖性功效： CoT 并非普遍有益。它在所有模型上的 GSM8K（自由回答）上带来了巨大的准确率提升，但在 ARC-Challenge（多项选择）上 consistently 降低了性能，并在 AQUA-RAT 上产生了混合结果。这表明改变坍缩前状态并不能保证在所有响应格式下都能获得可靠的最终离散承诺。
异质熵机制： 相对于基线，CoT 引发了不同的熵变（ $\Delta H = H_{int}(CoT) - H_{int}(Base)$ ）。Mistral 在 CoT 下表现出较低的坍缩前熵（ $\Delta H < 0$ ），而 LLaMA 表现出较高的坍缩前熵（ $\Delta H > 0$ ）。这突显了不同模型家族在推理过程中管理内部不确定性的显著异质性。
信号与准确率的解离： 可恢复性 ($Recov$) 可以与行为准确率解离。在某些设置中（例如 Qwen 在 ARC-Challenge 上），尽管 CoT 准确率下降，探针 AUROC 仍显著高于随机水平。这表明 $I$ 中可能存在信息丰富的内部信号，但未能可靠地转化为正确的离散决策，特别是在多项选择格式中。
冗长控制： Babble 控制证实 CoT 效应并非仅仅由于输出长度；Babble 没有复制在 CoT 下观察到的指标-性能关系。

意义与贡献
本文声称意图坍缩为理解 LLM 行为提供了一个统一的视角，将各种推理时方法重构为对共同对象 ( $I$ ) 的干预。主要贡献包括：

概念桥梁： 通过坍缩前状态这一特定边界，连接关于潜在知识引出、生成前充分性和不确定性估计的文献。
诊断效用： 证明内部可分离性（可恢复性）和最终承诺可靠性是截然不同的现象。该框架解释了为什么模型可能“知道”答案（高 $Recov$）但由于格式诱导的承诺失败而无法正确输出（低准确率）。
研究议程： 提出自适应推理的具体方向，例如状态依赖的解码策略（根据 $H_{int}$ 调整采样）和早期退出策略（使用 $Recov$ 避免不必要的计算），从而将意图坍缩转化为优化测试时计算的实际工具。

作者保持了适度的范围，指出他们的发现是相关性的，且仅限于纯文本基准和特定的模型家族。他们强调，意图坍缩是一种结构性类比，而非声称 LLM 具有有意识的意图。

1. 核心理念：“演讲前”时刻

2. AI 心智的三项“健康检查”

3. 实验：测试“思维链”

4. 令人惊讶的发现

总结

类似论文