💻 computer science

Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering

本研究表明，线性探针可以从语言模型的隐藏状态中提取未来的语义信息，揭示了一种权衡关系，即这种直接读取的有效性相对于自回归展开的有效性，取决于嵌入空间、生成时界以及提示词固有的可预测性。

原作者： Jaekeol Choi

发布于 2026-09-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Jaekeol Choi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代计算机程序通过预测下一个词来编写文本，这些程序被称为语言模型。它们观察你提供给它们的词，并猜测下一个词，然后利用这个新词来猜测再下一个词，从而逐步构建出一个句子。长期以来，科学家们一直认为这些程序的“未来视野”仅限于其下一次预测所能触及的范围。然而，一项新的研究表明，在这些模型复杂的数学机制内部，存在着一层隐藏的信息层，早在计算机实际打出任何一个新词之前，该层就已经包含了即将要表达的大意。这项研究探讨了这些内部计算机状态是否持有对未来文本的“预览”，这种预览与仅仅阅读提示词相比是否足够清晰，以及了解这种预览是否能让我们改变计算机的写作内容。

研究人员，来自韩国外国语大学的崔载旭（Jaekeol Choi），试图通过使用几种不同版本的流行语言模型来测试这一想法。他们将重点放在计算机开始生成新句子的那一刻。就在这个精确的瞬间，模型已经处理了用户的输入，并持有一个特定的内部表示——一种总结了它目前为止所理解的一切的复杂数字模式。研究团队提出了一个简单的问题：如果你观察这个内部模式，你能否判断出即将生成的句子的主题或情感倾向？为了找出答案，他们训练了一个简单的工具来读取这些内部模式，并将其转化为对未来文本的摘要。他们将这种方法与其他预测未来的方式进行了对比，例如让计算机先实际写出几个词，或者仅根据原始提示词来预测未来而不观察计算机的大脑内部。

研究发现，答案是肯定的。模型的内部模式确实包含了一张关于未来文本含义的线性可访问地图。当研究人员观察模型在生成句子之前的内部状态时，他们能够成功预测该句子的总体语义内容。这一现象在不同规模和架构的模型中均成立，从拥有数亿参数的小型模型到拥有数十亿参数的大型模型。这种读取未来含义的能力在计算机处理网络的深层网络中最为强大。然而，这种预览的清晰度很大程度上取决于研究人员如何定义“含义”。当他们使用一种特定的方式来衡量含义时，内部预览明显优于仅基于提示词进行的猜测。但当他们使用其他衡量含义的方式时，观察计算机大脑内部所获得的优势就变得微乎其微，有时甚至与仅通过观察起始词所能做出的猜测几乎没有区别。

研究人员还将这种“内部预览”方法与更直观的策略进行了比较，即让计算机先实际写出几个词。如果你让计算机生成三个或五个词，你自然会比仅仅尝试从隐藏状态中进行猜测获得更清晰的句子走向。这并不令人意外，因为计算机已经完成了编写这些词的工作。然而，研究揭示了一个有趣的权衡：随着目标句子变得越来越长，以及未来变得越来越遥远，让计算机多写几个词所带来的优势就会逐渐减小。如果目标是理解一个 256 个单词之后的句子的含义，那么内部预览在竞争中会表现得异常出色，足以与让计算机生成一段短前缀的方法相媲美。内部状态提供了一种在无需承担生成所有中间词的计算成本的情况下，获取遥远未来感知的方法，尽管它从未完全超越生成长序列的准确性。

这项研究中最引人入胜的部分涉及测试这种知识是否可以被用来改变计算机的行为。研究人员提取了内部状态中指向特定情感（如积极或消极）的方向，并尝试在计算机开始写作之前向该方向进行引导。他们发现，这种引导确实奏效了。通过根据预测结果调整内部状态，他们可以比进行随机调整更有效地改变生成文本的基调。然而，这种成功在计算机大脑的所有部分并非统一的。在某些模型中，能够最容易读取未来含义的层，也是进行更改的最佳位置。而在其他模型中，这两者完全无法匹配；显示出最清晰未来预览的层，有时反而是干预以改变结果的错误位置。事实上，在某些情况下，试图在具有最强预览能力的层进行修改，实际上会将计算机推向与预期相反的方向。

这些发现表明，虽然语言模型确实在其内部状态中携带了关于自身未来输出的信息，但这些信息并不是一段等待被读取的预写剧本。相反，它是一个复杂的、分层的信号，在网络的某些部分比其他部分更容易被访问。研究明确了，仅仅因为计算机能够“看到”其自身词汇的未来含义，并不意味着它已经完全预先计算出了整个响应。它还强调，能够读取信号与能够控制信号是两回事。预测未来的能力与引导未来的能力是相关但截然不同的能力，它们在模型内部并不总是在同一个地方发生。这项工作为这些智能系统如何组织关于其即将表达内容的的信息提供了一张更清晰的地图，表明它们的内部状态比此前理解的包含更丰富的未来导向数据，但也说明了利用这些数据进行控制比简单的读取过程要复杂得多。

技术摘要：解码语言模型隐藏状态中的未来语义

问题陈述
自回归神经网络语言模型逐个 token 地生成文本，然而其内部的隐藏状态表示可能在这些 token 被产生之前，就已经编码了关于未来续写内容的语义信息。尽管先前的研究已经证实模型可以预测未来 token 的身份或全局响应属性，但仍存在三个关键空白：

目前尚不清楚通过简单的线性读取（linear readout）是否可以获取长程未来续写的连续语义（continuous semantics），且这种获取是否区别于仅从提示词（prompt）本身即可预测的信息。
探针性能通常是针对静态控制组进行评估的，未能考虑到显式生成一段短前缀（自回归展开/rollout）是否能揭示相当或更优的语义信息。
被动可解码性（passive decodability）并不一定意味着因果效用（causal utility）；目前尚不清楚暴露未来语义的最佳层是否也是进行因果干预（转向/steering）的最有效点。

方法论
本研究采用线性岭回归探针（linear ridge probe），将最后一个提示词 token 的隐藏状态 ( $h_\ell(x)$ ) 映射到模型自身未来续写 ( $y_{1:H}$ ) 的句子级语义嵌入 ( $z_{H,E}$ )。语义目标通过独立训练的句子编码器 ( $E$ ) 定义，具体包括 MiniLM、BGE-base 和 E5-base。

实验框架评估了三个核心问题：

语义可恢复性（Semantic Recoverability）： 训练一个线性探针来从隐藏状态预测续写嵌入。性能通过余弦相似度和检索指标（Recall@K）进行衡量。
基准对比（Baseline Comparisons）： 将探针与以下对象进行对比：
- 提示词语义控制（Prompt-semantic controls）： 一个直接将提示词嵌入映射到续写嵌入的基准（Prompt Ridge），旨在分离出隐藏状态相对于提示词层面可预测性的优势。
- 潜在解码器（Latent decoders）： 受 Tuned Lens 和 Future Lens 启发的小规模数据仿射解码器。
- 行为展开（Behavioral Rollout）： 显式进行 $m$ 个 token 的自回归生成，随后对其进行嵌入，并与完整的续写目标进行比较。
因果转向（Causal Steering）： 从正向和负向锚点嵌入的差异中导出情感轴。该方向通过探针权重投影到隐藏状态空间，并在提示词预填充阶段作为干预手段应用（ $h'_\ell = h_\ell + \alpha_\ell d_\ell$ ）。转向效用通过相对于匹配的随机扰动的生成情感偏移量来衡量。

实验涵盖了四个 Pythia 模型（410M 至 2.8B）和三个 Qwen 模型（1.5B 至 4B），涉及不同长度和固定时界（最高 256 个 token）的设置。

关键结果

线性可恢复性： 未来续写的语义在不同模型家族和规模下，均能从隐藏状态中实现一致的线性可恢复。在 Pythia-1.4B 中，探针实现的余弦相似度为 0.4283（MiniLM），显著优于 token 身份基准（Logit Lens）和随机控制组。
表示依赖性（Representation Dependence）： 隐藏状态探针对比学习到的“提示词至续写”基准（Prompt Ridge）的优势取决于所使用的表示方式。在使用 MiniLM 时，隐藏状态探针显示出统计上可靠的优势（ $\Delta \approx 0.028$ ）。而在使用 BGE 和 E5 时，这种优势很小，且在统计上与零无法区分。
时界–计算权衡（Horizon–Compute Trade-off）：
- 对比潜在解码器（Tuned Lens/Future Lens 风格）：直接进行语义探测在不需要额外自回归步骤的情况下，表现优于这些方法。
- 对比行为展开：结果具有细微差别。对于短时界（如 $H=16$ ），3 个 token 的展开与探针在统计上相当，而 5 个及以上 token 的展开则更强。然而，随着预测时界（ $H$ ）增加（最高至 256 个 token），相对于固定展开预算（ $m$ ）而言，探针的竞争力不断提升。“展开等效预算”（即匹配探针所需的 token 数）随之非递减增加。
- 未观察到交叉点，即在测试范围内，探针并未超越足够长的展开过程（ $m=20$ ）；相反，随着目标范围进一步扩大，显式生成的相对优势在缩小。
因果转向： 使用探针导出的情感方向进行干预，在所有测试模型中，都能使生成结果相对于随机扰动向预期方向发生因果偏移。
可解码性 vs. 可转向性（Decodability vs. Steerability）： 被动可解码性和因果可转向性并非普遍对齐。虽然某些模型（如 Pythia-1.4B）在最佳被动层与最佳转向层之间表现出对齐，但其他模型（如 Pythia-1.0B、Qwen2.5-1.5B）则表现出显著的脱节。在某些情况下，具有高被动恢复性的层，其转向边际（steering margin）却为负或接近于零。

意义与主张
本文声称将未来语义的可访问性表征为一种时界–计算–表示权衡（horizon–compute–representation trade-off）。研究结果表明：

神经隐藏状态包含线性可访问的语义结构，能够预测模型在生成发生之前的自身未来行为。
这种可访问性并非预计算的未来响应的证据，也不适用于外部定义的、由人类编写的续写内容。
这种可访问性的效用高度依赖于所使用的语义表示（例如 MiniLM 与 BGE 的区别）以及可用的计算预算（探测与展开的对比）。
至关重要的是，被动语义可访问性与因果转向性是两种不同的属性。能够最好地暴露未来语义的层，并不保证是进行干预最有效的层；此外，强大的可解码性并不确保在该方向上的扰动一定会按预期改变生成过程。

研究强调了方法论的严谨性，指出转向结果对干预规模、层选择和实验复现非常敏感，并且不应将被动探针性能作为干预效用的唯一代理指标。

技术摘要：解码语言模型隐藏状态中的未来语义

类似论文