🤖 machine learning

Code Correctness Signals in LLM Hidden States: Pre-Generation Probing and Repair Geometry

本文证明了代码正确性在生成前即可从 Qwen3-4B 模型的隐藏状态中线性解码，同时通过严格的残差化控制揭示了表象上的“修复”信号实际上是由上下文所混淆，而非代表孤立的理解特征。

原作者： Carlo Di Cicco

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Carlo Di Cicco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一个大型语言模型（LLM）看作是一个才华横溢但略显神秘的学生正在参加一场编程考试。这篇论文就像一部侦探故事，研究人员试图窥视这个学生“大脑”（其隐藏状态）内部，看看在它写下第一个代码词之前，它已经知道了什么；并观察当它尝试修复错误时，它的脑电波是否会以特定的方式发生变化。

研究人员使用了一个特定的学生（一个名为 Qwen3-4B 的模型），并给了它 444 道编程题。以下是他们的发现，通过简单的类比进行了解释。

1. “赛前”水晶球

问题： 在学生开始编写答案之前，他们的脑子里是否已经“知道”自己会答对还是答错？

类比： 想象你正准备参加一场数学测试。你还没有写下一个数字。研究人员在学生读完题目那一刻，观察了其大脑的活动情况。他们问道：“仅凭现在的脑电波活跃度，我们能否预测一个及格的分数？”

发现：是的。
他们构建了一个简单的“检测器”（线性探针），观察题目描述结束后的最终大脑状态。该检测器的准确率极高（约 93%），能够预测代码是否能通过测试。

转折点： 他们担心检测器是在“作弊”，因为它捕捉到了难题通常问题更长这一特征。因此，他们从大脑数据中“减去”了问题长度的影响。即使在去除了“长度”线索后，检测器依然表现良好（准确率略微下降至 91%，但仍远高于随机猜测）。
启示： 模型的大脑中包含一个清晰的信号，表明它在甚至还没开始生成解决方案之前，就已经知道自己能否解决这个问题。

2. “修复”的方向

问题： 当学生答错题目并尝试修复时，他们的思维是否会朝着一个特定的、一致的方向移动，从而发出“我即将成功”的信号？

类比： 想象学生答错了一道题。他们得到了一个提示（错误信息）并尝试重试。研究人员观察了失败尝试时的脑电状态与修复尝试时的脑电状态之间的“差异”。他们问道：“是否存在一个特定的‘箭头’或方向，指向成功的修复？”

发现：情况很复杂。

初步观察： 乍看之下，是的！大脑数据中存在一个清晰的“箭头”。当模型成功修复一个漏洞时，大脑活动会向特定方向移动。当它修复失败时，大脑的移动方式则不同。这看起来像是一个“成功签名”。
第二次观察（现实检查）： 研究人员随后问道：“等等，这个‘箭头’究竟是关于模型理解了修复过程，还是仅仅在对修复的‘环境’做出反应？”
- 他们注意到，成功的修复往往发生在原始错误属于特定类型（如运行时错误）时，或者当代码较短时。
- 当他们从大脑数据中通过数学方法“减去”这些外部环境（上下文）的影响后，那个“成功箭头”消失了。
启示： 大脑并没有一个特殊的“我理解了修复过程”的信号。相反，大脑只是在对修复的“上下文”做出反应（例如：“哦，这是一个代码很短且带有运行时错误的程序，我知道该如何处理这种情况”）。所谓的“成功方向”只是情况的副作用，而非深层的内在领悟。

3. “橡皮擦”工具

论文引入了一种称为 残差化（Residualization） 的方法。你可以把它看作是数据的“魔力橡皮擦”。

它是如何工作的： 如果你认为某个信号（比如“我知道答案”）是真的，但你怀疑它实际上是由其他因素（比如“问题很短”）引起的，那么你就使用魔力橡皮擦来擦掉“问题很短”的部分。
结果：
- 当他们在**“赛前”**信号上使用橡皮擦时，信号依然强劲。（它是真实的）。
- 当他们在**“修复”**信号上使用橡皮擦时，信号消失了。（它是一个由上下文造成的幻象）。

总结

这篇论文向我们展示了关于 AI 模型如何思考的两大核心教训：

它们在开口前就已洞悉： 模型的大脑在读完指令的那一刻，就持有一张关于它会成功还是失败的清晰地图。
不要盲目相信“修复”信号： 当模型尝试修复自己的代码时，其大脑的变化并不一定意味着“学习”或“理解”。通常，它们只是模型在对错误信息和代码长度等具体细节做出反应。

作者强调，他们最重要的贡献不仅在于研究结果，更在于其方法的诚实性。他们使用同样的“魔力橡皮擦”工具来证明一个现象是真实的，而另一个现象是幻象，这表明我们必须非常小心，不要将问题的“上下文”误认为是模型的“内在理解”。

技术摘要：LLM 隐藏状态中的代码正确性信号

问题陈述

本研究调查了大型语言模型（LLM）隐藏状态中代码正确性的可读性，特别关注 Qwen3-4B-Instruct-2507 模型。本研究针对 444 LiveCodeBench 任务中的代码生成过程，探讨了两个不同的时间维度问题：

生成前（Pre-Generation）： 在生成任何输出 token 之前，模型的第一个尝试生成的代码是否已经可以从最后一个 prompt token 的隐藏状态中被解码出来？
修复几何结构（Repair Geometry）： 当模型尝试修复失败的代码生成时，其隐藏状态在失败尝试与修复尝试之间的偏移（delta）是否携带了一个稳定的、可隔离的几何特征，用以指示修复是否会成功？

本研究在机械解释性（mechanistic interpretability）的框架内运行，利用线性探针（linear probes）和对比方向分析（contrastive direction analysis）来确定内部表示是否编码了如代码正确性或修复成功等可验证的属性。

研究方法

模型与数据

模型： Qwen/Qwen3-4B-Instruct-2507（36 层解码器架构 Transformer，2560 维隐藏状态）。
数据集： 444 个 LiveCodeBench 任务（简单、中等、困难）。
硬件： 单张 NVIDIA RTX 4050 (6 GB VRAM)。
数据采集： 对于生成前分析，从单次前向传播的最后一个 prompt token 处提取隐藏状态（在自回归生成之前）。对于修复分析，分别采集第一次尝试（attempt 0）和随后的修复尝试（attempt 1）的隐藏状态。

核心技术：残差化（Residualization）

本文采用 残差化 作为主要的混淆控制工具。这包括：

对每个隐藏状态维度针对候选协变量（例如，prompt 长度、修复上下文特征）进行普通最小二乘（OLS）回归拟合。
从隐藏状态维度中减去拟合的预测值，以移除该协变量的线性贡献。
在残差化后的数据上重新评估信号（探针性能或几何方向）。

这种方法用于区分哪些信号是模型内部表示固有的，哪些是输入结构或上下文差异产生的伪影。

实验流水线

生成前探针（第 3 节）：
- 使用线性探针（StandardScaler $\to$ PCA $\to$ Logistic Regression）训练，旨在从 prompt 最终隐藏状态中预测通过/失败标签。
- 层选择： 使用嵌套交叉验证（50 次外部拆分，5 折内部 CV）来选择最优层和正则化强度 ( $C$ )，以防止测试集泄漏。
- 基准测试： 与原始隐藏状态、残差化隐藏状态（移除 prompt 长度）以及仅基于 prompt 长度的基准进行对比。
修复方向分析（第 4 节）：
- Delta 构建： 对于 attempt 0 失败且存在 attempt 1 的任务，定义 $\delta = h_{\text{attempt 1}} - h_{\text{attempt 0}}$ 。
- 对比方向： 计算向量 $v = \text{mean}(\delta_{\text{success}}) - \text{mean}(\delta_{\text{failure}})$ 。
- 验证： 对 $v$ $v$ 进行两项测试：
  - 幅值（Magnitude）： 将 $v$ 的范数与标签随机打乱后的零假设进行比较。
  - 倾角（Inclination）： 计算从两部分数据中恢复的方向之间的分半余弦相似度（split-half cosine similarity）。
- 协变量检查： 在残差化之前，使用统计检验（Welch's t-test, Chi-squared）验证协变量在成功组和失败组之间是否存在显著差异。仅对显示出显著组间差异的协变量进行残差化处理。
- 协变量： $\Delta$ prompt_tokens、code_length_attempt_0 以及 failure_type。

关键结果

1. 生成前正确性是线性可解码的

原始信号： 在最后一个 prompt 隐藏状态上训练的线性探针（通过嵌套 CV 选择第 29 层）在 50 次随机拆分下实现了无泄漏的 AUC 为 0.931 ± 0.008。
对 Prompt 长度的鲁棒性： 在针对 prompt 长度进行残差化处理后，探针性能依然保持在高水平，为 0.911 ± 0.010。
基准对比： 仅基于 prompt 长度的基准实现的 AUC 为 0.754 ± 0.014。仅基于 prompt 长度的非线性模型（随机森林、梯度提升树、MLP）均未超过此基准。
结论： 隐藏状态包含一个鲁棒的正确性信号，且该信号并非由 prompt 长度所还原，且在生成第一个输出 token 之前就已经存在。

2. 修复方向是上下文相关项，而非孤立特征

原始信号： 在原始 $\delta$ （236 个干净的转换：128 个成功，108 个失败）中，存在一个对比方向。它通过了针对标签随机打乱零假设的幅值测试（ $p < 0.001$ ）和分半余弦测试（ $p < 0.001$ ）。
协变量不平衡： 统计检验显示，成功组和失败组在 $\Delta$ prompt_tokens、初始代码长度和失败类型分布方面存在显著差异（所有项均为 $p < 0.001$ ）。
残差化效应： 当 $\delta$ $δ$ 针对这三个协变量进行残差化处理后：
- 方向的幅值从 9.76 降至 3.72（仅为原始值的 38%）。
- 分半余弦相似度从 0.767 降至 0.140。
- 两项测试均不再具有统计学显著性（幅值 $p=0.126$ ，分半余弦 $p=0.942$ ）。
结论： 在原始 $\delta$ 中观察到的几何方向是由修复上下文结构（例如特定的错误信息和代码长度差异）驱动的修复成功相关项，而非激活空间中一个孤立的“修复理解”特征。

3. 多步修复的局限性

研究发现，在第一次修复尝试之后，通过率急剧下降（Attempt 1: 36.4%, Attempt 2: 6.7%）。
超过 $0 \to 1$ 转换（例如 $1 \to 2$ ）的数据过于稀疏（仅有 13 个成功案例），不足以支持有意义的对比方向分析。

贡献与意义

本文声称其贡献既在于方法论也在于实证研究：

诊断诚实性（Diagnostic Honesty）： 本研究展示了单一混淆控制程序（残差化）在两种截然相反方向上的效用：
- 在生成前的情况下，残差化支持了原有的主张，证明了信号在移除主要混淆因素（prompt 长度）后依然存在。
- 在修复情况下，相同的程序推翻了最初的解释，表明当移除上下文协变量时，信号会发生坍缩。
方法论严谨性： 本工作强调了在残差化之前检查协变量分布的必要性。作者认为，对于组间均值相等的协变量进行残差化是没有必要且可能产生误导的，而对于具有不同均值的协变量进行残差化则是分离潜在特征的关键。
实证发现：
- 证实了代码正确性在生成开始前即可在隐藏状态中被读取。
- 反驳了在原始隐藏状态偏移中存在稳定、孤立的“修复成功”几何方向的假设，并将其归因于修复尝试中不同的上下文。

论文得出结论：虽然 LLM 编码了关于代码正确性的丰富信息，但解释隐藏状态中的几何偏移需要仔细解构输入上下文，因为表象上的“特征”可能仅仅是 prompt 结构的反映。