💬 NLP

What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model

本文引入了一种严谨的测试，用于区分迭代自反馈语言模型实验中，由探针构建本身固有的伪影（如运动学损伤扩散）与真实的模型属性（如李雅普诺夫指数）之间的区别，从而揭示了以往关于相变的断言往往被错误地归因于模型而非方法论。

原作者： Nicolás Vera Zúñiga

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Nicolás Vera Zúñiga

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

侦探的困境：当工具本身成为线索

想象一下，你正试图弄清楚一种特定类型汽车引擎的工作原理。你无法将其拆解，因此，你建造了一个巨大的自动化测试赛道。你将汽车自身的废气重新引入其进气口，循环往复，观察引擎对自身废气的反应。这有点像科学家对待现代“大语言模型”（AI）的方式。这些 AI 系统就像是能够预测句子中下一个词的超级智能引擎。研究人员经常将 AI 的输出反馈给它自身，以观察它是否能修正自己的错误、进行更深层的思考或解决难题。这被称为“自我喂养”（self-feeding）或“迭代探测”（iterated probing）。

但棘手之处在于：当你建造一条测试赛道时，赛道本身是有规则的。也许赛道太颠簸，或者风向以特定方式吹袭，导致汽车摇晃。如果你看到汽车在摇晃，是因为引擎坏了，还是因为赛道太颠簸？在 AI 的世界里，科学家一直在测量诸如“AI 思维变化的速度”或“其答案的稳定性”等指标，并假设这些数字能告诉他们关于 AI 大脑的信息。这篇论文提出了一个简单而令人恐惧的问题：如果这些数字实际上只是在告诉我们关于我们建造的“测试赛道”的信息，而不是关于 AI 本身的信息呢？

大错混淆：是 AI 还是实验？

在这篇论文中，研究员 Nicolás Vera Zúñiga 设置了一个非常具体且略显古怪的实验来寻找答案。想象一个由 4096 颗珠子组成的巨大圆形项链，每颗珠子代表 AI 词汇表中的一个词（或“标记/token”）。AI 会观察特定位置周围的一小段珠子窗口，猜测该位置应该是什么珠子，然后用它的新猜测替换当前的珠子。它在项链上的每一个位置都进行这种操作，周而复始，且顺序随机。这创造了一个闭环，AI 根据自己之前的猜测不断重写自己的故事。

为了测试这一点，研究员创建了两个完全相同的项链。在第二个项链上，他在开始时仅翻转了其中一颗珠子。然后，他使用完全相同的随机数来决定替换过程，将这两个项链放入同一个模拟器中运行。如果 AI 的“大脑”具有敏感性，那么这颗被翻转的珠子应该会产生连锁反应，使两个项链随着时间的推移变得越来越不同。这被称为“损伤扩散”（damage spreading）。研究员测量了这种损伤扩散的速度（一个称为 $\lambda_{ca}$ 的数值）以及其中保留了多少。

大惊喜：“相变”竟然不存在

研究员发现了一些令人震惊的事情。当他在极低“温度”下（这意味着强制 AI 表现得非常自信，且仅选择可能性最高的词）运行此实验时，系统突然崩溃了。项链停止了变化，并冻结在单个重复的词上（就像一台卡在“换行符”上的破旧唱片机）。这看起来像是一个剧烈的“相变”，类似于水瞬间变成冰。

研究员以极高的精度测量了这一转变，精确到了小数点后三位。这看起来像是关于 AI 模型行为的一个真实发现。然而，论文证明了这一转变属于实验本身，而非 AI。

以下是他们是如何知晓的：

对照测试： 他们在另一种构建方式不同的 AI 模型（“掩码语言模型”）上进行了完全相同的实验。这个第二模型即使在同样的低温度下也从未发生冻结。
机制分析： 他们意识到，冻结之所以发生，是因为第一个 AI 模型在挑选单词时存在一个特定的数学“陷阱”。这就像球滚入了一个深坑；一旦掉进去，就无法出来。这个坑的存在是因为实验规则（即强制 AI 更新珠子的特定方式），而不是因为 AI 有何特殊之处。
结论： 这个“相变”是一个“人为制造”的事件。它是测试赛道的属性，而不是汽车的属性。研究员承认，他们曾花了四个月时间以为自己发现了一项关于 AI 物理学的新定律，结果却发现自己只是发现了一个测量尺本身的奇特性质。

那么，实验到底测量了什么？

如果“相变”是假的，那么这个实验是否还传达了任何真实的信息？是的，但你必须非常小心地观察什么。论文引入了一个“判别器测试”（Discriminator Test）来区分噪声与信号：

“构建”读数（噪声）： 一些数值，例如损伤扩散的速度 ( $\lambda_{ca}$ )，是由实验的几何结构决定的。如果你改变窗口的大小或珠子的顺序，这些数值就会改变。如果你更换 AI 模型，这些数值基本保持不变。这些读数告诉你的关于实验，而不是 AI。
“模型”读数（信号）： 其他数值，例如“吸引子份额”（attractor share，即 AI 沉淀在某个特定词上的程度），在更换 AI 模型时确实会发生变化。如果你训练模型的时间更长，这个数值会移动。如果你切换到不同的 AI 架构，这个数值也会移动。这才是真正反映 AI 大脑的部分。

“陷阱”与撤回的结论

这篇论文也是一个关于统计学如何轻易误导自身的警示录。研究员列举了四次他们差点发表了错误的“发现”，原因在于他们没有正确检查数学逻辑：

他们曾使用一个规模过小、不足以成立的设置来测量“临界点”。
他们不小心在测试的不同部分使用了相同的随机数，使得结果看起来比实际更确定。
他们试图在一段实际上是平坦直线（零方差）的数据中寻找模式，这使得相关性看起来像是真实的，而实际上只是数据排序方式导致的巧合。

每一次，他们并不是通过同行评审，而是通过运行一个“已知答案”的测试（例如一个结果已知的模拟实验）并发现自己的工具给出了错误答案，才抓住了错误。

底线总结

这篇论文并没有赋予我们某种新的 AI 超能力。相反，它给了我们一副新的眼镜。它教导我们，当我们把 AI 的输出反馈给它自身时，我们将两种东西混合在了一起：AI 真正的智能和我们实验的人为规则。

核心启示是：我们不能仅仅看一个数字就假设它代表了 AI。我们必须玩一场“控制变量”的游戏：如果你改变 AI 而数字保持不变，那么这个数字属于实验；如果你改变实验而数字保持不变，那么这个数字属于 AI。论文证明，该领域一些最令人兴奋的“发现”，可能仅仅是我们举起的镜子所反射出的影像，而非我们正在观察的面孔。它是在呼吁科学家要保持谦逊，要检查自己的工具，并意识到有时，你发现的最有趣的东西，其实是你那把测量尺上的缺陷。

技术摘要：迭代自反馈语言模型探针测量的是什么

问题陈述

一类日益增多的方法通过将语言模型（LM）自身的输出反馈回其输入，从而创建出诸如自一致性（self-consistency）、迭代细化（iterated refinement）和智能体循环（agentic loops）等动力系统。虽然这些方法已成为常规手段，但一个基本问题仍悬而未决：这些自反馈探针的动力学过程究竟测量了什么？

本文认为，目前对这类探针的解读混淆了两个截然不同的信息来源：

由构建决定的量（Construction-determined quantities）： 仅由探针的机制（例如循环结构、重采样规则和耦合方法）产生的属性。
由模型决定的量（Model-determined quantities）： 语言模型本身固有的属性。

如果缺乏区分这两者的手段，研究人员可能会将测量装置本身的伪影误认为是模型的特性。作者报告了一个具体实例：他们测量到了一个精确到小数点后三位的“相变”，结果发现这完全属于探针的构建属性，而非模型本身。

方法论

构建方式

作者采用了一种特定的构建方式来隔离探针与模型之间的混淆：

状态（State）： 一个具有周期性边界条件的 $N$ 个 token 单元环。
动力学（Dynamics）： 原地重采样（In-place resampling）。在每一步中，站点 $x_i$ 根据模型的窗口化条件概率 $p(x_i | x_{i \pm r})$ 在温度 $T$ 下进行重采样。中心 token 从其自身的窗口中被屏蔽（masked）。
耦合（Coupling）： 使用**共同随机数（Common Random Numbers, CRN）**推进两个环（ $x$ 和 $\tilde{x}$ ）。除了在 $t=0$ 时有一个 token 被翻转外，两者完全相同。它们使用相同的均匀分布变量流和相同的访问顺序。
零假设（Null Hypothesis）： 在 CRN 下，如果两个环具有相同的窗口，它们会抽取完全相同的 token（针对共享的均匀分布进行逆 CDF 采样）。因此，未受损的双胞胎之间的差异恰好为零。任何偏差都严格归因于注入的那个翻转。

测量的量

$\lambda_{ca}$ （Token 空间李雅普诺夫指数）： 在达到饱和前的差异站点数量（ $d_t$ ）的指数增长率。
$D_{norm}$ ： 饱和的损伤水平，通过独立噪声底进行归一化。
吸引子份额（Attractor Share）： 稳定后的环中主导 token 的占用率。

验证策略

该仪器通过在已知答案的系统上进行复现来完成校准，具体为 Domany–Kinzel 概率细胞自动机。作者验证了其实现能够对该自动机产生与独立预测完全一致（bit-exact）的结果，随后才将其应用于语言模型。

核心贡献

1. 经过验证的仪器

作者提供了一个经过校准的工具，能够区分探针的几何结构与模型的行为。该仪器通过复现 Domany–Kinzel 损伤场，并成功恢复了初等细胞自动机的已知转移矩阵，从而得到了验证。

2. 识别出“制造”的相变

作者发现探综动力学在临界温度 $T_c \in [0.4343, 0.4391]$ 处存在一个尖锐的吸收态相变。

本质： 这种相变是探针的属性，而非模型的属性。
机制： 它源于自回归构建中 argmax 映射的一个吸引不动点（特别是对于像 Pythia-410m 这样的模型），导致晶格在低温度下坍缩到单个 token（例如换行符）上。
证据： 当改变构建方式（例如使用没有此类不动点的掩码语言模型构造）时，该相变消失；但它在 19 种不同的模型和规模阶梯（70 倍的变化）中依然存在。

3. 判别测试（The Discriminator Test）

论文引入了一种严谨的测试，用于分离由构建决定与由模型决定的读数：

测试： 在保持一个因素（构建或模型）固定时，改变另一个因素。
准则： 如果一个读数在构建改变时发生变化，但在模型改变时保持不变，则它是由构建决定的。如果一个读数在模型改变时发生变化，但在构建改变时保持不变，则它是由模型决定的。
应用：
- 构建决定的： 损伤光锥（运动学性质）以及 $\lambda_{ca}$ 的半径缩放（模型不变性）。
- 模型决定的： 吸引子份额，它在不同的构建中都能一致地对模型进行排序。
- 发育性（Developmental）： $\lambda_{ca}$ 追踪单个模型的训练轨迹（在可复现的点穿过零点），但无法区分不同的模型家族。

4. 估计器门控与撤回的结论

作者报告了四个撤回的结论，在这些案例中，由于估计器被应用于没有变化空间的量（例如饱和的预测器、被视为零的未定义值或相关的副本），导致产生了看似自信实则错误的数值。他们发布了一套“防护措施”（例如动态范围检查、噪声门、感知平局的排序算法）以防止此类错误。

结果

探针伪影： 在自回归模型中观察到的“相变”是探针几何结构（特别是 argmax 映射的固定点）的伪影。它是可复现的，但并不携带关于模型能力的任何信息。
模型敏感性：
- $\lambda_{ca}$ ： 虽然它显示出一种发育性转换（在训练期间穿过零点），但它在不同架构和规模之间是模型不变的。它不能作为比较不同模型的可靠指标。
- 吸引子份额： 该指标成功地区分了不同的模型家族（例如 RWKV 与 Attention 模型），并且对探针的构建（半径、温度）具有鲁棒性。
消融实验响应： 移除内部组件（如注意力块）会改变动力学，这证实了仪器确实在读取模型。然而，这种响应是非单调的，并且取决于参考状态的初始状态，表明这是一种复杂的统计关系，而非简单的因果机制。
预测能力： 吸引子份额可以预测指令遵循失败，而发育性转换（ $\lambda_{ca}$ ）则不能。相反， $\lambda_{ca}$ （通过多样性）可以预测贪婪退化，而吸引子份额则不能。

意义与主张

本文声称，迭代自反馈探针测量的是构建与模型两者的混合体，且这两部分在直观观察下是无法区分的。

主张的谦逊性： 作者明确指出这不是一项解释性结果。他们并未声称 $\lambda_{ca}$ 定位了某个特定的内部机制。相反，其贡献在于测量：定义了这些探针测量了什么，没测量什么，以及如何区分两者。
核心洞察： 一个仪器对于某一类型的比较（如追踪单个模型的训练）可能是有效的，但对于另一类比较（如比较不同模型家族）可能是无效的。
方法论转向： 作者认为，源自自反馈循环的量在被解释为语言模型的属性之前，必须经过“判别测试”（即改变构建与改变模型）。
可复现性： 所有代码、数据和图表脚本均已发布，并附带严格的可追溯性（SHA-256 哈希），以确保图表不会脱离生成它们的代码而独立存在。

论文得出结论：认为“该仪器测量的是其自身”这种简洁的总结是错误的；该仪器确实在测量模型，但它同时也以同样的精度测量着探针。未能区分二者的代价，就是将探针的伪影（如制造的相变）错误地归因于模型。