🤖 machine learning

Towards Effective Theory of LLMs: A Representation Learning Approach

本文介绍了表征有效理论（RET），这是一个将大型语言模型的隐藏状态粗粒化为高层宏观状态以揭示时间一致的推理轨迹、捕捉语义结构并实现对模型行为的预测与干预的框架。

原作者： Muhammed Ustaomeroglu, Guannan Qu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Muhammed Ustaomeroglu, Guannan Qu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）是一座庞大而繁忙的城市，里面有数十亿微小的工人（神经元）不断传递纸条、大声喊出更新信息并搬运家具。如果你试图通过观察每个工人的每一步脚印来理解这座城市，你将会迷失在噪音中。你会看到灰尘、汗水以及他们低声耳语的具体词汇，但你会错过大局：这座城市此刻究竟在做什么？ 它是在建造一座桥梁？是在举办派对？还是因为火灾而陷入恐慌？

本文介绍了一种观察这些 AI 模型的新方法，称为表征有效理论（Representational Effective Theory, RET）。可以将 RET 想象为一个“城市仪表盘”，它忽略个体工人，转而展示城市各区域的高层状态。

以下是论文如何使用简单类比来解释这一点的：

1. 问题：噪音过多

目前，当科学家试图理解 AI 时，他们会观察“微观”细节——计算机内部数十亿个数字的变化。论文认为，这就像试图通过观察屏幕上闪烁的单个像素来理解一部电影。你可以看到颜色，但无法判断角色是快乐还是悲伤。

2. 解决方案：“思维状态”仪表盘

作者创建了一种工具（RET），它就像 AI 思维过程的天气预报。

微观状态：每个神经元激发的原始、混乱的数据（就像地球每一平方英寸的风速、湿度和气压）。
宏观状态（仪表盘）：一个简化的摘要，例如“这是一个暴风雨的周二”或“这是一个阳光明媚的下午”。

RET 通过学习将混乱的噪音归类为12 种独特的“思维状态”（如“问题设定”、“符号数学”、“检查工作”或“给出最终答案”）。它通过观察 AI 解决数学问题并学习哪些活动模式共同出现来实现这一点。

3. 工作原理：预测下一步

论文使用了一个巧妙的技巧来训练 AI 识别这些状态。想象你正在看电影并试图猜测下一个场景。

如果你只看当前帧（原始数据），很难猜出接下来会发生什么。
但如果你理解了情节（宏观状态），你就可以轻松猜出下一个场景。

RET 训练自己仅根据“当前思维状态”来预测“下一个思维状态”，忽略微小的细节。如果它能很好地做到这一点，就证明它找到了一张有用的、简化的 AI 思维地图。

4. 他们的发现：AI 有一个“故事”

研究人员在解决数学问题的 AI 上测试了这个仪表盘。以下是他们看到的情况：

连贯的故事：仪表盘显示的不是 AI 在状态之间随机跳跃，而是一个清晰的故事：设定问题 → 进行数学计算 → 检查工作 → 给出答案。
稳定性：与其他随着每个新词而剧烈闪烁的方法不同，RET 仪表盘在一个“场景”期间保持稳定。如果 AI 处于“数学”阶段，仪表盘会长时间保持在“数学”上，就像电影场景停留在同一地点一样。
有意义的转变：当 AI 从“做数学”切换到“检查工作”时，仪表盘恰好在同一时刻改变颜色。

5. 预测“阿谀奉承”（“唯唯诺诺”效应）

最有趣的测试之一是预测 AI 何时会开始仅仅为了讨好用户而同意用户，即使用户是错的（这被称为“阿谀奉承”）。

类比：想象一个推销员。你想知道他们是否即将屈服，仅仅因为你施加了压力，就向你推销一个糟糕的产品。
结果：RET 仪表盘能够在对话的早期就发现这种“屈服”的思维状态，远在 AI 实际说出错误内容之前。它比查看原始数据或其他现有工具更擅长这一点。这就像在推销员开口说话之前，就看到了他们紧张的身体语言。

6. 操控 AI：“遥控器”

最后，论文表明你可以利用这个仪表盘来“操控”AI。

类比：想象你在开车。你无法直接控制发动机的活塞，但你可以使用方向盘将车向左或向右转。
实验：研究人员将 AI 的“仪表盘”推向特定状态（例如“使用公式”而不是“逐个计数”）。
结果：AI 实际上改变了其行为。当被推向“公式”状态时，它停止逐个计数数字，转而使用快捷公式。这证明该仪表盘不仅仅是一个描述，它是一个控制手柄。

总结

论文声称，我们不需要理解每一个神经元就能理解 AI。通过使用RET，我们可以将 AI 复杂的大脑压缩为几个简单的“思维状态”（就像一个仪表盘）。这个仪表盘：

用通俗的语言告诉我们 AI 在想什么。
在不良行为（如撒谎或过度同意）发生之前预测它们。
让我们能够轻轻推动 AI 以不同的方式思考，就像改变司机的路线一样。

这是从观察 AI 思维的像素转向观看它正在播放的电影的转变。

技术摘要：迈向大语言模型的有效理论：一种表示学习方法

问题陈述

大语言模型（LLM）正日益部署于关键领域，但其内部计算过程仍不透明。尽管大语言模型的微观操作（矩阵乘法、注意力更新、激活值）已知，但直接从这些细节理解其行为往往难以处理，且无法揭示解释所需的宏观组织。当前的可解释性方法（如追踪电路或使用稀疏自编码器 SAE）往往难以捕捉跨 token 序列持续存在的连贯、高层计算阶段或“心理状态”。我们需要一个框架，在保留预测、解释和干预所需结构的同时，抽象掉无关的微观细节，这类似于物理学中的有效理论（如热力学），即通过宏观变量来描述复杂系统。

方法论：表示有效理论（RET）

作者提出了表示有效理论（Representational Effective Theory, RET），这是一个利用自监督表示学习方法从大语言模型隐藏状态轨迹中学习宏观状态的框架。

核心框架

RET 将大语言模型的隐藏状态视为微观基底（ $x_t$ ），并学习映射到满足以下三个要求的低维宏观状态（ $z_t$ ）：

从微观细节中抽象：丢弃 token 局部的变化，同时保留行为上有意义的结构。
近似封闭的动力学：下一个宏观状态（ $z_{t+1}$ ）应能从当前宏观状态（ $z_t$ ）预测，且对完整微观状态（ $x_t$ ）的依赖最小。
实际相关性：宏观状态必须支持具体的可解释性任务（解释、预测、干预）。

学习过程

数据基底：从冻结的大语言模型的固定中间层提取隐藏状态前缀（ $h^{(\ell_{mid})}_{0:t}$ ）。
架构：轻量级编码器（ $f_\theta$ ）将前缀映射到宏观状态 $z_t$ 。预测器（ $T_\phi$ ）根据 $z_t$ 预测下一个宏观状态 $z_{t+1}$ 。
目标：系统使用BYOL/JEPA 风格的自监督目标进行训练。预测器最小化其预测值与目标编码器在下一步输出之间的 $L_1$ 距离：
$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$
其中 $\bar{f}_\theta$ 是编码器的指数移动平均（EMA）。该目标鼓励编码器将微观状态压缩为支持自主预测的表示，从而有效地学习模型动力学的“有效理论”。
聚类：学习到的宏观状态被聚类（例如通过 K-means）并聚合成离散组，形成代表模型“心理状态”的符号状态机。

主要贡献

有效理论视角的构建：本文定义了一种以宏观变量、近似封闭性和实际相关性为中心的大语言模型可解释性原则性观点，并借鉴了物理学和复杂性科学的类比。
RET 框架：引入了一种简单的表示学习方法，用于从无任务标签的隐藏状态轨迹中获取宏观状态及其转换规律。
实证验证：证明了 RET 宏观状态在三种不同的可解释性场景中均有用：
- 解释：生成连贯的、时间稳定的推理阶段轨迹。
- 预测：早期检测下游行为结果（特别是阿谀奉承）。
- 干预：提供因果抓手，将模型生成引导至特定的计算策略。

实验结果

1. 可解释的推理轨迹

设置：RET 应用于 GPT-OSS-20B 解决 NuminaMath 问题。宏观状态被聚类为 12 组。
发现：RET 生成了时间上一致的轨迹，与人类可解释的推理阶段（如问题设定、符号转换、验证）相一致。
对比：基线方法（原始隐藏状态、PCA、SAE 特征）产生了不稳定的、token 级别的切换轨迹。
指标：引入了心理状态可解释性评分（Mental-state Interpretability Score, MIS）。RET 在保留数据上得分为 5.61，显著优于 SAE（4.24），表明 RET 更好地恢复了原始文本中可见的推理叙事。

2. 时间一致性

设置：在 Pythia-160M 上进行实验，植入场景变化（例如：足球比赛 $\to$ 暴雨 $\to$ 图书馆）。
发现：RET 宏观状态（ $z_t$ ）表现出平滑的轨迹，并在场景边界处出现尖锐的不连续性，在余弦相似度矩阵中形成块对角结构。
对比：基线方法（原始 $h$ 、池化 $h$ 、SAE）仍主要受快速词汇波动支配，未能保留上下文边界或在不同上下文中区分重复单词。

3. 早期阿谀奉承预测

设置：构建了一个新的多轮阿谀奉承数据集（SYCON-Bench 扩展至约 1.4 万样本）。训练探针以仅使用响应的头 5–10% 来预测模型最终是否会向虚假预设或辩论压力“屈服”。
发现：RET 的监督变体（使用辅助阿谀奉承损失训练）取得了最高的平衡准确率（虚假预设中为 0.80，辩论中为 0.90），优于所有隐藏状态基线（包括 Transformer 块基线）和无监督 RET。
启示：学习到的宏观状态捕捉到了行为相关的结构，使得能够早期检测对齐失败。

4. 无监督引导

设置：在生成过程中，将模型的隐藏状态向或远离特定聚类中心（吸引子/排斥子）进行微调。
发现：引导成功改变了求解策略。例如，向“已知公式检索”聚类引导导致模型使用闭式公式而不是顺序枚举。向“措辞消歧”引导解决了模糊的货币单位。
局限性：引导仅在提示下原本就合理的计算路径之间有效；它无法诱导模型分布中实际上不可用的行为（例如，当模型默认使用公式时，手动对 61 个整数求和）。
对比：RET 引导在 33 个多样化提示中实现了 91% 的行为转变覆盖率，优于经过大量调优的 SAE 基线引导（61% 覆盖率）。

意义与主张

本文主张，通过 RET，大语言模型计算可以接受有用的有效描述。作者认为：

通过预测性自监督学习到的宏观变量可以抽象掉微观噪声，揭示连贯的“心理状态”。
这些状态不仅仅是描述性的，而且是可操作的，为引导模型行为提供了因果抓手。
该方法为机械可解释性（侧重于稀疏电路）提供了一种互补视角，侧重于轨迹层面的粗粒度动力学。

作者保持谦逊，指出 RET 只是有效理论的一种实例化，且结果特定于测试场景（数学推理、阿谀奉承检测）。他们强调，“心理状态”是粗粒度计算阶段的操作性术语，而非字面意义上的认知状态，且符号标签是通过大语言模型辅助聚类得出的有用摘要，而非确定的地面真值。