💬 NLP

Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer

本文提出了“离散 Transformer"架构，通过引入温度退火采样机制解决 Transformer 中表征纠缠问题，从而能够从模型权重中直接提取可解释的符号算法，实现了无需人类代码演示的算法发现与模型可解释性提升。

原作者： Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“离散 Transformer"（Discrete Transformer）的新方法。简单来说，它的目标是从黑盒般的神经网络中，直接“榨”出人类能读懂的、像教科书一样的数学公式或代码**。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这项技术：

1. 核心问题：为什么以前的 AI 很难被“读懂”？

想象一下，传统的 Transformer（现在的很多大模型）就像一个超级复杂的“混沌大锅”。

现象：在这个锅里，所有的信息（比如数字、逻辑）都被搅拌在一起，混成了连续的、模糊的“汤”。
问题：虽然这锅汤能做出美味的菜（解决复杂问题），但如果你问厨师（AI）：“你是怎么把盐放得这么准的？”厨师会指着那锅混在一起的汤说：“就是在那儿，但我说不清哪一滴是盐，哪一滴是糖。”
学术术语：这叫“特征纠缠”（Representation Entanglement）。所有的逻辑都混在一起，导致我们无法从中提取出清晰的“如果...就..."这样的规则。

2. 解决方案：给 AI 戴上“分格餐盘”

这篇论文提出的“离散 Transformer"，就像给这个混沌大锅换了一个带有严格隔板的“分格餐盘”。

强制分工：
- 格子 A（数值注意力机制）：只负责**“搬运”**。比如，“把上一秒的数据拿过来”、“把第 3 个数据移到第 5 个位置”。它不计算，只负责指路。
- 格子 B（数值多层感知机）：只负责**“计算”**。比如，“做加法”、“做乘法”、“取最大值”。它不负责搬运，只负责在原地算数。
效果：因为格子被物理隔开了，逻辑变得非常清晰。搬运的归搬运，计算的归计算，不再是一锅乱炖。

3. 关键魔法：从“模糊”到“清晰”的降温过程

为了让这个分格餐盘真正发挥作用，作者使用了一个叫**“温度退火”（Temperature Annealing）**的技巧。

比喻：想象你在玩一个**“橡皮泥捏模型”**的游戏。
- 高温（开始训练）：橡皮泥很软，你可以随意拉伸、混合。这时候 AI 在“探索”各种可能性，虽然模糊，但很灵活。
- 降温（训练后期）：慢慢降低温度，橡皮泥开始变硬、定型。
- 低温（训练结束）：橡皮泥完全硬化，变成了坚硬的积木。
结果：在这个过程中，AI 被迫把那些模糊的、连续的“软逻辑”，强行变成了清晰的、离散的“硬逻辑”（比如：要么选这个，要么选那个，没有中间状态）。一旦变硬，我们就能清楚地看到它的结构了。

4. 提取代码：像侦探一样“逆向工程”

当 AI 训练完成并“变硬”后，作者们就派出了两个**“侦探”**来提取代码：

侦探 A（负责搬运的格子）：
- 它不看复杂的数学，只看**“指向哪里”**。
- 它会发现：“哦，原来这个头总是指向‘前一个位置’"，或者“总是指向‘窗口里的最大值’"。
- 产出：像 prev = cur[-1] 这样的简单指令。
侦探 B（负责计算的格子）：
- 它把搬运来的数字收集起来，用**“符号回归”**（一种自动找公式的技术）去猜公式。
- 它会发现：“原来这两个数加起来，再减去它们的乘积，就等于结果”。
- 产出：像 y = x + x_prev - 2*x*x_prev 这样的数学公式。

最后，把这两个侦探的线索拼起来，就得到了一段人类能读懂的 Python 代码。

5. 这项技术的厉害之处

不仅懂整数，还懂小数：以前的方法（如 MIPS）只能处理整数（比如 1, 2, 3），一旦遇到物理世界中的小数（比如重力加速度、温度变化），它们就抓瞎了。而这个新模型天生就能处理连续的小数，所以能提取出物理公式（比如自由落体高度公式）。
不仅是模仿，更是发现：它不需要人类教它写代码，而是自己从数据中“悟”出了算法。甚至能发现人类没想到的、但数学上等价的新公式。
可控性：如果你不想让它用复杂的乘法，你可以强行把计算格子关掉，它就能学会用“搬运”的方式（比如直接找最大值）来解决问题。这就像你可以指挥 AI 换一种解题思路。

总结

这篇论文就像是在教 AI**“如何把复杂的思考过程，写成清晰的步骤说明书”**。

以前，AI 像个天才但沉默寡言的数学家，算得对但说不出过程；现在，通过“离散 Transformer"，我们给这位数学家戴上了**“分格眼镜”，并让它“慢慢冷静下来”，最终它不仅能算出答案，还能把解题过程写成一段人类一看就懂的、优雅的代码**。这对于理解 AI 到底在想什么，以及让 AI 帮助科学家发现新定律，都有着巨大的意义。

这是一份关于论文《Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer》（从离散 Transformer 中提取可解释算法）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：
现有的大语言模型（LLM）在代码生成方面表现出色，但“算法提取”（Algorithm Extraction）旨在直接从训练好的模型中合成可执行的程序，从而在不依赖人类编写代码的情况下发现新算法。然而，将这一范式应用于主流的 Transformer 架构面临巨大挑战。

主要障碍：

表示纠缠（Representation Entanglement）： 标准 Transformer 内部存在“超位置”（Superposition）现象，即特征编码在重叠、非正交的方向上，而非独立的神经元。
连续与离散的鸿沟： Transformer 的表示是连续且高维的，而符号算法是离散且稀疏的。这种纠缠使得直接提取显式的符号表达式（Symbolic Expressions）变得不可行，阻碍了基于机械可解释性（Mechanistic Interpretability）的程序合成。

核心目标：
能否通过从 Transformer 中提取算法，合成出既可执行又可解释的程序？

2. 方法论 (Methodology)

作者提出了 Discrete Transformer（离散 Transformer），一种专为算法提取设计的架构，旨在弥合连续表示与离散符号逻辑之间的差距。

2.1 架构设计

该架构基于 Transformer Programs (TP) 和 RASP 计算模型，进行了以下关键修改以实现功能解耦：

数值残差流（Numerical Residual Stream）： 将传统的隐向量残差流改为显式的标量变量集合。通过拼接（Concatenation）而非加法更新，保留完整的计算历史，避免信息干扰。
数值注意力（Numerical Attention）作为路由器：
- 严格限制其功能仅为信息路由（Information Routing），而非特征混合。
- 使用**分段线性编码（PLE）**将标量投影到高维空间以计算注意力分数。
- 通过**温度退火采样（Temperature-annealed Sampling）**强制注意力机制收敛为确定性的指针操作（如“复制偏移量为 -1 的 token"）。
数值 MLP 作为运算符（Operator）：
- 负责元素级算术和逻辑变换。
- 被分解为多个独立的子模块（Sub-MLPs），每个子模块仅处理少量输入（通常 k=2）。
- 通过限制输入维度和隐藏层宽度，强制网络将复杂函数分解为简单的算术步骤，为符号回归创造理想条件。
线性输出头（Linear Output Head）： 聚合离散计算步骤生成最终预测。

2.2 训练策略：温度退火

在训练过程中，对采样函数应用几何退火（Geometric Annealing），将温度 $\tau$ 从 10.0 逐渐降低至 0.1。
这一过程使模型从连续的概率分布平滑过渡到完全离散的计算图，确保算法解被隐式但清晰地编码在权重中。

2.3 从权重到代码的提取流程 (From Weights to Code)

一旦模型收敛到离散状态，采用模块化策略提取算法：

假设检验（Hypothesis Testing）： 针对数值注意力模块。通过分析注意力矩阵，识别两种可解释模式：
- 固定偏移（Fixed Offset）： 相对位置索引。
- 窗口极值（Windowed Extrema）： 基于内容的选择（如窗口内的最大值/最小值）。
符号回归（Symbolic Regression）： 针对数值 MLP模块。利用 PySR（基于遗传算法的工具）对子模块的输入输出数据进行黑盒符号回归，寻找最优的闭式表达式（如 $o = 2u_1 + u_2$ ）。
全局程序组装： 从线性输出头开始，通过反向遍历计算图，将提取出的指针逻辑和算术表达式整合，生成最终的 Python 代码。

3. 主要贡献 (Key Contributions)

Discrete Transformer 架构： 提出了一种与 RASP 对齐的架构，通过强制功能解耦（路由与计算分离），成功 bridging 了连续优化与离散逻辑。
模块化提取流水线： 开发了结合假设检验和符号回归的提取管道，将基于机械可解释性的程序合成扩展到了连续变量领域（这是此前基于 RNN 的方法难以做到的）。
严格的理论与实证分析： 验证了归纳偏置（Inductive Biases）的有效性，证明了功能收敛先于结构离散化，并展示了该框架在可控算法发现方面的潜力。

4. 实验结果 (Results)

作者在涵盖算术推理、变量跟踪和非线性组合的多样化算法任务基准上进行了评估。

性能表现： Discrete Transformer 在大多数任务上的预测性能（MSE 接近 0）与基于 RNN 的先前方法（MIPS）相当，甚至在某些任务上更优。
提取成功率： 提取出的程序在整数任务上达到了 1.00 的准确率，与 MIPS 持平。对于涉及浮点数的连续动力学任务（如指数移动平均、自由落体高度），MIPS 无法处理，而 Discrete Transformer 成功提取了精确的算法。
具体发现：
- 线性任务： 模型能高效发现底层机制（如直接通过注意力头获取前一个 token 并相加）。
- 非线性任务： 能够精确恢复代数等价表达式（例如，将异或逻辑 $x \oplus y$ 还原为 $x + y - 2xy$；将最大值逻辑还原为基于 ReLU 的分段线性表达式）。
- 连续动力学： 原生支持连续变量，无需像 MIPS 那样进行离散化近似，从而能处理物理动态任务。
鲁棒性： 即使改变超参数（如头数），只要架构满足任务的最小功能需求，模型仍能收敛并生成可执行代码。

5. 意义与影响 (Significance)

突破 Transformer 可解释性瓶颈： 解决了 Transformer 因特征纠缠而难以提取符号逻辑的难题，证明了 Transformer 也可以被设计为具有高度可解释性的计算图。
扩展算法发现的范围： 首次将基于机械可解释性的程序合成从离散状态空间扩展到连续变量空间，使得从神经网络中发现物理定律或连续动态系统成为可能。
可控的算法发现： 通过调整架构约束（如子 MLP 的数量）或信息流掩码，可以引导模型发现不同的等价算法路径（例如，从“计算最大值”转变为“直接复制最大值”），为科学发现提供了可干预的工具。
未来展望： 尽管在表达力和容量上存在权衡，但该工作为 Transformer 的可解释性研究开辟了新路径，展示了从“黑盒”到“白盒”算法的转化潜力。

总结： 该论文提出了一种创新的“离散 Transformer"架构，通过温度退火和严格的功能解耦，成功实现了从连续神经网络权重到人类可读、可执行符号算法的精确提取，显著提升了 Transformer 在算法发现领域的可解释性和适用范围。