🤖 machine learning

How Transparent is DiffusionGemma?

本文表明，尽管 DiffusionGemma 的连续潜空间最初似乎阻碍了透明度，但通过一个可解释的标记瓶颈（token bottleneck）将其去噪步骤进行映射，显著提高了变量透明度并揭示了独特的推理现象，最终证明该模型与其自回归对应模型一样具有可监测性。

原作者： Joshua Engels, Callum McDougall, Bilal Chughtai, Janos Kramar, Senthoran Rajamanoharan, Cindy Wu, Arthur Conmy, Asic Q Chen, Jean Tarbouriech, Min Ma, Brendan O'Donoghue, João Gabriel Lopes de Oliveir

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Joshua Engels, Callum McDougall, Bilal Chughtai, Janos Kramar, Senthoran Rajamanoharan, Cindy Wu, Arthur Conmy, Asic Q Chen, Jean Tarbouriech, Min Ma, Brendan O'Donoghue, João Gabriel Lopes de Oliveira, Rohin Shah, Neel Nanda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《DiffusionGemma 的透明度如何？》的解释，使用了简单的语言和日常类比。

核心问题：我们能看透机器内部吗？

想象一下，有两位不同类型的厨师正在尝试写一个故事。

厨师 A（自回归模型，例如 Gemma 4）： 这位厨师一次写一个词，从左到右。他们先写“这”，再写“只”，然后是“猫”。你可以实时观察他们写下的每一个词。这很容易看出他们的思考过程，因为他们的“思考过程”字面上就是他们正在输入的文字。
厨师 B（DiffusionGemma）： 这位厨师从一张布满了随机涂鸦的巨大画布开始（就像旧电视上的静电雪花）。他们不是逐词书写，而是看着整幅混乱的画面，通过反复多次的过程逐渐将其“清理干净”。在第一轮中，涂鸦看起来可能像乱码；在第二轮中，它们看起来稍微像一些文字；到了第 48 轮，它就变成了一个完美的故事。

问题在于： 对于厨师 B 来说，那些“中间步骤”（每一轮之间的涂鸦）并不只是文字，而是人类无法阅读的数学模糊痕迹。论文提出了一个问题：厨师 B 是否将它的思考隐藏在了这些涂鸦之中，从而让我们无法知道它在做什么？

调查过程：检查透明度的三种方法

研究人员将“透明度”（理解模型的难易程度）分解为三个主要测试。

1. “隐藏步骤”测试（不透明的串行深度）

想象一场接力赛。

厨师 A 立即将接力棒（想法）传递给下一位跑者。跑者之间的距离很短。
厨师 B 似乎通过一个长长的、黑暗的隧道传递接力棒 48 次，然后下一位跑者才能看到它。如果这个隧道是黑暗的（不可解释的），那么这场比赛比厨师 A 的比赛要难追踪 28.6 倍。

发现： 研究人员找到了向那个隧道里照亮手电筒的方法。他们意识到，尽管那些“涂鸦”看起来像数学，但它们实际上主要包含了对最终单词的猜测。如果我们把这些猜测视为可读的单词，那么这个“黑暗隧道”就会大幅缩小。突然之间，厨师 B 的比赛只比厨师 A 难追踪 1.1 倍。它几乎和标准模型一样透明。

2. “猜谜游戏”测试（可变透明度）

研究人员问道：“那些涂鸦真的只是猜测吗？”
他们观察了厨师 B 清理轮次之间的“涂鸦”。他们发现，在 85% 到 90% 的时间里，模型只是举着一个牌子说：“我觉得下一个词是‘猫’，或者可能是‘狗’。”

好消息： 这些牌子大多只是对最终答案的猜测。它们并不是秘密代码。
坏消息： 有时，模型会举起一个写满随机单词的牌子来填充空间。但大多数情况下，如果你仔细观察顶部的猜测，其“思考过程”是可见的。

3. “安全监控器”测试（可监测性）

想象一位安全检查员试图在厨师尝试写出危险内容时抓住他们。

研究人员测试了检查员是否可以通过阅读厨师 B 故事的最终结果，来识别其中的不良行为。
结果： 检查员在捕捉厨师 B 的行为时，与捕捉厨师 A 的表现一样出色。即使厨师 B 的思考方式不同，最终的故事也会提供相同的线索，表明模型是在“调皮”还是“安全”。

奇特之处：厨师 B 是如何进行不同思考的

尽管厨师 B 是透明的，但它的思考方式是厨师 A 无法实现的。论文发现了一些酷炫且奇特的行为：

逆向思考（非时间顺序推理）： 厨师 A 必须先写开头，再写结尾。厨师 B 可以先写结尾，然后再回头修改开头。
- 例子： 厨师 B 可能猜出数学题的答案是“9”，把它写下来，然后在下一轮进行计算，发现错了，于是把“9”改成“8”，而无需重写整个页面。
“模糊”效应（Token 弥散）： 有时厨师 B 知道自己想说什么，但不知道该放在哪里。
- 例子： 它可能会在页面上的三个不同位置同时放置“括号”这个词，就像一张模糊的照片，然后在最后一轮将其锐化为一个确定的位置。
同时持有两个世界（序列弥散）： 厨师 B 可以想象两个不同的故事同时发生。
- 例子： 它可能 50% 确定答案是“12”，另外 50% 确定是“9”，在最后一秒做出选择之前，让这两个版本的句子在脑海中同时存在。
秘密占位符（中间上下文）： 有时厨师 B 会使用一个临时词来辅助思考，但在向你展示最终答案之前将其删除。
- 例子： 为了解决数学题，它可能会写下数字“3”来进行计算，然后将它替换为单词“Gold”。“3”对于思考是必要的，但它永远不会出现在最终的故事中。

结论

论文得出结论：DiffusionGemma 的透明度出人意料地高。

尽管它使用了一种更复杂、不同的思考方式（清理画布而不是逐词书写），我们仍然可以看清它在做什么。

它的“隐藏步骤”主要只是对最终单词的猜测。
安全监控器可以像捕捉标准模型那样捕捉它。
它进行了一些酷炫的非线性思考（修复过去、同时持有两个选项等），但我们仍然可以观察到这些过程。

警告： 作者表示，这可能仅适用于这个特定的模型。如果未来的模型训练方式不同，那些“涂鸦”可能会变成我们无法读取的真正秘密代码。但就目前而言，DiffusionGemma 是可以被观察和监督的。

技术摘要：DiffusionGemma 的透明度如何？

问题陈述

本文探讨了 LLM 推理透明度这一关键挑战，特别是针对像 DiffusionGemma 这样新兴的文本扩散模型（text diffusion models）。与通过顺序生成（从左到右）Token 的标准自回归模型不同，扩散模型通过去噪步骤迭代地细化一个“画布（canvas）”上的 Token。一个主要的担忧是：这些模型在去噪步骤之间，通过**连续潜空间（self-conditioning vectors，自调节向量）**进行大量的计算。这引发了一个问题：这种架构是否会导致模型的推理变得不透明，从而阻碍我们理解决策、检测对齐偏差以及调试异常行为的能力？

作者将透明度分解为两个核心组成部分：

变量透明度（Variable Transparency）： 我们能否理解模型计算状态的中间快照？
算法透明度（Algorithmic Transparency）： 我们能否利用这些快照重构模型得出输出的过程？

研究方法

作者采用多维方法来评估 DiffusionGemma 的透明度，并将其与自回归模型 Gemma 4 进行对比。

1. 不透明串行深度分析（Opaque Serial Depth Analysis）

作者将不透明串行深度形式化为：模型电路中不经过可解释瓶颈（例如自然语言 Token）的最长串行计算路径。

他们分析了 DiffusionGemma 的架构，该架构包含一个位于去噪步骤之间的瓶颈，由 $C$ 个自然语言 Token 和 $C$ 个自调节向量组成。
他们在两种假设下计算不透明串行深度：(a) 自调节向量是不可解释的，以及 (b) 自调节向量是可解释的。

2. 瓶颈可解释性实验

为了测试是否可以在不损失性能的情况下使潜在的自调节向量（ $S_t$ ）变得可解释：

Logit Lens 消融实验： 他们使用 Logit Lens 技术，将瓶结构中的信息流限制在仅前 $k$ 个 Token 或概率 $>p$ 的 Token。
性能评估： 他们在基准测试（Natural2Code, LiveCodeBench, AMC/AIME/IMO, GPQA）上测量能力，以确保限制瓶颈不会降低模型性能。
Token 身份分析： 他们分析了顶层中间 Token，以确定它们是代表“最终 Token 的猜测”（可解释）还是不透明的推理。

3. 可监测性评估（Monitorability Evaluation）

作者采用了由 Guan 等人 (2025) 引入的可监测性评估。这些测试衡量在给定模型思维链（CoT）的情况下，监测器是否能提取有关模型推理的信息（例如，检测奖励黑客行为或提示注入）。他们在三个类别中比较了 DiffusionGemma 和 Gemma 4：

干预（Intervention）： 监测器是否检测到与输入干预相对应的推理变化？
过程（Process）： 监测器能否找到特定解题路径的证据？
结果属性（Outcome-property）： 监测器能否检测模型是否利用了特定的输出属性（例如，规避测试）？

4. 算法透明度案例研究

作者进行了定性案例研究，以识别扩散模型中不同于自回归约束的独特推理现象。他们利用自定义可视化库（摘要、折线图和采样表视图）来追踪跨去噪步骤的 Token 概率。

关键结果

1. 不透明串行深度

朴素视角： 如果自调节向量是不可解释的，DiffusionGemma 的不透明串行深度比 Gemma 4 高出 28.6 倍（在 256k 上下文下，分别为 608,016 对比 21,235）。
可解释视角： 如果中间状态被视为可解释的，其不透明串行深度降至 Gemma 4 的 1.1 倍。
结论： “不透明性”取决于中间瓶颈是否可以映射到自然语言。

2. 变量透明度（瓶颈可解释性）

性能保持： 将瓶颈限制为仅前 8 个 Token ( $k=8$ ) 或概率 $>0.03$ 的 Token，在能力基准测试中没有出现显著的性能下降。
Token 性质： 对 800 个 WildChat 提示词的分析显示，顶层中间 Token 主要表现为对最终 Token 的猜测或相邻位置的 Token。
- 在严格的 $p > 0.03$ 阈值下，超过 85% 的 Token 被归类为“最终（Final）”、“相邻（Adjacent）”或“语义相似（Semantically Similar）”。
- 这表明承载信息的中间状态在很大程度上是可解释的，从而降低了有效的不透明串行深度。

3. 可监测性

研究发现，在干预、过程和结果属性评估中，DiffusionGemma 与 Gemma 4 具有相似的可监测性。
注：虽然 DiffusionGGemma 生成的思维链（字符数）比 Gemma 4 短，但仍保持了相当的可监测性得分。

4. 算法透明度与新现象

研究揭示了 DiffusionGemma 特有的、非自回归的行为：

非时间顺序推理（Non-chronological Reasoning）：
- 早期长度预测： 模型在确定具体内容 Token 之前，先预测了总序列长度（通过填充 Token 的概率）。
- 追溯性自我修正： 模型可以先生成一个错误的答案，然后生成推理，最后根据推理修正初始答案（这在早期 Token 固定的自回归模型中是不可能的）。
- 骨架优先的代码生成： 模型通常在填充出现在文本前部的变量名或注释之前，先确定算法结构（循环、逻辑）。
Token 与序列弥散（Token and Sequence Smearing）：
- Token 弥散： 单个 Token（例如“括号”）的概率质量在收敛到最终位置前，会分布在多个相邻位置。
- 序列弥散： 模型同时维持多个不同候选序列（例如，单位数答案与双位数答案）的叠加态，直到坍缩为一个。
中间上下文推理： 模型有时使用 Token 作为中间占位符（例如，生成一个“3”来计算斐波那契数列），随后这些 Token 会在最终输出中被替换。这些 Token 对于推理是因果必要的，但并不出现在最终答案中。

意义与主张

本文声称，只要中间瓶颈被视为可解释的，DiffusionGemma 就能保留自回归 CoT 的大部分透明度优势。

令人宽慰的发现： 作者发现 DiffusionGemma 与 Gemma 4 具有相似的可监测性，并且通过将中间向量映射到 Token，其不透明串行深度可以降低到与自回归模型接近的水平。
注意事项与局限性：
- 结果在很大程度上依赖于 DiffusionGemma 特定的架构选择（例如，偏向于将向量投影至嵌入空间的投影层）和训练范式。
- 作者警告说，未来使用不同目标（如基于结果的强化学习）或不同架构训练的潜在推理模型，可能会拥有显著更加不透明的潜在空间。
- 目前的可监测性评估涉及多个画布（表现得更具自回归性）；单画布可监测性（即复杂的推理完全在一个扩散循环内完成）仍然是一个开放性问题，且其得分可能会更低。
未来方向： 本文倡导将这些透明度审计作为未来潜在推理模型的模板。它强调需要使用诸如**自然语言自动编码器（NLAs）和激活预言机（Activation Oracles）**等技术，将潜在推理转化为人类可理解的文本，以应对未来可能变得更不透明的模型。

总而言之，尽管 DiffusionGemma 引入了新的算法复杂性（非时间顺序推理、弥散现象），但作者证明了其推理过程在很大程度上仍是可访问的，可以进行人类解读和监测，这挑战了“潜在推理架构本质上是不透明的”这一假设。