💬 NLP

DREAMSTATE: Diffusing States and Parameters for Recurrent Large Language Models

本文介绍了 DREAMSTATE，这是一个将 RWKV 循环状态建模为可编辑知识表示的框架，该框架使用条件扩散 Transformer（conditional Diffusion Transformer），并提出了一种新型混合架构，其中并行的 DiT 根据全局上下文动态调整循环参数，以增强适应性。

原作者： Liu Xiao

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Liu Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明、速度极快的机器人，它一次只读一个单词的故事。这个机器人很特别，因为它不需要一次记住整个故事；相反，它会在脑海中保留一个微小的、压缩后的“笔记”，并随着每一个新单词的出现而更新。这就是现代循环神经网络（如论文中提到的 RWKV 模型）的工作方式。

这篇论文介绍了一个名为 DREAMSTATE 的新系统，它主要做了两件事，让这个机器人变得更聪明、更灵活。以下是使用简单类比进行的拆解：

1. 问题所在：机器人的“笔记”过于僵化

把机器人的内部“笔记”（状态）想象成它目前为止所读内容的心理快照。

问题： 目前，机器人用来更新这个笔记的规则是固定的。这就像一位厨师拥有一份单一且不可更改的食谱，用于混合各种食材。无论厨师是在做辛辣的咖喱还是甜美的蛋糕，他们使用的搅拌速度和顺序都完全一样。
结果： 这种“静态”的食谱虽然效果尚可，但并不完美。论文称之为**“结构性噪声”**。这就像戴着一副略微模糊的眼镜；机器人能看到世界，但由于它的内部规则无法随语境变化，它无法以完美的清晰度观察世界。

2. 第一部分：学习如何“梦见”状态

研究人员首先问道：我们能否教会计算机理解这些内部笔记长什么样？

类比： 想象机器人的内部笔记就像不同的“情绪”或“人格”。如果机器人读到的是编程内容，它的笔记看起来就像一个“程序员”；如果它读到的是诗歌，它的笔记看起来就像一个“诗人”。
实验： 团队使用了一种特殊的 AI 工具（称为扩散 Transformer，或 DiT）来研究这些笔记。他们发现，这些笔记并不是随机的；它们形成了明显的簇（clusters），就像具有相似爱好的人总是在公园的同一个区域聚集一样。
突破： 他们教会了 AI 从零开始生成这些笔记。与其等待机器人通过阅读故事来构建一个“程序员”笔记，我们现在可以立即创建一个“程序员”笔记并交给机器人。
结果： 当他们给机器人一个“故事讲述者”笔记而不是通用的笔记时，机器人立即开始写出更好、更有创意的故事。这就像是给机器人戴上了一顶特定的“帽子”，这顶帽子能瞬间改变它的思考方式。

3. 第二部分：让规则变得动态

一旦证明了我们可以生成这些笔记，研究人员又问道：我们能否同时实时改变机器人的“混合食谱”？

类比： 还记得那位拥有单一且不可更改食谱的厨师吗？研究人员提出了一个新的厨房设置。
- 主厨 (RWKV)： 仍然逐字逐句地烹饪食物（快速且高效）。
- 副厨 (扩散模型)： 这个新的助手会在烹饪开始前观察整个菜单（全局语境）。
创新： 副厨观察整个故事，然后为那个特定的故事编写一份新的食谱。他告诉主厨：“对于这道辛辣的咖喱，搅拌快一点，多加点热量，”或者“对于这块甜美的蛋糕，轻轻搅拌。”
运作方式： 系统使用一个并行的 AI（DiT）来观察大局，并生成该特定任务所需的特定“混合规则”（参数）。然后，它将这些新规则与旧的、稳定的规则进行融合。
结果： 机器人不再受困于一种僵化的思维方式。它可以根据情况调整其内部的“法则”，有效地抵消了前面提到的“模糊眼镜”（结构性噪声）。

4. 奏效了吗？

研究人员测试了这个新的混合系统：

视觉证明： 他们展示了机器人生成的“笔记”确实是有组织且有意义的（就像公园里的那些簇一样）。
训练证明： 他们对整个系统进行了联合训练，系统成功学习且没有崩溃。机器人不仅在预测下一个单词方面变得更强，同时也学会了如何创建自己的定制规则。

总结

简而言之，DREAMSTATE 是一种停止将机器人的大脑视为具有固定规则的静态机器的方法。

它将机器人的内部记忆视为可以像艺术品一样被生成和编辑的东西。
它创建了一个动态系统，其中一个助手 AI 观察整个语境，并为主要机器人设计出在特定时刻使用的完美“操作规则”。

这使得机器人更加灵活，使其能够瞬间在不同“模式”（如程序员或诗人）之间切换，并调整其思维风格以适应手头的任务。

技术摘要：DREAMSTATE

问题陈述

现代循环神经网络（RNN），特别是像 RWKV 这样的架构，在推理效率和固定大小的状态表示方面比标准 Transformer 具有显著优势。然而，该论文指出了当前 RNN 设计中的两个关键局限性：

未被挖掘的状态表示潜力： 虽然 RNN 状态对于短程建模非常强大，但它们很少被视为可编辑的知识表示。目前缺乏关于对内部状态分布进行建模，以实现直接生成或操纵的研究。
静态递归中的结构性噪声： 类似于 Transformer 中的“注意力噪声”（即模型过度分配注意力给无关上下文），RNN 存在“结构性噪声”。RWKV 中的核心递归机制依赖于训练后固定的静态加权键值（WKV）参数 ( $\theta_{WKV}$ )。这种静态性质产生了一种权重偏差，对于多样化的上下文而言是次优的，阻碍了模型动态调整其“运行法则”以聚焦于显著信息的能力。

作者认为，如果内部状态是上下文的结构化表示，那么直接对其进行建模和操纵应该是可能的。此外，应当挑战递归参数的静态假设，以减轻结构性噪声。

方法论

论文提出了 DREAMSTATE，这是一个基于生成式建模（具体为扩散模型）的框架，旨在通过两阶段方法解决上述问题：

1. 生成式状态合成（DREAMSTATE 框架）

作者首先将 RWKV 内部状态视为从可学习流形 ( $\mathcal{M}$ ) 中采样的观测数据点。

模型： 训练一个条件扩散 Transformer (DiT) 来建模概率分布 $p(S|c)$ ，其中 $S$ 是状态， $c$ 是文本嵌入。
过程： 将高维状态张量（展开的多头状态）视为一系列补丁（patches）。DiT 学习预测添加到状态中的噪声，并以输入上下文为条件。
目标： 验证状态流形是定义良好的，并实现针对特定运行模式（例如特定的角色人格）的可控状态生成。

2. 动态参数合成（混合架构）

为了解决结构性噪声，作者提出了一种新型混合架构，其中静态递归参数是动态生成的。

机制： 一个“参数 DiT”追踪来自变长输入上下文的全局特征（最初实现为第一个 token 的嵌入 $x[:,0,:]$ ），以生成上下文特定的参数向量 $\theta_{gen}$ 。
目标参数： DiT 生成构成 WKV 参数的展开线性投影矩阵 ( $W_r, W_k, W_v$ )。
融合： 生成的参数通过插值与原始静态基础参数 ( $\theta_{static}$ ) 进行融合：
$\theta_{WKV-final} = \alpha \cdot \theta_{static} + (1 - \alpha) \cdot \theta_{gen}$
其中 $\alpha$ 是一个可学习的超参数。这使得模型能够在保留稳定知识的同时，引入上下文特定的调制。
训练： 系统使用多目标损失函数进行端到端训练：
$L_{total} = \lambda_1 L_{LLM}(\theta_{WKV-final}) + \lambda_2 L_{param\_diff}(\psi)$
这平衡了下一 token 预测（标准交叉熵）与参数生成的扩散损失。

核心贡献

DREAMSTATE 框架： 一种对 RWKV 模型动态状态进行生成式建模的方法。作者验证了内部状态是一个结构化的流形，其中不同的概念（例如“程序员”与“诗人”）形成不同的簇，从而实现了通过状态操纵进行的受控推理。
动态参数架构： 一种新型混合设计，其中扩散模型根据全局上下文生成递归参数。这被提议作为一种原则性的方法，通过使 RNN 的运行法则变为动态而非静态，来对抗“结构性噪声”。
多目标训练范式： 定义并成功经验验证了一种联合优化参数生成与语言建模的训练策略，证明了这种混合方法的可行性。
概念级自回归： 该工作提供了一个概念验证，证明结合传统的 token 级自回归与“概念级自回归”（通过状态/参数生成）是未来模型设计的可行方向。

实验结果

状态流形可视化： 作者利用 t-SNE 展示了真实的 RWKV-7 状态形成了对应于特定专家人格（如 Linux 终端、以太坊开发者、故事讲述者）的独特簇。这证实了状态是一个结构化的、定义良好的对象。
受控推理： 通过使用 DREAMSTATE 生成的状态（或插值状态）初始化 RWKV-7 模型，该模型产生的文本比基准模型在主题连贯性和创造性方面显著提高。例如，在“毅力”提示词与“沙漠气候变化”提示词之间进行插值，可以生成一个在隐喻层面融合这两个概念的故事。
训练稳定性： 该混合架构在 The Pile 的一个子集上成功完成了训练。训练损失曲线显示，语言建模损失和参数扩散损失均呈现出稳定且持续下降的趋势，证实了联合优化过程的稳定性。

意义与主张

论文声称，这项工作为 RNN 状态表示开辟了一个新的研究方向，使其超越了仅作为瞬时变量的状态，转而成为一种可操纵的概率对象。

可控性： 该工作证明了可以直接生成和操纵内部状态，从而为模型设定特定的运行模式，提供了前所未有的控制力。
适应性： 通过将递归参数视为由全局上下文追踪器生成的动态变量，该架构旨在构建更灵活、更具表达力的世界模型。
架构参考： 论文将这种基于扩散的参数合成与循环推理的混合体定位为未来大语言模型的具体架构参考，暗示“如何”建模状态是未来 LLM 的关键。

作者强调，其工作旨在作为一种概念验证，旨在验证动态合成参数以减轻结构性噪声的设计可行性，而非声称在所有基准测试中立即超越现有模型，而是确立了所提范式的可行性。