💬 NLP

Where Should Diffusion Enter a Language Model? Geometry-Guided Hidden-State Replacement

本文介绍了 DiHAL，这是一种几何引导的混合模型，通过识别预训练 Transformer 中的最优层以扩散桥替换其进行隐状态重建，从而改进连续扩散语言模型，避免了直接的连续到离散 token 恢复，并实现了更优越的性能。

原作者： Injin Kong, Hyoungjoon Lee, Yohan Jo

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Injin Kong, Hyoungjoon Lee, Yohan Jo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《扩散模型应进入语言模型的何处？》的解释。

核心难题：试图修复一台坏掉的收音机

想象你有一台非常聪明的收音机（即大型语言模型），它擅长预测句子中的下一个词。它通过监听一系列单词并逐个猜测接下来的内容来工作。这被称为“自回归”模型。

最近，科学家们尝试使用一种名为扩散（Diffusion）的不同技术（即生成惊艳 AI 图像的同款技术）来让这些收音机表现更好。在图像扩散中，AI 从一张充满静态噪点的图片开始，慢慢将其清理，直到出现清晰的图像。

然而，当研究人员试图将这种方法应用于文本时，效果并不理想。文本是由离散的块（像乐高积木）组成的，而扩散技术最适合处理平滑、连续的水流。试图直接将“噪点”转化为“乐高积木”是混乱的。AI 常常感到困惑，最终输出的单词也是错误的。

新想法：不要修复积木，要修复蓝图

这篇论文的作者孔进金（Injin Kong）及其同事提出了一个不同的问题：“我们应该让扩散技术进入收音机的哪个部位？”

他们决定不让扩散技术去清理最终的乐高积木（即单词），而是让它去清理收音机在决定最终单词之前所使用的蓝图（即隐藏的内部思维）。

他们将这个新系统称为DiHAL（用于语言的扩散 - 变换器混合架构）。这可以看作是一种“定位并替换”策略。

第一步：“几何”侦探

论文指出，收音机大脑的各个部分并不相同。有些部分混乱且难以清理；有些部分则井然有序，易于修复。

为了找到最佳位置，作者们创建了一个“几何分数”。想象收音机的大脑是一座山脉：

曲率（坡度）：有些区域陡峭且平滑（容易滑向正确答案）；有些区域平坦或崎岖（难以导航）。
刚度（结构）：有些区域刚性十足，能很好地保持形状；有些区域则摇晃不稳。
维度（复杂性）：有些区域很简单，就像一条笔直的走廊；有些区域则是巨大且令人困惑的迷宫，充满了死胡同。

作者们构建了一个工具，用于测量收音机每一层的这些“几何”特征。他们发现，早期层（靠近处理起始处）就像一条平滑、有序的走廊。而后期层则像是一个复杂、纠缠的迷宫。

发现：扩散技术在起始处平滑、有序的走廊中效果最好。它在末端纠缠的迷宫中则举步维艰。

第二步：“定位并替换”手术

一旦找到了完美位置（通常是收音机的第 2 层或第 3 层），他们进行了一次手术式替换：

定位：他们确定了“蓝图”最容易清理的具体层级。
替换：他们移除了收音机的原始早期层，并用一个扩散桥（Diffusion Bridge）取而代之。
保留：他们保留了收音机的其余部分（上层和最终的输出端）原封不动。

实际运作方式：

扩散桥接收嘈杂的输入，并慢慢将其清理，以重建原始收音机在该特定层级本应具有的“蓝图”（即隐藏状态）。
一旦蓝图被清理完毕，它就被交还给原始收音机未受干扰的上层。
原始收音机随后完成工作，将这个清晰的蓝图转化为最终的单词。

为什么这更好

论文在两个巨大的 80 亿参数模型（Llama-3 和 Qwen3）上测试了这种方法。

旧方法：试图直接清理最终单词，就像试图通过锤击齿轮来修复一块坏掉的手表。这很困难，而且往往会弄坏时间。
DiHAL 方法：这就像把手表拆开，用一种温和、精密的工具清洁主发条（即隐藏蓝图），然后再把手表组装回去。因为收音机的上层已经是解读该特定蓝图的专家，它们可以完美地解码这个清晰的信号。

结果

实验表明：

几何分数有效：他们的“侦探工具”成功预测了哪些层级最适合进行这种手术，而无需尝试每一层。
质量提升：新的混合模型生成的文本比其他试图直接修复单词的扩散方法更准确（困惑度更低）且更多样化。
它是混合体：值得注意的是，DiHAL 并非纯粹的扩散模型。它是一种混合体。它利用扩散技术修复过程的早期部分，但仍依赖原始强大的变换器层来进行最终的思考和单词选择。

结论

论文总结认为，扩散模型在文本上表现不佳的原因，不仅仅是因为文本是“离散的”（像乐高积木）。而是因为我们试图在 AI 大脑中错误的“房间”应用扩散技术。通过找到具有正确几何特征（平滑、有序且简单）的房间，并让扩散技术在那里清理内部蓝图，我们可以在不从头重建整个 AI 的情况下获得更好的结果。

技术摘要：DiHAL——几何引导的隐藏状态替换

问题陈述

连续扩散语言模型在历史上一直落后于自回归 Transformer。虽然扩散模型通过迭代去噪在图像生成方面表现出色，但由于 token 的离散性质，将其应用于文本具有挑战性。先前尝试将扩散适应于语言的方法——例如离散 token 破坏、掩码扩散，或对 token 嵌入和 learned 潜在变量进行连续扩散——往往难以克服“连续到离散”的恢复瓶颈。连续表示空间中的微小误差可能导致错误的 token 恢复，从而降低生成质量。

作者假设，性能差距并非 solely 源于离散性，而是源于在几何性质不合适的连续空间中应用扩散。虽然 Transformer 语言模型在连续隐藏状态上运行，但这些状态在不同层中的几何性质各不相同。提出的核心问题是：在预训练的 Transformer 内部，表示空间在何处具备有效扩散去噪和恢复所需的几何性质？

方法论：DiHAL

本文提出了DiHAL（用于语言生成的扩散 -Transformer 混合架构），这是一个“定位与替换”框架，它将扩散桥接集成到预训练的 Transformer 中，而非训练一个独立的扩散模型。

1. 理论动机

作者将方法建立在朗之万动力学和集中理论之上。他们主张，一个“扩散友好”的表示空间必须满足三个几何性质：

快速收缩：该空间应允许含噪样本快速收缩至目标分布（由强对数凹性/曲率支配）。
稳定性：去噪过程应对分数估计误差具有鲁棒性（同样由曲率支配）。
低有效复杂度：表示的变化应集中在低维流形上，使扩散模型更易于学习。

2. 定位：几何引导的层选择

由于隐藏状态的真实密度和海森矩阵不可用，DiHAL 使用经验几何代理对每个 Transformer 层进行评分：

局部曲率 ( $\hat{m}_{curv}$ )：通过局部邻域协方差的逆最大特征值估计。较高值表示紧凑的邻域。
全局单调性 ( $\hat{m}_{mono}$ )：通过正则化精度矩阵的瑞利商估计。较高值表示全局方向刚度。
有效秩 ( $\hat{k}$ )：估计为协方差迹与其谱范数之比 ( $\text{tr}(\Sigma)/\|\Sigma\|$ )。较低值表示集中在低维流形上。

通过组合这些代理（奖励曲率并惩罚有效秩）计算选择分数，以确定最佳插入层 $\ell^*$ 。

3. 替换：隐藏状态扩散桥接

一旦确定最佳层 $\ell^*$ ：

较低的 Transformer 前缀（第 $1 $至$ \ell^*$ 层）被条件扩散桥接替换。
该桥接被训练为根据源自源模型输入的基于嵌入的条件，重构隐藏状态 $h_{\ell^*}$ 。
较高的 Transformer 层（ $\ell^*+1$ 至 $N$ ）和原始语言模型（LM）头被保留并冻结（或进行最小程度的微调）。
在推理时，桥接对条件进行去噪以生成 $\hat{h}_{\ell^*}$ ，随后将其传递给保留的较高层以进行 token 预测。这避免了直接的 token 恢复，将问题重构为隐藏状态重构。

主要贡献

扩散插入的公式化：本文将扩散插入预训练 Transformer 表述为几何引导的接口选择问题，提出了实用的逐层代理（局部紧凑性、全局刚度、有效秩）以识别扩散友好的空间。
固定几何分数：作者引入了一种固定几何分数，该分数在 8B 规模骨干网络上与桥接能力（重构质量）表现出强相关性。这使得无需对每个候选层进行彻底的桥接训练，即可识别有效的插入层。
DiHAL 架构：一种混合架构，用条件扩散桥接替换较低的 Transformer 层，同时重用较高层和 LM 头。在诊断性的匹配预算设置下，DiHAL 证明隐藏状态恢复优于基于嵌入和基于潜在变量的连续扩散基线。

实验结果

作者在 Llama-3.1-8B-Instruct 和 Qwen3-8B 骨干网络上，使用 Dolma v1.7 语料库评估了 DiHAL。

层选择：几何分数成功预测了有效的插入层。对于 Llama-3.1-8B，分数选择了第 3 层；对于 Qwen3-8B，选择了第 2 层。这些层靠近嵌入接口，表明早期隐藏状态保留了适合扩散的类嵌入几何结构。
与桥接能力的关联：固定几何分数与验证桥接损失显示出强斯皮尔曼相关性（ $\rho \approx 0.91$ –$0.93$），证实几何代理可以廉价地识别出可以成功训练扩散桥接的层。
诊断比较：在与基线（Diffusion-LM, SED, LD4LG, CoDAR）进行的匹配预算比较中，DiHAL 实现了最低的生成困惑度（Gen.PPL）和最高的多样性。具体而言，在 Qwen3-8B 上，DiHAL 将 Gen.PPL 从 144.83（CoDAR）提升至 136.02，多样性从 0.4777 提升至 0.5913。
全量训练：在全量训练时，几何选择的层在与验证损失 Oracle（通过显式训练所有桥接选择的层）相比时仍保持竞争力，并显著优于“最差层”控制和 CoDAR 基线。

意义与主张

本文主张，隐藏状态几何是决定扩散在语言模型中何处能有效运行的关键因素。结果表明，连续扩散在语言中的失败不仅仅是离散性的后果，也是去噪需求与表示空间几何之间的不匹配。

关键要点包括：

重构问题：用于语言的连续扩散不必通过直接恢复 token 来生成文本；它可以重构预训练 Transformer 已经知道如何解码的内部表示。
混合模型的可行性：如果基于几何标准选择插入点，则用扩散桥接替换预训练 Transformer 的部分是可行的。
局限性：作者谦逊地指出，DiHAL 尚不是独立的扩散语言模型；它依赖于保留的 Transformer 后缀进行 token 预测。此外，由于去噪步骤，目前的推理延迟高于原始骨干网络。这项工作被呈现为理解扩散如何进入现有模型的步骤，而非在此规模上完全替代自回归生成。