🤖 machine learning

Deep Dreams Are Made of This: Visualizing Monosemantic Features in Diffusion Models

本文介绍了通过优化进行潜在可视化（LVO）这一机械可解释性技术，该技术将稀疏自编码器与潜在空间优化相结合，以可视化扩散模型中的单义特征，成功揭示了在基线模型中被多义表征所掩盖的连贯概念，如人形和玫瑰。

原作者： Adam Szokalski, Mateusz Modrzejewski

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Adam Szokalski, Mateusz Modrzejewski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一台庞大而复杂的机器（例如生成图像的现代人工智能），它就像一个巨大的黑箱。你输入一个提示词，它便输出一张图片，但箱子里没有人确切知道它为什么决定画一朵特定的玫瑰或某种特定类型的电缆。论文《深度梦境由此构成》就像一群机械师，试图打开这个箱子，理解其内部的齿轮。

以下是他们所做工作的简要拆解，辅以日常类比：

问题：“多义性”汤

在这些人工智能机器内部，“神经元”（内部开关）是混乱的。作者将这种现象称为多义性。

类比：想象你家里有一个电灯开关，它同时控制着厨房灯、车库门和前廊灯。如果你拨动开关，你并不知道究竟是哪盏灯被点亮了。在人工智能中，单个内部特征可能同时负责“狗”、“蝴蝶”和“毛发纹理”的混合。因为它们混杂在一起，很难理解人工智能实际上在思考什么。

解决方案：“解耦”工具

为了解决这个问题，研究人员使用了一种名为**稀疏自编码器（SAE）**的工具。

类比：把 SAE 想象成一位主厨，他将那锅混杂的“汤”（混合食材）分离成一个个独立的、纯净的碗。现在，不再是一个开关控制三件事，而是有了三个独立的开关：一个只控制狗，一个只控制蝴蝶，一个只控制毛发。这被称为单义性（每个特征对应一个含义）。

新技术：“通过优化的潜在可视化”（LVO）

作者想要看看这些“纯净”的开关在开启时究竟长什么样。他们开发了一种名为LVO的新方法。

类比：想象你想知道某个特定的电灯开关控制什么。你不是仅仅拨动它并寄希望于结果，而是尝试构建一个房间，迫使那个开关尽可能明亮地开启。你不断调整家具、油漆和灯光，直到开关发出“开启！”的尖叫。
转折：在这个人工智能中，“房间”并非真实的图像，而是一种隐藏的、压缩的代码（称为“潜在空间”）。研究人员优化这段代码，以观察什么样的图像能让特定特征亮起。

四种特殊要素

由于这台人工智能的工作方式与旧型号不同，研究人员必须发明四条特殊规则，才能使他们的“电灯开关”测试生效：

时间步活动分析：人工智能从头开始构建图像，逐步添加细节（就像雕塑家凿刻石头）。某个特征可能在开始时（粗略形状）很重要，也可能在结束时（精细细节）很重要。
- 类比：他们检查了“时间表”，以确切了解在雕刻过程的哪个阶段使用了特定工具，这样他们就不会在雕塑家应该打磨时试图使用凿子。
与时间表匹配的噪声：人工智能期望在每一步都看到模糊、带噪声的图像。如果你过早地向它展示完美、清晰的图像，它会感到困惑。
- 类比：如果你想在游泳池里教某人游泳，你不能突然把他们扔到干燥的陆地上。他们必须让“水”（噪声）保持在特定步骤所需的正确水平。
先验初始化：他们没有从空白、随机的屏幕开始，而是从一个“提示”图像开始。
- 类比：与其从头猜测密码，不如从一个提示开始，比如“它以字母 A 开头”。这能防止结果变成静态噪声。
正则化（“抗噪声”规则）：当你试图强行开启一个开关时，人工智能往往会生成奇怪的、高频的静态噪声（像电视雪花），因为这是触发开关的最简单方式。
- 类比：他们添加了规则，规定“不，那只是静态噪声。让它看起来像一个真实的物体。”他们使用数学滤波器来平滑“雪花”，并迫使人工智能创建可识别的形状。

他们的发现

他们在一个人气图像生成器（Stable Diffusion）上测试了这种方法，并将“混乱”的原始开关与“干净”的 SAE 开关进行了比较。

混乱的开关（原始层）：当他们尝试可视化原始、混杂的开关时，结果令人困惑。一个开关试图同时显示狗、蝴蝶和毛发。图像看起来像是一团混杂着不相关纹理的泥泞。
干净的开关（SAE 特征）：当他们使用 SAE 分离含义时，结果令人惊叹。
- 一个开关清晰地绘制了对角线（一种构图风格）。
- 一个开关绘制了人形。
- 一个开关绘制了电缆。
- 一个开关绘制了瀑布泡沫。

这为何重要

该论文声称，仅观察“数据集示例”（人工智能训练所用的图像）或进行“引导”（告诉人工智能让某些内容更突出）是不够的。

类比：观察训练数据就像查看图书馆以猜测某本特定书籍的内容；你可能会错过主题。“引导”就像大喊“更多玫瑰！”并观察会发生什么，但你不知道人工智能为什么制作了它们。
结果：LVO 就像打开书本并阅读特定章节。它确切地揭示了某个特征在“思考”什么，即使该特征是像“对角线构图”这样抽象的东西，仅凭观察训练照片是注意不到的。

总结

该论文介绍了一种“X 光”扫描人工智能图像生成器的新方法。通过分离混杂的概念并使用特殊的优化过程，他们可以生成清晰、人类可理解的图像，确切地展示人工智能大脑的哪些特定部分负责什么。他们发现，如果没有这种分离，人工智能的思想就是一锅泥泞的汤；而有了这种分离，思想就变得清晰、分明，且往往出奇地具体（例如“电缆”或“对角线”）。

技术摘要：深度梦境由此构成

问题陈述

尽管通过特征可视化等优化技术，卷积神经网络（CNN）的机械可解释性已取得显著进展，但将这些方法应用于潜在扩散模型（LDMs）却面临独特挑战。LDMs 在压缩的变分自编码器（VAE）潜在空间中运行，并利用基于时间步的迭代去噪过程。经典的特征可视化方法（通过优化像素空间输入以最大化特征激活）在此情境下失效，原因如下：

多义性：原始神经特征往往同时代表多个不相关的概念，导致可视化结果缺乏连贯性。
潜在空间约束：直接在潜在空间优化会引发失效模式，例如解码器输出超出范围值（导致过饱和）以及高频噪声伪影。
时间复杂性：扩散模型中的特征可能因不同原因在不同时间步被激活，因此需要一种方法来隔离特定的激活条件。
现有工具的局限性：当前的扩散模型可解释性方法（如数据集示例和特征引导）受限于数据集内容，或仅揭示下游效应，而非激活特定特征的具体输入条件。

方法论：基于优化的潜在可视化（LVO）

作者提出了基于优化的潜在可视化（LVO），这是一种将特征可视化优化技术扩展至 LDMs 的方法。其核心目标是通过梯度上升优化潜在向量 $z_{opt}$ ，以最大化激活特定目标特征。该方法引入了四个针对扩散模型的组件：

时间步活动分析：该方法并非在所有 1,000 个时间步上可视化特征，而是识别“活动峰值”，即特征在数据集中最频繁地处于前 $k$ 个激活值的时间步。可视化专门针对这些峰值时间步生成，以隔离特征在去噪该阶段的作用。
潜在空间优化：优化在 VAE 潜在空间内进行，而非像素空间，以避免与通过解码器反向传播相关的计算成本和梯度伪影。
调度匹配的噪声注入：为了维持 U-Net 的正确条件，优化后的潜在向量在每次前向传播时使用目标时间步的调度系数重新注入噪声（ $z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$ ）。这确保模型看到预期的信噪比。
先验初始化：优化从“先验”图像初始化，该图像通过在特征活跃的时间步上引导目标特征生成。这将优化轨迹保持在可解释流形内，防止其坍缩为高频噪声。

正则化策略：
为了对抗高频噪声和潜在空间伪影，作者采用了一组正则化器：

像素空间迁移：变换鲁棒性（抖动、旋转、缩放）、频谱滤波（衰减高频梯度）和梯度平滑。
潜在空间特定惩罚：范围惩罚（惩罚超出解码器训练范围的值，通常为 $[-3, 3]$ ）和矩惩罚（保持潜在值的均值和方差接近标准正态分布）。

通过 SAE 实现解耦：
本研究比较了两种变体：

原始层基线：优化单个原始激活通道。
SAE 变体：使用在该层上训练的稀疏自编码器（SAE），在优化前将多义表示解耦为单义特征。

主要贡献

LVO 框架：提出了 LDMs 特征可视化的完整流程，整合了时间步分析、调度匹配噪声、先验初始化和潜在空间特定正则化。
解耦基线：提供了受控的原始层基线，以隔离 SAE 解耦所提供的可解释性增益。
正则化消融：首次对潜在域中的像素空间正则化器进行了系统消融，揭示了原始层变体和 SAE 变体的最佳正则化策略存在显著差异（例如，SAE 特征受益于矩惩罚，但对总变差和梯度平滑高度敏感）。
互补洞察：证明了 LVO 通过直接揭示激活特征的输入条件，提供了与数据集示例和引导不同的见解。

结果

该方法在基于 Style50 数据集微调的 Stable Diffusion 1.5 上进行了评估，专门针对 up_blocks.1.attentions.1 层。

多义性基线：优化原始层激活产生的可视化结果往往缺乏连贯性，或混合了多个概念（例如，混合了眼睛和皮毛等动物部位，但未形成可识别的动物）。在这些原始特征上进行引导会产生信息量低、通用的图像。
单义 SAE 特征：基于 SAE 的 LVO 在多个种子和时间步上产生了清晰、一致的可识别概念可视化。显著示例包括：
- 特征 9984：一致地可视化了“对角线构图”（从左上到右下的笔触），这是一种在多样化的数据集示例中并不明显的结构概念。
- 特征 10331：清晰地描绘了人物形象。
- 其他特征：成功可视化了物体部件（电缆、玫瑰）、纹理（瀑布泡沫）和透视关系。
正则化效果：校准表明，先验初始化对于防止噪声坍缩至关重要。此外，发现变换鲁棒性和矩惩罚等正则化项有助于优化器逃离不可解释的局部最大值，揭示出更清晰的结构（例如，将“浑浊”的纹理转变为清晰的电缆结构）。

意义与主张

本文声称，LVO 填补了扩散模型可解释性中的一个关键空白。虽然数据集示例受限于内容多样性，而引导揭示了下游效应，但 LVO 直接回答了“什么激活了特征”。作者强调，该技术仅在结合所有四个提出的组件（时间步分析、噪声注入、先验初始化和适当的正则化）时才可行。

这项工作主要被定位为防御性可解释性工具，支持安全审计、针对性概念遗忘和内容审核。作者承认存在双重用途风险，即识别特征激活理论上可能有助于绕过安全过滤器，但他们评估认为该风险有限，因为底层模型和 SAE 已经是公开的，且该方法揭示的是激活原因而非抑制技术。

研究结论指出，LVO 揭示了标准数据集示例检查无法看到的结构和组成特征（如对角线排列），为潜在扩散模型的机械研究提供了必不可少的互补视角。