💻 computer science

Diffusion Mental Averages

本文提出了“扩散心理平均”（DMA）方法，通过在扩散模型的语义空间内优化多条去噪轨迹以实现对齐，从而生成比传统数据平均更清晰、真实的概念原型，并扩展至多模态概念的平均化。

原作者： Phonphrm Thawatdamrongkit, Sukit Seripanitkarn, Supasorn Suwajanakorn

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Phonphrm Thawatdamrongkit, Sukit Seripanitkarn, Supasorn Suwajanakorn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“扩散模型心理平均”（Diffusion Mental Averages, DMA）**的新技术。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“让 AI 画出一张‘概念的标准照’"**。

1. 核心问题：AI 脑子里的“平均脸”长什么样？

想象一下，如果你问一个人：“提到‘猫’，你脑海里第一个浮现的是什么？”大多数人可能会想到一只普通的、毛茸茸的橘猫或狸花猫，而不是罕见的无毛猫或巨大的狮子。这就是人类的“心理原型”或“平均概念”。

现在的 AI 绘画模型（比如 Stable Diffusion）也能画猫。如果你让它画 1000 次“猫”，它会画出 1000 只各不相同的猫：有的黑、有的白、有的胖、有的瘦。

以前的难题是：
如果你把这 1000 张猫的照片直接叠在一起，试图算出一个“平均猫”，结果会是一团模糊的、像鬼影一样的东西（因为每只猫的位置、角度都不一样，像素对不齐）。
以前的方法要么只能选出一张“代表性”的图（但这只是其中一只，不能代表全部），要么就是算出那个模糊的鬼影。

这篇论文的突破：
他们发明了一种方法，能让 AI 在**“画画的过程中”**直接算出这个“平均概念”，而不是画完后再去平均。结果生成的图片既清晰、真实，又完美地代表了该概念在 AI 心中的“标准模样”。

2. 他们是怎么做到的？（三个生动的比喻）

比喻一：不是“拼凑”，而是“同步排练”

旧方法（像素平均）： 就像让 1000 个人站在不同的位置、摆不同的姿势，然后试图把他们叠在一起拍照。结果肯定是一团乱麻。
DMA 方法（轨迹对齐）： 想象导演（AI 模型）让 1000 个演员（1000 个初始噪点）同时开始排练一场戏（生成图像）。
- 在排练的早期（粗线条阶段），导演要求所有人先对齐“大动作”：比如都要站着，都要面向观众。
- 在排练的中期，导演要求所有人对齐“细节”：比如都要穿白衬衫，都要拿道具。
- 在排练的后期，导演要求所有人对齐“表情”：比如都要微笑。
- 关键点： 导演会不断调整这 1000 个演员的走位，让他们在每一个步骤都尽量向“中间那个标准动作”靠拢，而不是等演完了再强行把他们叠在一起。
- 结果： 最后，这 1000 个演员虽然是从不同的起点出发的，但他们最终呈现出的“集体平均状态”就是那张清晰、完美的“标准猫”照片。

比喻二：AI 的“潜意识空间”

AI 画画时，并不是直接在画布（像素）上涂色，而是在一个看不见的“潜空间”里操作。

以前的方法试图在画布上平均，就像试图把 1000 张不同角度的照片叠在一起。
这篇论文发现，AI 在“潜空间”里有一个**“语义层”**（可以理解为 AI 的“大脑皮层”）。在这个层面，AI 对“猫”的理解是抽象的（比如：有胡须、尖耳朵、四条腿）。
DMA 技术就是在这个“大脑皮层”里，让 1000 个想法慢慢汇聚成一个**“最大公约数”**的想法，然后再把这个想法“翻译”回清晰的图片。

比喻三：处理“多面手”概念（模式发现）

有些词很复杂，比如“车”。它可能指“跑车”，也可能指“卡车”。如果直接平均，可能会画出一辆“不伦不类的半卡车半跑车”。

DMA 的聪明之处： 它先像**“分班”**一样，把 1000 个样本分成“跑车组”和“卡车组”。
然后，它分别为“跑车组”算出一个平均跑车，为“卡车组”算出一个平均卡车。
甚至，它可以更细致地按“颜色”或“品牌”分组，算出“红色的平均跑车”或“蓝色的平均卡车”。这就像给 AI 做了一次**“人口普查”**，不仅知道平均长什么样，还知道它心里有多少种不同的“亚文化”。

3. 这项技术有什么用？

给 AI 照镜子（检测偏见）：
- 如果你让 AI 画“医生”，生成的“平均医生”是男性还是女性？是白人还是黑人？
- 如果你让 AI 画“恐怖分子”，生成的“平均形象”是什么？
- 通过看这张“平均照”，我们可以立刻发现 AI 在训练数据中是否存在刻板印象或偏见。比如，如果“平均医生”全是男性，说明 AI 认为医生就是男性，这就暴露了数据偏差。
理解 AI 的“脑回路”：
- 对于抽象概念（如“自由”、“贫穷”），AI 到底是怎么理解的？
- 论文中展示了，当输入“自由”时，AI 生成的“平均图”往往是自由女神像；输入“意大利”时，往往是威尼斯运河。这让我们直观地看到了 AI 是如何将文字概念转化为视觉图像的。
不同模型的“性格测试”：
- 论文对比了不同的 AI 模型（有的画写实，有的画动漫）。
- 结果发现，画实体的模型画出的“士兵”全是男性，而画动漫的模型画出的“士兵”性别更中性。这就像给不同性格的 AI 做了心理测试，看它们各自“想”到了什么。

总结

简单来说，Diffusion Mental Averages (DMA) 就像是一个**"AI 心理分析师”**。

它不再让 AI 随机画一堆图然后我们自己去猜，而是通过一种巧妙的“同步排练”技术，直接让 AI 画出它内心深处认为最标准、最典型的那个样子。这不仅让我们看到了 AI 眼中的世界，也帮我们发现了 AI 可能存在的偏见和误解。

这就好比以前我们只能通过观察 AI 画的几千张草图来猜测它喜欢什么，现在 DMA 直接给了它一张**“官方标准照”**，让我们一眼就能看穿它的“小心思”。

1. 研究背景与问题 (Problem)

核心问题：
扩散模型（Diffusion Models）在生成图像时，是否拥有一个概念上的“心理平均”（Mental Average）？即，模型是否对某个概念（如“猫”、“医生”或抽象概念“自由”）有一个清晰、锐利且符合其训练数据分布的典型原型？

现有方法的局限性：

数据平均（Data-Centric Averaging）： 传统方法通常是对生成的图像集合进行像素级平均或特征平均。
- 像素级平均： 由于图像在空间上难以完美对齐（尤其是非人脸/非刚性物体），直接平均会导致图像模糊、细节丢失，产生不真实的“鬼影”。
- 特征空间平均： 在自编码器（VAE）或 GAN 中，可以通过编码 - 平均 - 解码来实现。但扩散模型缺乏显式的语义瓶颈层（Semantic Bottleneck）和直接解码器，无法直接将时间步上的平均嵌入解码为高质量图像。
数据集蒸馏（Dataset Distillation）： 现有方法旨在为下游任务合成原型，往往导致生成的图像结构不一致、不自然，或者为了追求一致性而牺牲了真实感。

目标：
提出一种**以模型为中心（Model-Centric）**的方法，直接从预训练的扩散模型内部提取出一个清晰、真实且具代表性的“心理平均”图像，揭示模型对概念的内部表征和潜在偏见。

2. 方法论 (Methodology)

作者提出了 Diffusion Mental Averages (DMA) 方法，将“平均”问题重新定义为扩散模型内部的**轨迹对齐（Trajectory Alignment）**问题。

2.1 核心思想：轨迹对齐

扩散模型的语义信息分布在去噪轨迹（Denoising Trajectory）的不同时间步中：早期步骤捕捉粗略结构（布局、姿态），晚期步骤捕捉细节。DMA 不生成样本后再平均，而是联合优化多个噪声潜变量（Noise Latents），使它们的去噪轨迹在语义空间中逐渐收敛到共享的“粗粒度到细粒度”的语义共识。

2.2 具体步骤

初始化： 采样 $K$ 个高斯噪声潜变量 $\{z^{(0)}_k\}$ 。
迭代优化（在每个时间步 $t$ ）：
- 提取语义激活： 将每个潜变量输入扩散模型，提取中间层（U-Net 的瓶颈层，即 h-space）的激活值 $H(z^{(t)}_k)$ 。研究表明 h-space 具有线性语义特性。
- 计算平均语义目标： 计算所有 $K$ 个样本在该时间步的平均激活值 $\bar{A}^{(t)} = \frac{1}{K}\sum H(z^{(t)}_k)$ 。
- 噪声优化（Noise Optimization）： 固定模型参数，通过梯度下降优化每个噪声潜变量 $z^{(t)}_k$ $z_{k}^{(t)}$ ，使其 h-space 激活值尽可能接近平均目标 $\bar{A}^{(t)}$ $\overset{ˉ}{A}^{(t)}$ 。
  - 损失函数： $L = \| H(z^{(t)}_k) - \bar{A}^{(t)} \|_2^2$
- 去噪： 将优化后的潜变量通过 DDIM 采样推进到下一个时间步 $t-1$ 。
终止与解码： 重复上述过程直到截止步 $t_{stop}$ ，随后进行标准去噪直至完成，最后通过 VAE 解码器生成最终的“心理平均”图像。

2.3 处理多模态概念 (Mode Discovery)

对于具有多种视觉模式的复杂概念（如“狗”包含不同品种，“起重机”包含鸟和机器），单一平均会模糊模式。

聚类： 在语义丰富的空间（如 CLIP 或 BLIP-VQA）中对生成的样本进行聚类，分离出不同的语义模式。
条件微调（Conditioning）： 由于聚类空间（CLIP）与扩散模型内部空间（h-space）存在分布差异，直接平均会导致语义不一致。
- 作者引入 Textual Inversion 或 LoRA，针对每个聚类簇学习特定的文本嵌入或微调模型，引导去噪过程向该簇的语义子空间收敛，从而生成忠实于该模式的平均图像。

3. 关键贡献 (Key Contributions)

首创扩散模型心理平均方法： 提出了首个能从预训练扩散模型中直接生成一致且真实的概念平均图像的方法，将任务形式化为轨迹对齐。
解决模糊与不一致难题： 通过 h-space 的渐进式对齐，既保留了像素级平均的结构性，又避免了特征平均导致的模糊，实现了高保真度。
多模态概念处理： 结合外部语义空间聚类与轻量级模型条件化（LoRA/Textual Inversion），有效处理了具有多种语义模式的复杂概念。
广泛的泛化性： 该方法不仅适用于 Stable Diffusion 的不同变体（如 Realistic Vision, PixelArt），还成功扩展到了基于 Transformer 的扩散架构（DiT）。
模型解释与偏见分析工具： 提供了一种可视化工具，能够揭示模型对特定概念（如性别、种族、抽象概念）的内在偏见和典型表征。

4. 实验结果 (Results)

4.1 评估指标

一致性 (Consistency)： 不同随机种子生成的原型之间的相似度（越低越好）。
代表性 (Representativeness)： 原型与原始概念分布中样本的平均距离（越低越好）。
图像奖励 (ImageReward)： 基于人类偏好训练的评价模型，衡量图像质量和文本对齐度（越高越好）。

4.2 对比基线

GANgealing： 基于 GAN 的对齐平均（无法处理抽象概念，结果模糊）。
Avg VAE： 在 VAE 空间平均（结果极度模糊）。
D4M & MGD3： 数据集蒸馏方法（结果要么一致但模糊，要么真实但不一致）。

4.3 主要发现

性能超越： DMA 在所有指标上均优于基线方法。它在保持高一致性的同时，生成的图像清晰、锐利且符合人类审美（ImageReward 最高）。
定性分析：
- 对于“宇航员”，DMA 生成了结构完整、细节清晰的制服和头盔，而基线方法往往丢失关键部件或产生模糊形状。
- 对于抽象概念“自由”，DMA 稳定地生成自由女神像，而基线方法生成扭曲或不一致的图像。
多模态发现： 能够成功分离并生成“狗”的不同品种、“汽车”的不同颜色等特定模式的平均图像。
模型偏差诊断： 在不同 SD 变体中，DMA 揭示了模型特定的偏见（例如，某些模型倾向于生成男性士兵，而某些模型生成女性动漫风格士兵）。

5. 意义与影响 (Significance)

理解黑盒模型： 提供了一种直观、可解释的窗口，帮助研究人员理解扩散模型内部如何表征概念，以及训练数据中的统计规律如何转化为生成先验。
偏见检测与审计： 能够量化并可视化模型中的社会偏见（如种族、性别刻板印象），为模型的安全性和公平性评估提供新工具。
数据压缩与隐私： 心理平均图像可以作为数据集的紧凑统计摘要，用于下游任务的快速分析或在保护隐私的前提下进行模型训练（类似数据集蒸馏，但更关注概念表征而非任务性能）。
方法论创新： 证明了无需重新训练模型，仅通过优化噪声潜变量和轨迹对齐，即可在预训练模型中提取高质量的语义原型，为扩散模型的可解释性研究开辟了新路径。

总结：
《Diffusion Mental Averages》不仅提出了一种生成高质量概念原型的算法，更重要的是它建立了一种**“模型心理”的可视化范式**。它证明了扩散模型内部确实存在一个清晰的、可被提取的“平均”概念，并展示了如何利用这一特性来深入分析、诊断和解释生成式 AI 的内在机制。