🤖 AI

Breaking the Lock-in: Diversifying Text-to-Image Generation via Representation Modulation

该论文提出了 DAVE，一种通过衰减早期 Transformer 特征中快速收敛的零频率（DC）分量来增强文本生成图像多样性的免训练方法，从而在不损害图像质量或采样效率的情况下打破轨迹锁定。

原作者： Dahee Kwon, Haeun Lee, Jaesik Choi

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Dahee Kwon, Haeun Lee, Jaesik Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

论文解析：《打破锁定：通过表示调制实现文本生成图像的多样化》（DAVE）

以下是使用简单语言和创意类比对论文《Breaking the Lock-in: Diversifying Text-to-Image Generation via Representation Modulation》（DAVE）进行的解释。

问题所在：“饼干模具”效应

想象你拥有一台神奇的机器，可以根据你的描述画图。你告诉它：“画一只坐在地毯上的猫”，它做到了。你要求用完全相同的描述再画一张，它画出的猫看起来与第一只几乎一模一样。你要求画第三张，它依然是同一只猫，处于同样的姿势。

目前的 AI 图像生成器虽然能制作高质量的图片，但它们面临着一个被称为**“多样性崩溃”（diversity collapse）**的问题。即使你给它们不同的随机起点（比如掷出不同的骰子），它们似乎都会遵循完全相同的路径，并最终得到几乎相同的结果。它们被“锁定”在了某种单一且乏味的构思版本中。

调查过程：寻找“锁”

研究人员想要了解为什么会发生这种情况。他们在 AI 绘画的过程中，观察了 AI“大脑”（内部层）内部的情况。

他们发现了一个特定的 AI 思维过程部分，它起到了重型锚点的作用。

类比： 想象 AI 是一艘试图在广阔海洋中探索的船。在旅程的最开始，这艘船投下了一个巨大的、沉重的锚（即“DC 分量”），这个锚被固定在海洋的正中心。
发现： 无论船选择哪个随机起点，这个锚都会立即将所有的船拖向同一个位置。因为所有的船都卡在了同一个起点，它们无法探索不同的路线。它们最终都会抵达同一个目的地。

研究人员发现，这个“锚”就是图像的平均颜色和亮度（零频分量）。AI 计算这种平均值的速度极快且强度极大，以至于在它有机会添加毛发、叶子或云朵等细节之前，就强行让每一张图像看起来都一样。

解决方案：DAVE（切断锚绳）

作者提出了一种名为 DAVE（用于增强多样性的 DC 衰减）的新方法。

工作原理： DAVE 并不需要重新训练 AI，也不需要让它变慢，它就像一把剪刀，在旅程刚刚开始时，剪断系着锚的那根绳子。
动作： 在生成的最初一小段时间内，Dтельно削弱那个沉重的“平均值”信号。它告诉 AI：“先不要锁定在那个特定的平均值上。让随机起点（骰子点数）真正发挥作用。”
结果： 因为锚被切断了，船（图像）就可以立即向不同方向漂流。一艘船可能会向左漂，去画一只坐在红地毯上的猫；另一艘可能会向右漂，去画一只坐在蓝地毯上的猫。它们仍然遵循你的指令（“画一只猫”），但它们探索了不同的布局、风格和构图。

为什么这很特别

其他大多数方法试图解决这个问题的方法包括：

多次运行机器（这非常耗时且消耗大量计算资源）。
让 AI 进行猜测并检查（这既缓慢又复杂）。

DAVE 的不同之处在于：

它是免费的： 它不需要重新训练 AI。
它很快： 它几乎不会增加额外的处理时间或计算内存。它就像是对方向盘的一个微调，而不是重建引擎。
它很精准： 它只触及 AI 大脑中导致问题的特定部分，而不影响其高质量绘画能力的其他部分。

最终成果

当研究人员使用 DAVE 进行测试时，他们发现：

AI 可以针对同一个提示词（例如 10 个不同的“坐在地毯上的猫”）生成许多独特且多样的版本。
图像依然保持高质量，并完美符合文本描述。
它适用于多种现代 AI 模型类型（如 Stable Diffusion 3.5 和 Flux）。

简而言之： 论文发现，AI 图像生成器之所以陷入僵局，是因为它们过早地锁定在了一个“全局平均值”上。DAVE 是一个简单、免费且快速的小技巧，它切断了这个锁定，让 AI 能够在不丧失绘画能力的前提下，探索更广阔的创意世界。

技术摘要：通过表示调制打破锁定效应

问题陈述

近期的文本生成图像（T2I）模型，特别是那些利用大规模 Transformer 骨干网络和基于流（flow-based）目标的模型，已实现了卓越的文本-图像对齐能力和照片级真实感。然而，这些模型经常面临“多样性崩溃”（diversity collapse）问题：即在针对固定提示词生成多张图像时，输出结果往往会收敛到过于相似的构图、布局和风格模式。这种同质化限制了生成模型在需要广泛候选探索或合成数据集构建任务中的效用。

现有的增强多样性的方法通常分为两类：批次级多样化（如 Particle Guidance, OSCAR）和个体轨迹操纵（如 CADS）。虽然这些方法在一定程度上有效，但由于辅助优化、并行候选生成或样本间的相互作用，往往会产生显著的计算和内存开销。此外，生成模型内部表示中多样性崩溃的根本机制原因在很大程度上仍未被充分探索，以往的工作主要侧重于推理阶段的启发式方法，而非根因分析。

方法论：DAVE

作者提出了 DAVE（用于增强多样性的直流分量衰减，DC Attenuation for diVersity Enhancement），这是一种无需训练的、表示层级的干预手段，旨在打破生成轨迹的“锁定”（lock-in）现象。

根因分析

通过对 Transformer 特征的分析，作者发现，在生成的早期阶段，隐藏表示的**零频率空间平均值（直流分量，DC component）**在不同随机种子之间会迅速趋同。

观察结果： 在去噪早期步骤（高噪声阶段），直流分量表现出极高的跨种子余弦相似度和低方差，其在表示中的能量占比超过 50%。
机制： 这种被称为“早期直流漂移”（early DC drift）的现象，归因于神经网络的谱偏差（优先处理低频信号）以及流匹配目标在高不确定性下的特性。模型预测的是文本条件的期望数据，导致直流分量与一个种子无关的全局均值对齐。这种早期的对齐建立了一个结构性锚点，限制了初始噪声种子诱导足够全局布局和粗粒度语义变化的能力。

DAVE 干预措施

为了减轻这种锁定效应，DAVE 在生成的早期阶段选择性地衰减直流分量。

操作： 对于 Transformer 块 $\ell$ 在时间步 $t$ 的隐藏表示 $h^{(\ell)}_t$ ，计算其直流分量 $\mu^{(\ell)}_t$ （即视觉 token 的空间平均值）。随后对表示进行修改：
$\hat{h}^{(\ell)}_t = \alpha \cdot \mu^{(\ell)}_t + (h^{(\ell)}_t - \mu^{(\ell)}_t)$
其中 $\alpha \in (0, 1)$ 是衰减强度参数。
约束： 该干预仅应用于被识别为具有强跨种子直流趋同性的特定 Transformer 块（ $\ell \in \mathcal{L}$ ），且仅在早期时间步（ $t < \tau$ ）内执行。
实现： DAVE 无需重新训练，无需改变采样流程，也不需要为特征库分配额外内存。它作为一种手术式的修改，作用于中间输出并将其传递给后续模块之前。

核心贡献

机制洞察： 本文指出，生成早期阶段直流分量的快速收敛是导致种子级差异受限的主要瓶颈，为轨迹锁定提供了理论与实证解释。
DAVE 算法： 一种轻量级、无需训练的方法，通过衰减直流分量来释放生成多样性，同时不损害语义对齐或视觉质量。
高效性： 不同于与批次大小呈二次方关系（ $O(TB^2)$ ）的交互式方法，DAVE 保持了线性复杂度（$O(TB)$），且开销微乎其微，使其能够扩展至现代大型模型。
鲁棒性： 该方法在不同模型架构（Stable Diffusion 3/3.5, FLUX.1-dev, SANA1.5）和提示词复杂度下均表现出鲁棒性，目标块集合 $\mathcal{L}$ 在很大程度上与数据集无关。

实验结果

作者在 ImageNet 和 MS-COCO 基准测试上评估了 DAVE，使用了视觉质量（FID, Precision, Density）、多样性（Recall, Coverage, Vendi Score）和文本-图像对齐（CLIP Score）指标。

多样性提升： DAVE 在所有测试模型中一致提升了多样性指标（Recall, Vendi Score），优于原始采样器，并能与 CADS 和 SPARKE 等最先进的方法进行有力竞争。
质量保持： 与某些以牺牲保真度换取多样性的基线方法（例如 CADS 在某些模型上表现出 CLIP 分数下降）不同，DAVE 保持了极具竞争力的图像质量和文本对齐度。
批次内性能： 在显式的批次内生成设置中，与 Particle Guidance 和 SPELL 等方法相比，DAVE 实现了更低的特征级相似度和更高的感知距离，同时计算成本显著降低。
蒸馏模型： 该方法兼容于蒸馏模型（如 SD3.5-Large-Turbo），即使在精简的采样机制下也能提升多样性。
消融研究：
- 时间截断 ( $\tau$ )： 在前 15–20% 的步骤中进行干预可获得最优的多样性且不损失质量。
- 衰减强度 ( $\alpha$ )： 取值在 0.2 到 0.5 之间时，能在结构变化与语义连贯性之间取得平衡。
- 块选择： 该方法对于在识别出的高趋同池 $\mathcal{L}$ 中选择特定块具有鲁棒性。

重要性与主张

本文声称 DAVE 提供了一个实用且可扩展的框架，用于解决基于流的 T2I 模型中生成多样性受限的关键问题。通过针对直流分量早期同质化这一轨迹锁定的根源进行干预，该方法成功拓宽了预训练模型的生成范围。

作者强调，DAVE 在实现多样性-保真度权衡方面表现优异，且没有现有方案那样的计算负担。它作为一种“手术式”的干预，在保留采样流程的同时，使初始噪声的随机性能够驱动有意义的结构变化。这项工作表明，理解并调制内部表示动力学是增强生成能力的一种可行路径，且无需重新训练或复杂的优化程序。