技术摘要：面向扩散 Transformer 的质量感知调制

问题陈述

现代文本生成图像扩散模型，特别是像 Stable Diffusion 3.5 (SD3.5) 这样的扩散 Transformer (DiT)，依赖于调节信号——具体而言是时间步嵌入（timestep embeddings）和池化提示词嵌入（pooled prompt embeddings）——通过自适应层归一化 (AdaLN) 来调制去噪过程。虽然这些信号有效地传达了当前噪声水平和语义意图，但它们缺乏质量感知信息。因此，调制机制无法直接针对样本特定的失效模式做出反应，例如随着潜变量（latent）演变过程中出现的误差累积、错误的提示词解释或幻觉特征。基准调节是独立于当前潜变量状态的（$\partial M_{base} / \partial x_t = 0$），这阻碍了模型根据中间图像的实际质量来纠正保真度问题。

方法论

作者提出了质量表示模块 (Quality Representation Module, QRM)，这是一个轻量级的基于 Transformer 的适配器，旨在向扩散过程注入质量感知信号，而无需修改预训练的主干网络。

架构

QRM 实现为一个 Transformer 解码器，用于预测基准 AdaLN 参数 ($M_{base}$) 的加性调制偏移量 ($M_{qrm}$)。

• 输入： 该模块接收当前的潜变量图像 ($x_t$)、池化提示词嵌入 ($p$)、时间步嵌入 ($t$) 以及基准调制参数 ($M_{base}$)。
• 处理流程：
  1. 通过学习到的 $1\times1$ 卷积和自适应池化，将潜变量图像 $x_t$ 投影为潜变量 Token。
  2. 基准调制参数被归一化并投影以形成查询 Token ($Z_0$)。
  3. 从潜变量 Token、提示词和时间步嵌入中构建键-值 (KV) 记忆。
  4. 通过交叉注意力层和自注意力层，查询 Token 关注 KV 记忆以生成精炼的表示。
  5. 输出被投影回原始 AdaLN 宽度，以产生偏移向量 $M_{qrm}$。
• 应用： 最终应用于 Transformer 块的调制为 $M_t = M_{base,t} + M_{qrm,t}$。

训练策略 (ReFL)

QRM 使用奖励反馈学习 (Reward Feedback Learning, ReFL) 策略进行训练：

• 冻结组件： 扩散主干网络（去噪器、文本编码器、VAE）、采样器和奖励模型保持冻结。只有 QRM 参数会被更新。
• 目标： 该模块学习最大化标量奖励得分，该得分源自应用于中间去噪步骤解码出的图像的冻结奖励模型（例如 HPSv2.1 或 CLIPScore）。
• 损失函数： 文中使用了奖励最大化损失或边际寻求损失（margin-seeking loss），后者旨在推动 QRM 调制的图像比基准模型高出一个特定的幅度。
• 时间步选择： 为了提高效率并专注于结构形成，QRM 仅在预定义的特定高噪声时间步子集（例如 $t \in \{50, \dots, 26\}$）中激活，而不是在整个扩散调度周期内运行。

推理

在推理期间，训练好的 QRM 模块作为一个插件式适配器发挥作用。它根据当前的潜变量状态预测调制偏移量，并将其添加到基准参数中。这使得模型能够引导去噪轨迹走向更高质量的状态，而无需重新训练主干网络或改变采样调度。

核心贡献

1. QRM 架构： 引入了一种轻量级 Transformer 模块，该模块从现有的模型输入（潜变量、提示词、时间步）中学习质量感知表示，以精炼调制参数。
2. 非侵入式集成： 一种增强扩散 Transformer 调制的机制，通过引入潜变量图像质量信号来增强模型，而无需修改底层的扩散主干、VAE 或采样调度。
3. 奖励引导调制： 证明了预测的调制更新 ($M_{qrm}$) 可以有效地在每个时间步精炼去噪过程，从而提高提示词遵循度和图像保真度。
4. 全面评估： 通过广泛的消融实验，分析了 QRM 架构规模、活跃时间步范围以及训练奖励指标对图像质量的影响。

实验结果

作者使用 Stable Diffusion 3.5 (SD3.5) 在 Parti-Prompts 基准测试上对 QRM 进行了评估。

• 定量性能：
  • 与 SD3.5 基准相比，使用 HPSv2.1 作为奖励信号训练的 QRM 在所有评估方法（包括提示词精炼、微调和 ReNeg 方法）中取得了最高分。
  • 提升： 美学得分 (Aesthetic score) 提升了 +0.20，HPSv2.1 得分提升了 +0.82。
  • 当使用 CLIPScore 训练时，QRM 在保持相当的感知质量的同时，提高了人类偏好对齐度 (HPSv2.1)。
• 定性分析：
  • 去噪轨迹的可视化表明，在早期高噪声时间步应用 QRM，会导致可识别的语义结构比基准模型更早地显现出来。
  • 在中期或后期阶段应用 QRM 带来的改进较小，证实了全局结构是在扩散过程的早期建立的。
• 消融研究发现：
  • 容量： 更大的 QRM 模型针对特定训练奖励（如 HPSv2.1）的优化更为强烈，但在其他指标（如 CLIPScore）上表现出轻微的权衡。
  • 时间步范围： 在早期时间步（$50 \to 26$）进行调制对于对齐效果一致优于在后期阶段进行调制。
  • 奖励指标： 奖励模型（CLIPScore vs. HPSv2.1）的选择直接塑造了 QRM 所学习到的感知偏差。

意义与主张

本文主张，调制层面的干预为将大型扩散模型与人类偏好信号对齐提供了一条可扩展且有效的途径。不同于需要对整个主干进行昂贵微调的方法（如 LoRA 或全参数微调），QRM 通过完全基于演变的潜变量表示进行加性调制更新，实现了持续的质量提升。

作者将 QRM 定位为一个灵活的、质量感知的适配器，它可以受不同的奖励信号引导，并适用于各种扩散 Transformer 架构。作者承认 QRM 继承了训练奖励模型的偏差，并建议未来的工作可以探索多奖励训练和自适应时间步选择，以进一步增强鲁棒性和泛化能力。这项工作证明，无需更改最先进模型的预训练权重，即可实现图像保真度和提示词对齐度的显著提升。