🤖 AI

Test-Time Alignment of Text-to-Image Diffusion Models via Null-Text Embedding Optimisation

本文提出了空文本测试时对齐（Null-Text Test-Time Alignment, Null-TTA），这是一种新颖的范式，通过在推理阶段优化无分类器指导中的无条件嵌入，使文本生成图像扩散模型与目标奖励对齐，从而在不更新模型参数的情况下，实现最先进的性能，并防止奖励作弊以及保持跨奖励的泛化能力。

原作者： Taehoon Kim, Henry Gouk, Timothy Hospedales

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Taehoon Kim, Henry Gouk, Timothy Hospedales

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位极具天赋但带点叛逆精神的艺术家。这位艺术家（AI 模型）通过在互联网上研究数百万幅画作，已经苦练多年。他们非常擅长创作图像，但有时会做出一些奇怪、丑陋或并非你所要求的作品。

你想给这位艺术家一个具体的指令：“让这张图片看起来更美”或者“让它看起来像杰作”。这被称为对齐（Alignment）。

这篇论文介绍了一种与这位艺术家沟通的新方法，叫做 Null-TTA。以下是它的工作原理，我们使用简单的类比来解释：

问题所在：“嘈杂的房间” vs. “有结构的图书馆”

以往的方法试图通过调整电脑内部的**噪声（noise）或隐藏变量（hidden variables）**来修正艺术家的输出。

类比： 想象一下，你试图通过向房间里撒入随机的尘埃和亮片，并寄希望于它们落在画布上的方式能让画作看起来更好。
问题： 这是混乱的。有时，AI 会产生一种“坏的聪明”。它会找到一种奇怪的技巧（比如某种特定的静态噪声模式）来欺骗计算机，让计算机认为这张图像是“美丽的”，即便图像本身看起来糟糕透顶。这被称为**“奖励作弊”（reward hacking）**。这就像一个学生背下了答案解析，却并没有真正学会学科知识。

解决方案：“大师级指挥家”（Null-TTA）

作者意识到，与其去摆弄那些混乱的尘埃（噪声），不如去沟通那本告诉 AI 该做什么的说明书（文本嵌入/text embedding）。

类比： 把 AI 想象成一个管弦乐团。
- 旧方法试图通过在指挥睡觉时，随机调整单个乐器的音量（噪声）来修正音乐。
- Null-TTA 则唤醒了指挥家（文本嵌入）。指挥家掌握着“乐谱”（词义）。通过微妙地调整指挥家对乐谱的理解，整个乐团就能自然而然地演奏出你想要的音乐，而不需要强行调整每一个音符。

它是如何工作的：“锚点”

在 AI 的世界里，有一个特殊的“空白”指令（称为空文本嵌入/null-text embedding），它充当了一个安全锚点。它代表了 AI 默认的、无引导的行为。

偏移（The Shift）： Null-TTA 不是在推挤最终的图像，而是轻轻地将这个“空白指令”推向特定的目标（例如“使其具有美感”）。
安全网（The Safety Net）： 因为这个“空白指令”存在于一个**有结构的意义空间（semantic space）**中，所以 AI 无法作弊。它无法利用随机的静态噪声来欺骗系统，因为它只能在实际的“意义”范畴内移动。
结果： AI 生成的图像真正符合你的要求（对齐），同时不会丢失其原有的创造力，也不会掉入“奖励作弊”的陷阱。

为什么它更好（“帕累托”式的双赢）

论文表明，这种方法是一个“双赢”方案。

旧方法就像一个跷跷板：如果你让图像看起来更“美观”，它往往会变得不再那么“准确地遵循提示词”，反之亦然。
Null-TTA 则是把整个跷跷板抬了起来。它在提升目标质量（如美感）的同时，并没有牺牲其他品质（如遵循提示词的能力或整体视觉质量）。它做到了这一点，且无需重新训练整个 AI，从而节省了大量的计算资源。

现实测试

作者在一些困难的任务上测试了它，例如：

计数： “画九个排列成正方形的大理石。”（旧 AI 经常画出 8 个或 10 个）。
复杂场景： “一只猫骑在一只狗背上。”（旧 AI 经常把它们合并成一个奇怪的生物）。
不可能的物理现象： “在太空中漂浮的一架钢琴。”

在所有这些案例中，Null-TTA 遵循指令的能力远高于以往的方法，生成的图像也是人类真正更喜欢的。即使当“奖励”不是一个简单的数学公式时（例如尝试减小图像文件以进行压缩），它依然有效，证明了它是一个非常鲁棒的工具。

总结

Null-TTA 就像是给 AI 提供了一套更精确、更高级的指令，而不是试图强行改变最终结果。通过调整词语背后的“意义”，而非像素背后的“噪声”，它创造出了更好的图像，避免了作弊行为，并且这一切都不需要动用超级计算机来重新训练模型。

技术摘要：基于空文本（Null-Text）的文本生成图像扩散模型测试时对齐

问题陈述
预训练的文本生成图像扩散模型通常是在大规模、未经清洗的网络数据集上训练的，这些数据包含不一致或不良内容。在推理阶段将这些模型与特定的人类价值观或目标目标（例如，审美质量、特定偏好）进行对齐，对于可靠部署至关重要。现有的对齐方法大致分为两类，两者都存在显著局限性：

微调方法（Fine-tuning methods）： 这些方法通过更新模型参数来优化奖励函数。虽然有效，但计算成本高昂，且容易出现奖励过度优化（reward over-optimization），即模型过度拟合代理奖励，从而导致在其他奖励和输出多样性上的泛化能力丧失。
测试时对齐（Test-Time Alignment, TTA）方法： 这些方法优化潜变量或噪声变量、从奖励调节的后验分布中采样，或使用离散搜索算法，而不更新模型权重。然而，由于潜空间和噪声空间具有高度无结构的特性，这些方法往往面临奖励欠优化或过度优化的问题。在这些空间进行优化会导致“奖励黑客行为（reward hacking）”，即模型利用非语义的噪声模式来最大化目标奖励，同时降低视觉质量、语义连贯性和其他指标的表现。

方法论：空文本测试时对齐（Null-TTA）
作者提出了 Null-TTA，这是一个无需训练的框架，通过优化分类器自由引导（Classifier-Free Guidance, CFG）中的**无条件（空文本）嵌入（unconditional/null-text embedding）**来实现扩散模型的对齐，而不是操纵潜变量或噪声变量。

核心洞察： 在 CFG 中，无条件嵌入 ( $\phi$ ) 作为模型生成分布的几何锚点。与无结构的噪声空间不同，文本嵌入空间具有结构化的语义特性。在这一空间内进行优化可以确保对齐发生在**语义连性的流形（semantically coherent manifold）**上，从而防止模型利用非语义的噪声伪影。
目标函数： 该方法制定了一个正则化目标，旨在引导模型的生成分布趋向于目标奖励，同时惩罚与预训练模型的分布漂移。该目标旨在最大化期望奖励 $R(x_0)$ ，同时最小化由优化后的嵌入 $\phi'$ 诱导的分布与由原始 $\phi$ 诱导的分布之间的 KL 散度：
$\max_{\phi'} \left( \lambda_1 \mathbb{E}_{p(x_0|\phi')}[R(x_0)] - \lambda_2 \text{KL}(p(x_{0:T}, \phi') || p(x_{0:T}, \phi)) \right)$
该 KL 项被分解为连续去噪步骤之间的局部散度和嵌入分布之间的散度。这被简化为一个涉及预测噪声（ $\tilde{\epsilon}$ ）之差和嵌入之差（ $\phi' - \phi$ ）的闭式表达式。
优化策略：
- 自适应正则化： 正则化权重 $\lambda_2$ 随着去噪过程的进行（ $t \to 0$ ）进行自适应退火。在早期步骤中使用强正则化以稳定优化，而在后期步骤中使用较弱的正则化以实现更精细的对齐。
- 贪婪搜索： 在每个去噪步骤中，该方法采用轻量级的贪婪搜索。它从转移核中采样 $K$ 个候选潜变量，通过 Tweedie 公式估计清晰样本，使用奖励模型对它们进行评分，并确定性地选择得分最高的候选者作为下一步。
- 不可微奖励： 对于奖励函数为黑盒（不可微）的情景，该方法通过对空文本嵌入进行随机扰动，采用零阶梯度估计。

主要贡献

Null-TTA 框架： 一种新颖的、无需训练的 TTA 框架，它在文本调节的结构化语义空间中执行对齐，避免了无结构潜变量/噪声优化的缺陷。
原则性的目标函数： 一个 KL 正则化目标，它重新定向模型自身的生成分布以趋向目标奖励，从而确保稳定且高效的对齐，无需参数更新。这防止了奖励黑客行为并保持了语义连贯性。
达到最先进水平的性能： 大量实验证明，Null-TTA 在实现卓越的目标奖励性能的同时，保持了强大的跨奖励泛化能力和感知质量。

实验结果
作者在 Stable Diffusion v1.5 和 SDXL 上评估了 Null-TTA，使用了各种目标奖励（HPSv2、PickScore、Aesthetic Score、ImageReward）以及不可微目标（JPEG 可压缩性）。

奖励优化与泛化： 与基准方法（包括 DNO、DAS、DSearch 和 TDPO）相比，Null-TTA 始终将帕累托前沿（Pareto front）向外推。它在获得更高目标奖励的同时，比竞争对手更少地降低了留存奖励，这表明实现了成功的对齐而未发生过度优化。
定性表现： 在挑战性类别（计数、组合性、空间推理、异常颜色、风格迁移、不可能场景）中，Null-TTA 生成的图像能更忠实地满足提示词约束，同时保持全局连贯性，避免了诸如物体计数错误或关系纠缠等失效模式。
用户研究： 一项由 16 名参与者进行的盲测研究显示，用户明显更偏好 Null-TTA 而非基准方法，证实了奖励的提升转化为了感知质量的提升。
计算效率： Null-TTA 以更低的 GPU 显存占用和相当或更快的墙钟时间（wall-clock time）实现了更强的目标奖励性能。这种效率源于仅通过交叉注意力层进行反向传播（更新嵌入），而非整个 U-Net。
不可微奖励： 该方法成功利用零阶梯度优化了 JPEG 文件大小（一个黑盒目标），在实现具有竞争力的压缩率的同时，比基于梯度的基准方法更好地保留了视觉质量。

意义与主张
本文确立了语义空间优化作为一种有效且具原则性的新型测试时对齐范式。通过利用文本嵌入空间的结构化特性，Null-TTA 提供了内在的正则化，防止了奖励黑客行为并维持了模型的预训练知识。作者声称，这种方法提供了一种简单且强大的替代方案，能够实现扩散模型可靠、高效且具泛化能力的推理时对齐，而无需承担微调的计算成本。