💻 computer science

Intermediate Text Representation Guided Text-to-Image Generation for Enhancing One-and-Only Alignment

本文针对文本生成图像扩散模型无法忠实渲染“唯一”对象的失败问题，提出了一种中间文本表示引导的方法，通过注入早期层编码器状态来恢复被抑制的概念信息，在无需额外训练的情况下实现了显著的对齐改进。

原作者： Soyoun Won, Aryan Yazdan Parast, Basim Azam, Jean Honorio, Naveed Akhtar

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Soyoun Won, Aryan Yazdan Parast, Basim Azam, Jean Honorio, Naveed Akhtar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题所在：“固执的艺术家”

想象你有一位非常有才华的艺术家，他们一生都在画同样的几个主题。他们深知地球是蓝绿色的，蒙娜丽莎是画布上的油画，而土星拥有光环。这些事实已深深烙印在他们的记忆中，成为了他们的“默认设置”。

现在，你要求这位艺术家画一个紫色的地球或者一个编织材质的蒙娜丽莎。尽管你给出了清晰的指令，但艺术家却无视了你。他们说：“不，我知道地球长什么样，”然后依然画了一个蓝色的地球。他们过于专注于自己的“学习习惯”，以至于听不见你的新想法。

在 AI 世界中，这被称为概念关联偏差（Concept Association Bias）。AI 模型（如 Stable Diffusion）生成逼真图像的能力太强了，以至于它们拒绝打破自己的规则，即使你明确要求它们做出改变。这在处理“独一无二（One-and-Only）”的对象时尤其困难——即那些只存在于一种著名形式中的事物，比如埃菲尔铁塔或太阳。

发现过程：“丢失的草稿”

研究人员发现了这种现象背后的原因。当 AI 读取你的文本提示词（Prompt）时，它会通过一系列层进行处理，就像一条工厂流水线。

早期层（草稿）： 在开始阶段，AI 会读取单词并理解具体的细节。它知道“紫色”、“编织”和“八角形”。
最终层（总结）： 当文本到达处理线的末端时，AI 会将所有内容总结为一个高层级的、宏观的“氛围（Vibe）”。在这个总结中，具体的细节（如“紫色”）会被平滑处理并丢失。AI 只记住了大轮廓：“这是一个地球。”

研究人员发现，文本处理器的中间层仍然保留着那些被最终总结丢弃的具体细节。这就像 AI 写了一份详细的草稿，但在开始最后的绘画之前，就把这份草稿扔进了垃圾桶，只留下了一张写着“画个地球”的模糊便条。

解决方案：“IR 引导扩散”

团队想出了一个聪明的办法来修复这个问题，而无需重新训练 AI 或教它新知识。他们称之为中间文本表示（Intermediate Text Representation, IR）引导。

把 AI 的绘画过程想象成一位雕塑家在用粘土创作：

早期步骤（结构）： 雕塑家首先勾勒出雕像的大致轮廓。
后期步骤（细节）： 然后，雕塑家再添加精细的细节，比如皮肤的纹理或衣服的褶皱。

研究人员意识到，如果他们想让 AI 画一个“紫色的地球”，他们需要在 AI 勾勒大致轮廓时，就提醒 AI 注意“紫色”这个词。

他们是如何做的：

他们提取出那个仍然记得“紫色”这个词的“丢失的草稿”（中间文本表示）。
在图像创建的早期阶段，将它重新混合进 AI 遵循的指令中。
一旦大致轮廓设定完成，他们就停止混合草稿，让 AI 使用正常的指令来完成细节部分。

这就像是在雕塑家塑造粘土的过程中，对着他耳语一句提醒：“嘿，别忘了，这应该是紫色的！” 一旦形状定型，提醒就会停止，以便雕塑家能专注于让作品看起来更真实。

结果：打破规则

研究人员通过他们创建的一个新挑战集 OAO-AttackBench 对此进行了测试，这个挑战集包含了一些不可能完成的请求，例如“正方形的地球”或“玻璃材质的土星”。

之前： AI 会忽略请求，画出一个正常的、圆形的、岩石质地的地球。
之后： AI 成功画出了正方形的地球和玻璃材质的土星，同时仍能让人一眼认出它们是地球和土星。

他们发现这种方法：

找回了丢失的细节： 它迫使 AI 听从那些它通常会忽略的特定属性。
不会破坏图像： 图像依然保持高质量且逼真；它们只是更好地遵循了那些奇特的指令。
无需额外训练： 它能立即与现有的 AI 模型配合使用，就像插上了一个新的配件。

总结

论文表明，AI 模型有时会因为过于专注于已知的事物而“忘记”特定的指令。通过窥探 AI 的“中间想法”（中间文本层），并将这些想法反馈到图像创建的早期阶段，研究人员可以诱导 AI 遵循不寻称的指令——比如画一个编织材质的蒙娜丽莎或一颗紫色的星球——而无需教给 AI 任何新知识。

技术摘要：通过中间文本表示引导的文本生成图像技术，增强“唯一性概念”（One-and-Only）对齐

1. 问题陈述

文本生成图像（T2I）扩散模型经常无法忠实地渲染显式的文本描述，特别是当这些描述与模型已学习到的强视觉先验相冲突时。这种现象被称为概念关联偏差（concept association bias）。这种偏差在**唯一性概念（One-and-Only, OAO）**实体上最为严重——即那些存在单一标准形式的对象（例如：地球、蒙娜丽莎、埃菲尔铁塔）。对于这些实体，模型根深蒂固的视觉身份往往会覆盖显式的文本指令（例如：无法生成“灰色的地球”或“编织纹理的蒙娜丽莎”）。

作者假设这种失败源于文本编码器的信息论特性。虽然简单的概念在编码器的早期层中就会显现，但最终用于调节（conditioning）的最终文本嵌入（final text embedding）通过过度抽象丢弃了特定的概念级信息。因此，输入文本与最终嵌入之间的互信息低于中间隐藏状态的互信息，导致在去噪过程中特定属性被抑制。

2. 方法论：IR 引导的扩散

本文提出了中间文本表示（Intermediate Text Representation, IR）引导的扩散，这是一种无需训练、无需优化的训练无关（training-free）方法，通过将文本编码器的中间隐藏状态注入到调节信号中来恢复被抑制的概念。

2.1 理论基础

利用信息论视角，作者将概念遗失问题进行了形式化。他们证明了对于描述对象 $A$ 具有属性 $b$ 的文本提示 $Y$ ，一旦考虑了 $A$ ，生成的潜在变量 $x_t$ 通常包含关于 $b$ 的极少信息（ $I(b; x_t | A) \approx 0$ ）。
通过将文本编码器分析为马尔可夫链 $Y \rightarrow c_h \rightarrow c_f$ （其中 $c_h$ 是中间表示， $c_f$ 是最终嵌入），作者应用了数据处理不等式（Data Processing Inequality, DPI）。这证明了输入文本与中间表示之间的互信息大于或等于输入文本与最终嵌入之间的互信息：
$I(Y; c_h) \ge I(Y; c_f)$
作者假设，将去噪过程调节在 $c_h$ （或 $c_h$ 与 $c_f$ 的组合）上，可以保留在 $c_f$ 中丢失的属性特定信息。

2.2 注入机制

该方法通过将中间表示添加到最终嵌入中来构建 IR 引导的嵌入 $\tilde{c}$ ：
$\tilde{c} = c_f + \lambda c_h$
其中 $\lambda \in [0, 1]$ 控制注入强度。为了确保兼容性，中间表示 $c_h$ 会经过文本编码器的最终层归一化（layer normalization），以使其分布与 $c_f$ 对齐。该修改后的嵌入 $\tilde{c}$ 被用于计算得分函数 $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$ 。

该方法同时支持单编码器架构（如 Stable Diffusion 2.1）和多编码器架构（如 Stable Diffusion 3.0），通过提取所有编码器的中间状态，将其拼接，并将结果添加到拼接后的最终嵌入中。

2.3 自适应调度

在整个去噪过程中注入中间表示可能会引入伪影。作者观察到，扩散模型在早期步骤建立全局结构，在后期步骤细化细节。因此，他们采用了一种**自适应调度器（Adaptive Scheduler）**来确定最佳转换点 $t^*$ ：

早期步骤 ( $t > t^*$ )： 模型受 $\tilde{c}$ （中间引导）调节，以建立全局结构并纳入被抑制的属性。
后期步骤 ( $t \le t^*$ )： 模型回归到标准的最终嵌入 $c_f$ ，进行细节细化。

转换点 $t^*$ 通过监测估计的清晰图像 $\hat{x}_{0|t}$ 的结构加速度 $\Delta D_t$ 来动态确定。当结构变化趋于稳定（ $\Delta D_t \le 0$ ）时，调度器停止注入。

3. 核心贡献

信息论分析： 本文指出，最终文本嵌入丢弃了存在于中间层的概念级信息，从而降低了去噪过程可用的互信息。
IR 引导的扩散： 一种新颖的、无需训练的方法，在早期去噪步骤中将中间文本表示注入调节信号。它无需外部模型、预定义概念集或额外的优化，即可恢复被抑制的概念。
OAO-AttackBench： 一个由 504 个反事实提示词组成的全新基准测试，旨在攻击 OAO 实体核心视觉身份的三类范畴：天体、地标和艺术品。该基准系统地评估了概念关联偏差。

4. 实验结果

该方法在四个基准测试上进行了评估：OAO-AttackBench、Whoops（违反常识的提示词）、Gecko(R) 和 Gecko(S)，使用了 Stable Diffusion 2.1 和 3.0。

文本-图像对齐： 与基线相比，IR 引导的扩散在 OAO-AttackBench 上的 VQAScore 提升了高达 19.1 个百分点。它在捕捉细粒度属性方面始终优于基线和其他替代后处理策略（如均值-标准差归一化、正交投影）。
保真度与人类偏好： 该方法保持了生成保真度，其核内蕴距离（KID）得分与基线相当甚至更好。人类偏好得分（HPSv2 和 HPSv2.1）也有所提高，表明生成的图像不仅更忠实于提示词，而且在视觉上也更具合理性。
泛化能力： 在 Gecko 等通用数据集上，该方法保持了与基线相当的性能，证明了它不会降低标准提示词的生成质量。
定性改进： 该方法成功地覆盖了强烈的先验（例如，生成“玻璃材质的土星”或“八角形的地球”），同时保留了物体的身份；而基线方法通常会忽略属性或无法将其与正确物体关联。

5. 重要性与主张

本文声称，IR 引导的扩散解决了当前 T2I 模型的一个根本局限：即在不进行重训练的情况下，无法覆盖深度植入的视觉先验（针对 OAO 实体）。通过利用文本编码器中间状态这一“未开发的内部资源”，该方法提供了一种实用的推理时解决方案，不需要额外的训练或外部模型。

作者强调，其方法不同于以往旨在移除特征或引入多样性的工作；相反，它解决了生成被模型通常抑制的显式指定概念的互补问题。OAO-AttackBench 的引入为评估和解决未来研究中的概念关联偏差提供了严谨的协议。该方法被呈现为一种鲁棒的、自适应的策略，在提高对齐度的同时，保持了最先进扩散模型的高质量生成标准。