技术摘要：用于语义融合的文本嵌入 Token 对 Token 对齐

问题陈述

现代文本生成图像模型依赖于文本 Token 序列来定义语义调节。尽管这些序列具有表达力，但其 Token 序列的空间缺乏一致且可访问的结构。语义相似的图像可能对应着在措辞、顺序和概念布局上存在显著差异的 Token 序列；而相似的 Token 序列也可能编码迥异的语义。这种结构性失配导致标准线性插值在提示词嵌入之间会产生不连贯、纠缠的中间状态。因此，需要平滑语义过渡的应用场景——如连续图像编辑、语义融合和概念合成——受到了阻碍，因为插值混合了无关属性，而非遵循有意义的语义轨迹。

作者认为，这一局限性并非源于嵌入空间中缺乏语义结构，而是源于表示之间的失配。对应的概念在不同提示词中的表示并不一致，从而阻碍了生成模型遍历连续的语义流形。

方法论：Token 对 Token (T2T) 对齐

所提出的 Token 对 Token (T2T) 对齐 框架建立了不同提示词之间 Token 的显式语义对应关系。该方法将非结构化提示词转化为结构化表示，使语义对应的概念映射到一致的位置，从而实现有意义的线性插值。该过程由两个主要阶段组成，随后进行插值：

1. 概念级结构对齐

第一阶段通过使用大语言模型 (LLM) 将输入提示词 ($p_A, p_B$) 转换为共享的结构化表示，以解决语言多样性问题。

• 过程： 指示 LLM 在显式结构约束下，共同构建一对对齐的场景描述 ($J_A, J_B$)。
• 模式： 描述被格式化为具有固定语义字段（例如：物体、属性、光照）和一致顺序的 JSON 字符串。
• 目标： 对应元素在每个字段内使用对齐的文本表述进行表达。这在文本层面建立了粗粒度的对应关系，确保语义差异被捕捉为共享上下文内的局部替换，而非独立的重新表述。

2. 嵌入级对齐

第二阶段解决了文本编码器空间中的差异问题，因为仅靠结构对齐无法保证 Token 级的对应关系（例如：由于分词差异，语义相似的词可能具有不同的 Token 数量）。

• 相似度计算： 计算两个对齐序列的 Token 嵌入之间的成对余弦相似度矩阵 $S$。
• 约束与偏差：
  • 字段掩码 (Field Masking)： 匹配被限制在对应语义字段内的 Token，以尊重场景分解。
  • 局部性偏差 (Locality Bias)： 在字段内的相对 Token 位置上应用高斯偏差，假设在结构对齐后，对应的 Token 会出现在相似的相对位置。
  • 温度缩放 (Temperature Scaling)： 使用温度参数 ($\tau$) 来精细化相似度得分。
• 投影： 通过温度缩放的 Softmax 归一化导出软对齐矩阵 $A$。该矩阵将源嵌入的语义内容投影到目标 Token 结构上，生成长度相等且建立起 Token 级对应关系的对齐嵌入序列 ($E_A, E_B$)。

3. 在对齐空间中进行插值

一旦嵌入完成对齐，即可在对应的 Token 之间进行简单的线性插值：
$$E_\alpha = \{(1 - \alpha)e^A_j + \alpha e^B_j\}_{j=1}^m, \quad \alpha \in [0, 1]$$
这些插值后的嵌入作为生成模型（如 Flux2 或 FIBO）的调节条件。对于基于图像的任务（编辑和融合），模型受插值后的文本嵌入以及输入图像（或图像组）的调节。在连续融合中，注意力权重通过 $\alpha$ 进行调制（使用二次方缩放）以平衡输入图像的贡献，在保持端点保真度的同时允许语义演化。

核心贡献

1. Token 对 Token 对齐框架： 一种两阶段方法（结构级和嵌入级），强制执行任意提示词之间 Token 的显式语义对应，将文本嵌入空间转化为线性可插值的流形。
2. 统一控制机制： 证明了通过组织现有的表示而非修改生成模型架构或训练新的控制参数，即可实现对文本生成图像模型的语义控制。
3. 应用多样性： 该框架支持连续合成（改变属性）、连续编辑（基于指令修改图像）和连续融合（在两幅图像之间进行变形），且无需针对特定任务进行训练。

结果与评估

作者针对最先进的基准方法，从定性和定量指标方面对该方法进行了评估。

• 定性表现：
  • 连续编辑： 与 Kontinent Kontext、SliderEdit 和 GRAG 等方法相比，T2T 能产生平滑的过渡及连贯的中间状态。基准方法通常依赖于基于外观的插值，或引入突发的语义变化。
  • 连续融合： 与 DiffMorpher、FreeMorph 和 VibeSpace 相比，T2T 避免了伪影（ghosting）和结构不连续。虽然像素/潜空间方法在几何变化方面存在困难，但 T2T 通过在对齐的文本空间中进行插值，保持了结构的一致性。
• 定量表现：
  • 融合 (Morph4Data & BlendBench)： T2T 实现了极具竞争力的平滑度 (PPL)，同时在视觉质量 (MUSIQ) 和分布对齐 (FID) 方面显著优于基准方法。它表现出比 VibeSpace 更好的输入图像遵循度，以及比基于形态变换的方法更少的伪影。
  • 编辑 (PIE-Bench)： 与基准方法相比，T2T 实现了强大的语义对齐 (Norm CLIP-Dir) 并提升了连续性，在平滑度与忠实遵循预期编辑方向之间取得了平衡。
• 用户研究： 在涉及 20 名参与者的成对比较中，T2T 在视觉质量、语义平滑度和编辑/融合任务的整体偏好方面均获得了更高的胜率。
• 消融实验： 实验证实了结构对齐和嵌入级对齐是互补的。直接插值会失败；仅进行文本级对齐缺乏细粒度细节；仅进行嵌入对齐在没有结构约束时是不稳定的。完整的方法能产生最连贯的结果。

意义与主张

本文指出，在生成模型中执行平滑语义转换的能力，从根本上是一个表示问题，而非操作问题。文本嵌入空间已经隐式地编码了一个连续的语义结构，但由于失配，在标准的提示词表述下，该结构是纠缠且难以访问的。

通过强制执行 Token 级的对应关系，作者声称有效地“线性化”了这个空间，将插值从一种不可靠的启发式方法转变为一种原则性的操作。在这种视角下，生成模型在很大程度上扮演着对在对齐语义空间中定义的轨迹进行渲染的被动角色。其意义在于证明，通过组织现有的表示，可以实现复杂的语义控制，而无需修改模型、进行微调或引入显式的控制参数。

作者承认了局限性，指出该方法依赖于初始结构对齐的质量，且线性插值可能无法捕捉高度非线性的语义变换。他们建议未来的工作可以侧重于提高对齐的鲁棒性，并将该公式扩展到视频生成等具有时间相干性的场景中。