💻 computer science

LISA: Likelihood Score Alignment for Visual-condition Controllable Generation

本文介绍了 LISA，这是一种通过将侧边网络特征与近似似然分数进行对齐来提高视觉条件可控生成中训练效率、收敛性和特征解耦能力的正则化方法，且不会增加额外的推理成本。

原作者： Yanghao Wang, Hongxu Chen, Jiazhen Liu, Zhenqi He, Rui Liu, Zhen Wang, Long Chen

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanghao Wang, Hongxu Chen, Jiazhen Liu, Zhenqi He, Rui Liu, Zhen Wang, Long Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一位大师级画家（主网络）如何根据一张特定的草图（视觉条件，例如姿态或深度图）来画画。

目前，实现这一目标的标准方法是**“双分支”法（Dual-Branch method）**。你让这位大师级画家保持“冻结”状态（他们已经掌握了如何绘制美丽的风景、面孔和纹理），然后雇佣一名小巧、快速的助手（侧网络）来观察草图，并向画家低声传递指令。助手会说：“把手臂画在这里，”或者“把背景调暗一点。”

问题所在：
虽然这种方法行之有效，但论文指出，这个助手的做法有点盲目。助手只是在试图猜测该说什么才能让最终的图像看起来正确，但它并没有一个清晰的地图来告诉它究竟应该提供什么样的信息。这就像是要求一名导游给路线指引，却没告诉他：“你的唯一任务是解释路线；司机已经知道如何开车了。”

解决方案：LISＡ（似然得分对齐，Likelihood Score Alignment）
作者提出了一种名为 LISA 的新训练技巧。他们意识到，助手所给出的“耳语”实际上是一个特定的数学概念，叫做**“似然得分”（Likelihood Score）。简单来说，这个得分代表了“如果没有草图，图片会是什么样子”与“有了草图后，图片应该是什么样子”之间的差异**。

以下是 LISA 的工作原理，我们使用一个创意类比：

1. “幽灵”对比

想象大师级画家正坐在一间房间里。

步骤 A： 画家根据自己的想象力画出一幅画（没有草图）。这是“无条件得分”（Unconditional Score）。
步骤 B： 随后，画家看到草图并画出第二个版本。这是“有条件得分”（Conditional Score）。
步骤 C： LISA 取这两幅画之间的差值。这个差值就是**“似然得分”**。它正是草图所创造的精确数学“增量”（delta）或“间隙”。

2. 新的训练规则

LISA 不再只是让助手去瞎猜该说什么，而是给了助手一个训练目标。

助手观察草图。
一个微型、轻量级的解码器（可以把它想象成一个翻译官）将助手的内在想法转化为一个“得分”。
LISA 会检查：“助手的得分是否与‘幽灵对比’（两幅画之间的差异）相匹配？”
如果不匹配，助手就会受到一次温柔的提醒（正则化损失），以调整其思维，直到它能完美理解草图所创造的那个“间隙”。

3. 结果：一位超高效的助手

由于助手现在被明确训练去理解这个特定的“间隙”（即似然得分），两件神奇的事情发生了：

学习更快： 助手学习得更快了，因为它不再是靠猜，而是有一个明确的目标。论文声称，这可以将训练收敛速度提高超过 2.78 倍。
控制力更强： 助手在执行其特定任务时表现得更好。它学会了处理复杂的任务，比如将姿态草图与分割图结合起来，而不会感到混乱。这就像是助手变成了一位专家，准确知道如何将草图转化为绘画指令，而不会弄混颜色。

最棒的部分：零额外成本

通常情况下，增加新的训练规则会让过程变慢或需要更多的计算能力。但 LISA 非常聪明：

在训练期间： 它只增加了极少的工作量（就像在食谱中添加 0.1% 的额外配料）。
在推理阶段（当你实际生成图像时）： “翻译官”和“幽灵对比”都会被丢弃。你只需要使用训练好的助手和大师级画家。最终结果的速度与原始方法完全一致，但图像质量更好。

总结：
LISA 是一种训练技术，它教会了“助手”网络它的职责究竟是什么：计算通用图像与受控图像之间的精确差异。通过给助手这个清晰的数学目标，它学习得更快，生成的图像更好，并且能更轻松地处理复杂的组合条件，而这一切都不会减慢最终的运行速度。

技术摘要：LISA (似然得分对齐)

问题陈述

本文探讨了视觉条件可控生成（visual-condition controllable generation）中的挑战，即模型必须整合视觉模态（如姿态、分割、深度图）来引导图像和视频的合成。主流的方法采用的是双支路范式（dual-branch paradigm），该范式冻结一个预训练的扩散模型或流匹配（flow-matching）模型作为“主网络”，并训练一个单独的“侧边网络”来编码视觉条件。随后，这些侧边特征被融合进主网络中。

尽管取得了成功，作者认为侧边网络的作用及其训练效率仍有待深入探索。现有方法通常依赖外部语义编码器进行正则化（例如表示对齐），这限制了性能上限并增加了复杂度。本文识别的核心问题是：侧边网络在本质上学习提供一种“似然得分”（即条件得分与无条件得分之间的差异），但在训练过程中缺乏针对这一特定角色的显式监督。

方法论：LISA

作者提出了 LISA (Likelyhood Score Alignment，似然得分对齐)，这是一种基于得分生成模型（score-based generative modeling）的正则化方法。

1. 理论分解

论文通过贝叶斯法则重新诠释了双支路范式。条件得分 $\nabla_{x_t} \log p_t(x_t|c)$ 可分解为：

无条件得分 (Unconditional Score)： $\nabla_{x_t} \log p_t(x_t)$ ，由冻结的主网络提供。
似然得分 (Likelihood Score)： $\nabla_{x_t} \log p_t(c|x_t)$ ，代表条件得分与无条件得分之间的差距。

在标准的双支路设置中，侧边网络隐式地学习如何弥补这一差距。LISA 使这一角色变得显式化。

2. 近似似然得分构建

为了对侧边网络进行监督，LISA 构建了一个目标“近似似然得分” ( $\hat{\ell}_t$ )，且无需外部编码器：

无条件目标 (Unconditional Target)： 通过在不注入条件的情况下运行冻结的主网络获得： $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ 。
条件目标 (Conditional Target)： 标准的去噪目标 $\nabla_{x_t} \log p_t(x_t|x_0)$ 作为条件得分的一个可处理的代理（proxy）。
似然目标 (Likelihood Target)： 近似似然得分计算为两者的差值：
$\hat{\ell}_t(c|x_t) = \nabla_{x_t} \log p_t(x_t|x_0) - s_\theta(x_t, t)$

3. 对齐机制

特征提取： 从侧边网络中“钩取”（hooked）出一个特定的中间特征层 $r^k_\phi(x_t, c, t)$ 。
轻量化解码器： 该特征被输入到一个微小的、可训练的解码器 $D_\psi$ 中（其大小约为侧边网络的 0.1%），该解码器将特征投影到潜在得分空间。
正则化损失： 解码器的输出通过 $L_2$ 距离与近似似然得分目标进行对齐。
优化： 总目标函数结合了标准扩散损失 ( $\mathcal{L}_{main}$ ) 和 LISA 正则化损失 ( $\mathcal{L}_{LISA}$ )：
$\mathcal{L}_{total} = \mathcal{L}_{main} + \lambda \mathcal{L}_{LISA}$
推理： 在训练完成后丢弃轻量化解码器。侧边网络的使用方式与原始架构完全一致，不产生额外的推理成本。

核心贡献

新颖视角： 论文通过将主网络和侧边网络的作用分别分解为无条件得分和似然得分，分析了双支路范式。
LISA 框架： 引入了一种有效的正则化技术，通过将侧边网络特征与近似似然得分显式对齐，消除了对外部语义编码器的需求。
高效性与高性能： 该方法在显著降低训练成本的同时，加速了收敛速度并提升了最终的合成质量（包括感知质量和条件保真度）。
解耦性： 这种显式对齐促使侧边网络的特征更加解耦，从而自然地提升了多条件生成的组合控制能力。

实验结果

作者在多种任务、架构（U-Net, DiT）和模型（Diffusion, Flow Matching）上对 LISA 进行了评估：

图像生成任务： 在使用 SDXL-1.0 和 Stable Diffusion 2.1 进行姿态（Pose）、分割（Segmentation）、深度（Depth）以及低分辨率图像生成实验中：
- 收敛性： LISA 持续加速了收敛。例如，在姿态条件生成任务中，相比于 vanilla ControlNet，LISA 在 10K 次迭代时将 PCK（正确关键点百分比）从 19.38% 提升到了 83.02%。
- 效率： LISA 以更少的迭代次数实现了更好的效果（例如，在深度图生成中，仅 4K 次迭代的 LISA 就优于经过 10K 次迭代的 ControlNet）。
- 对比： LISA 的表现优于或等同于依赖外部 DINOv2 编码器的 ControlNet+REPA，且无需外部模型。
视频生成： 应用于姿态引导的视频生成（ControlVideo）。LISA 在 5K 和 30K 次迭代时显著提升了 FVD（Frechet Video Distance）和 PCK。
架构无关性： 该方法推广到了扩散 Transformer (DiT) 和最优传输流匹配 (OT-FM) 模型（如 Stable Diffusion 3）。
组合控制： 当结合独立训练的姿态和分割网络时，LISA 展示了比基线模型更优越的组合生成能力，这表明其学习到的特征具有更好的解耦性。
开销： 该方法在训练期间仅增加了约 0.1% 的参数和每次迭代约 0.2s 的延迟，而在推理阶段零成本。

意义与主张

论文声称 LISA 为双支路范式的训练低效问题提供了一个简单且有效的解决方案。通过显式分解生成过程并将侧边网络与似然得分对齐，LISA 作为一个强大的先验监督，能够：

加速训练： 显著减少达到高质量结果所需的迭代次数。
提升质量： 增强输出的感知质量和对视觉条件的保真度。
简化架构： 移除了以往对齐方法所依赖的外部语义编码器。
实现组合控制： 由于特征解耦性的改善，自然地促进了多种视觉条件的结合。

作者总结道，LISA 是一个可扩展且实用的视觉条件可控生成方法，适用于不同模型架构下的图像及视频任务。