💻 computer science

REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion

REGLUE 是一个统一的潜在扩散框架，它通过在单个 SiT 主干网络中将 VAE 潜在变量与全局及局部压缩的视觉基础模型语义进行纠缠，增强了图像合成能力，从而实现了比现有基准模型更优越的样本质量和更快的收敛速度。

原作者： Giorgos Petsangourakis, Christos Sgouropoulos, Bill Psomas, Theodoros Giannakopoulos, Giorgos Sfikas, Ioannis Kakogeorgiou

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giorgos Petsangourakis, Christos Sgouropoulos, Bill Psomas, Theodoros Giannakopoulos, Giorgos Sfikas, Ioannis Kakogeorgiou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何创作杰作。你不仅仅想让它像素级地复制一张照片；你希望它能理解它画的是“什么”。这就是**潜在扩散模型（Latent Diffusion Models）**的世界，它们是当前 AI 图像生成领域的超级明星。可以将这些模型想象成艺术家，它们从一张布满静态噪声（就像电视雪花一样）的画布开始，然后一步步、循序渐进地清理，直到一幅清晰的图像浮现出来。通常，它们通过尝试重建它们以前见过的图像来学习。但这里有一个难点：这种“重建”方法就像是通过只给厨师看成品来教他们做菜。厨师最终能学会味道，但要弄清楚食谱需要很长时间，而且早期的尝试可能会看起来有些模糊混乱。

为了加快速度，科学家们开始引入“专家顾问”——预训练的视觉基础模型（Vision Foundation Models, VFMs）。这些就像是超级聪明的艺术评论家，他们研究过数百万幅画作，能够瞬间告诉你一张图片里有一只狗、一棵树，或者某种特定的情绪。计算机科学领域的关键问题在于：我们如何让我们的绘画机器人听取专家的意见，而不至于感到困惑？一些研究人员尝试直接向机器人展示专家的最终结论，而另一些人则尝试向机器人输入专家对画布上每个微小区域的详细笔记。你即将阅读的这篇论文探讨了两者之间混乱的中间地带，探讨如何最好地将机器人的绘画技巧与专家细致到“逐块（patch-by-patch）”的建议结合起来。

问题所在：机器人太慢，而专家太啰嗦

认识一下 REGLUE（具有全局-局部统一编码的表示纠缠）。在 REGLUE 出现之前，AI 艺术家有两种使用这些专家顾问的方式。一种方式是仅仅听取专家的“大局观”总结（比如说“这是一只猫”）。另一种方式是尝试听取专家对图像中每一个微小方块的笔记（比如“这个像素是毛发，那个像素是眼睛”）。

问题在于？“大局观”总结过于笼统，无法帮助处理精细细节；而“微小方块”的笔记往往过于杂乱且庞大，无法塞进机器人的大脑。以往简化这些笔记的尝试就像是试图用一个基础的翻译器将一部高清电影压缩成一条短信（线性压缩）；你会丢失其中的细微差别，并让机器人感到困惑。

REGLUE 的解决方案：一个聪明的翻译器和一个团队集会

论文作者提出了一种新的运行艺术课的方式。他们引入了一个轻量级的语义压缩器。想象一下，这是一个位于专家和机器人之间的超级聪明、微小的翻译器。它不再只是总结整张图像或倾倒原始笔记，而是将专家复杂的多层观察结果浓缩成一份紧凑、有组织的“速查表”，供机器人实际使用。

以下是 REGLUE 在实践中的工作原理：

团队集会（The Team Huddle）： 机器人不仅仅是单独观察自己的草图（图像潜变量）或专家的笔记。REGLUE 强迫它们“手拉手”。它获取机器人的草图、专家的“大局观”总结（全局 Token）以及专家的详细“块级（patch-level）”笔记（局部语义），并将它们全部混合成一个单一的信息流。
非线性魔法： 核心创新在于，这个翻译器（压缩器）不仅仅使用简单的数学方法来缩小数据。它使用一种非线性的方法，这就像是一个知道如何完美融合食材而非仅仅是切碎食材的厨师。这种方法保留了专家知识中丰富、复杂的细节，同时使其体积足够小以便于传输。
双重检查： 为了确保机器人真的在倾听，系统还添加了一个“作业检查”（外部对齐损失）。在训练过程中的某些点，机器人必须证明它理解了专家的笔记，即通过将其内部想法与专家的原始想法进行匹配。

他们的发现：速度与清晰度

研究人员在 ImageNet（一个包含 256×256 图像的海量集合）上测试了这种新方法，使用的是名为 SiT-B/2 的模型。结果令人印象深刻。

学习更快： 经过 REGLUE 训练的机器人学习速度比其他模型快得多。在仅 300,000 步的训练中，REGLUE 就达到了 14.5 的质量得分（FID）。要超越这个得分，之前的最佳方法（REG）需要 400,000 步。在 400,000 步时，REGLUE 达到了更好的 12.9，而标准的机器人（SiT-B/2）仍停留在糟糕的 33.0。
秘诀所在： 论文明确排除了“仅仅增加更多数据就能有所帮助”的观点。他们展示了如果使用简单的线性翻译器（例如之前被称为 ReDi 的方法中所使用的），结果是平庸的（FID 为 21.4）。正是非线性压缩释放了力量。如果没有它，机器人会被信息淹没。
局部 vs. 全局： 他们发现“块级（patch-level）”细节是最重要的。一个只听取“大局观（global）”总结的机器人表现很差（FID 25.7）。但当机器人获得详细的块级笔记时，性能大幅提升。
完美的组合： 最好的结果来自于结合一切：详细的局部笔记、大局观总结以及作业检查。使用强大的专家模型 DINOv3-B，REGLUE 达到了惊人的 12.3 FID，而使用标准的 DINOv2-B，它达到了 12.9。

为什么这很重要

论文指出，AI 艺术的未来不仅仅在于制造更大的机器人或喂给它们更多的数据。而是在于我们如何将机器人与其已有的知识连接起来。通过使用智能的非线性翻译器来组织专家的建议，并强迫机器人同时从宏观大局和微观细节中学习，REGLUE 创造出了更清晰、更连贯且学习速度更快的图像。

作者谨慎地指出，这并非魔法；这是一个特定的工程选择。他们证明了如果缺乏正确的压缩，仅仅堆叠更多特征实际上会让情况变得更糟。但通过他们的“纠缠（entanglement）”策略，他们成功地挤出了图像质量和训练速度上的显著提升，这表明我们如何在这些 AI 大脑内部构建信息，与大脑本身一样重要。

技术摘要：通过全局与局部语义实现纠缠扩散的 REGLUE

问题陈述

潜在扩散模型（LDMs）通过将生成范式转移到紧凑的 VAE 潜在空间，确立了在图像合成领域的先进性能。然而，训练这些模型面临着一个根本性的挑战：标准的重建式去噪目标仅能提供间接的语义监督。因此，高层语义（物体、布局、关系）在训练过程中显现得较为缓慢，限制了样本质量和收敛速度。

近期试图通过注入视觉基础模型（VFMs）语义来解决此问题的尝试效果并不理想。现有的方法要么仅依赖于外部表示对齐（将特征作为外部教师进行蒸馏），要么在扩散过程中建模语义信号，但将其限制在 VFM 特征的狭窄切片中。具体而言：

REG 仅对单一的图像级全局 Token（[CLS]）进行建模，缺乏空间粒度。
ReDi 虽然对补丁级（局部）特征进行建模，但依赖于线性 PCA 投影，这将其表示限制在低维线性子空间内，丢弃了丰富的非线性及多层空间信息。

作者认为，有效利用 VFM 特征需要通过紧凑的、学习到的表示，在扩散模型内部对空间语义进行联合建模，同时保留其非线性、多层的信息特性。

方法论：REGLUE

本文介绍了 REGLUE（通过全局-局部统一编码实现表示纠缠），这是一个统一的潜在扩散框架，它在单个 SiT（可扩展插值 Transformer）骨干网络中联合建模三种模态：

VAE 图像潜在变量： 标准的面向重建优化的潜在空间。
局部（补丁级）语义： 压缩后的、具有空间结构的 VFM 特征。
全局（图像级）语义： VFM 的 [CLS] Token。

核心组件

1. 轻量化语义压缩器
为了解决高维 VFM 特征（ $D_f \gg D_z$ ）与 VAE 潜在变量之间的维度不匹配问题，REGLUE 采用了轻量化的非线性卷积语义压缩器（ $E_\psi$ ）。

架构： 一个预先离线训练用于重建多层 VFM 特征的浅层卷积自编码器。
功能： 它聚合多层补丁级特征（通过通道维度的拼接），并将它们映射为一种紧凑的、具有空间结构的表示（ $s^*$ ），该表示的维度显著降低（ $D_s \ll \sum D_\ell$ ）。
优势： 与线性 PCA 不同，这种非线性压缩在保留本质语义信息的同时，重新平衡了扩散模型的容量，防止语义模态主导 VAE 潜在变量。

2. 统一扩散建模
SiT 骨干网络联合建模 VAE 潜在变量（ $z_t$ ）、压缩后的局部语义（ $s_t$ ）以及全局 Token（ $cls_t$ ）。

前向过程： 使用共享的时间表（schedule）向所有三种模态注入独立的噪声。
Token 化： VAE 潜在变量和压缩后的语义被补丁化并投影到统一的 Token 维度。它们通过通道维度的合并来维持单个 $N$ 个 Token 的网格，从而避免了拼接序列带来的二次方开销。全局 Token 则保持为一个独立的 Token。
目标： 模型使用多模态速度损失（velocity loss）进行训练，同时预测三种模态的速度。

3. 外部表示对齐
作为辅助信号，REGLUE 结合了受 REPA 启发的特征对齐损失。在选定的 Transformer 块处，隐藏的 Token 会通过余弦相似度损失被投影以匹配冻结的 VFM 目标（包括全局和局部目标）。这使内部表示向教师 VFM 进行正则化，而无需扩散模型直接生成原始的 VFＭ特征。

主要贡献

统一框架： REGLUE 是首个在单个扩散骨干网络中，将图像级（全局）和补丁级（局部）VFM 语义与 VAE 潜在变量进行联合建模的框架。
非线性语义压缩： 提出了一种轻量化的非线性语义压缩器，能够将多层 VFM 特征聚合为紧凑且保留语义的表示。这使得通过补丁级联合建模获得显著收益成为可能，并超越了线性投影方法。
协同设计： 本文证明了补丁级语义、全局 Token 和外部对齐具有协同作用。主要的性能提升源于对压缩补丁特征的空间联合建模，而全局 Token 和对齐则作为补充增强手段。
高效性： 该方法在不增加扩散模型参数量或推理时计算量的情况下，提高了生成性能并加速了收敛（吞吐量与基准模型相当）。

实验结果

实验在 ImageNet 256×256 生成基准测试上使用 SiT-B/2 和 SiT-XL/2 骨干网络进行。

性能提升：

FID 降低： REGLUE 始终优于基准模型。在 SiT-B/2 达到 400K 步时，REGLUE 的 FID 为 12.9，而 vanilla SiT 为 33.0，REPA 为 24.4，ReDi 为 21.4，REG 为 15.2。
收敛速度： REGLUE 使用不到 ReDi 和 REG 分别 30% 和 80% 的训练迭代次数，即可达到其 1M 步时的性能。例如，SiT-XL/2 + REGLUE 在 1M 步时达到 2.5 的 FID，优于 REG (2.7) 和 ReDi (5.1)。
无条件生成： 在无条件设置下，REGLUE 在 SiT-B/2 上实现了 28.7 的 FID，超过了有条件基准 (33.0) 及其他 SOTA 方法。

消融研究洞察：

局部 vs. 全局： 补丁级（局部）语义至关重要；仅对它们进行建模比仅对全局 Token 进行建模带来的收益更大。
压缩方式： 非线性压缩是必不可少的。线性 PCA（如 ReDi 中所用）效果欠佳（在没有对齐的情况下，线性 PCA 的 FID 为 21.4，而非线性压缩为 14.3）。
层聚合： 在压缩前聚合 VFM 的最后四层（9–12 层）能提供最佳信号，而包含浅层则会降低性能。
可扩散性： 频率分析（DCT）表明，非线性压缩器抑制了扩散模型难以建模的高频成分，从而产生了一种“对扩散友好”的表示，同时保留了语义准确性。

意义与主张

本文声称，REGLUE 通过有效地“纠缠”重建优化与语义优化的表示，代表了潜在扩散领域的一次重大进展。作者断言，利用 VFM 的关键设计选择不仅是进行外部特征对齐或建模单一 Token，而是通过非线性、紧凑的表示在扩散过程中联合建模空间语义。

这项工作证明了：

空间 VFM 语义对于捕捉细粒度结构至关重要。
非线性压缩是解锁这些丰富、多层特征完整收益的关键机制。
全局 Token 和外部对齐作为补充性的轻量级增强手段，进一步精炼了生成过程。

通过以更少的训练迭代次数和不增加推理成本的方式实现更高的生成质量，REGLUE 为更高质量的图像合成提供了一条可扩展且高效的路径。代码已公开，以促进在联合图像-特征合成方面的进一步研究。