💻 computer science

Coevolving Representations in Joint Image-Feature Diffusion

本文提出了 Coevolving Representation Diffusion (CoReDi) 框架，通过在训练过程中联合学习轻量级线性投影使语义表示空间自适应演化，从而解决了现有联合图像 - 特征扩散模型中固定表示空间的局限性，显著提升了生成模型在 VAE 潜在空间和像素空间下的收敛速度与样本质量。

原作者： Theodoros Kouzelis, Spyros Gidaris, Nikos Komodakis

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Theodoros Kouzelis, Spyros Gidaris, Nikos Komodakis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CoReDi（共演化表示扩散）的新方法，旨在让 AI 画图画得更好、更快。

为了让你轻松理解，我们可以把 AI 画图的整个过程想象成**“一位画家（生成模型）和一位艺术评论家（语义特征）”的协作过程**。

1. 以前的做法：死板的“翻译官”

在 CoReDi 出现之前，AI 画图的流程是这样的：

画家：负责在画布上涂抹像素，决定画面的细节（比如猫耳朵的形状、毛发的纹理）。
评论家：是一个预先训练好的、非常聪明的“艺术专家”（比如 DINOv2 或 MOCOv3）。它能一眼看出画的是“猫”还是“狗”，理解画面的高级概念。
翻译官（固定投影）：为了让画家能听懂评论家的话，中间需要一个“翻译官”。以前的做法是，这个翻译官是固定不变的。比如，无论画家怎么进步，翻译官都只会用一种死板的方式（比如 PCA 降维）把评论家的“高深术语”翻译成画家能懂的“简单指令”。

问题在于：这个死板的翻译官并不懂画家具体需要什么。有时候翻译得太啰嗦，有时候又漏掉了关键信息，导致画家和评论家配合得不够默契，画出来的东西要么像，要么细节不够好，而且训练得很慢。

2. CoReDi 的创新：让“翻译官”和“画家”一起成长

CoReDi 的核心思想是：不要让翻译官固定不变，而是让他和画家一起“共演化”（Coevolve）。

想象一下，我们不再雇佣一个死板的翻译官，而是雇佣了一个**“学徒翻译官”**。

共同学习：在训练过程中，画家（生成模型）和学徒翻译官（可学习的投影层）是手拉手一起训练的。
动态调整：随着画家画技的进步，学徒翻译官也会根据画家的需求，动态调整自己的“翻译风格”。它不再死板地翻译，而是学会：“哦，画家现在需要更强调‘猫耳朵’的轮廓，那我就把这部分信息翻译得更清晰一点。”
结果：经过一段时间的训练，这个翻译官变得非常懂画家，它翻译出的指令完美契合画家的需求，两人配合得天衣无缝，画出的画既像（语义准确）又美（细节丰富）。

3. 遇到的挑战与解决方案：防止“偷懒”和“崩溃”

如果直接让学徒翻译官和画家一起学，会出现两个大问题，论文作者巧妙地用三个“法宝”解决了它们：

挑战一：翻译官“偷懒”（退化）
- 现象：如果翻译官的目标也是可变的，它可能会想：“哎呀，为了降低错误率，我干脆把翻译结果变成全是‘零’或者全是‘一样’的东西吧，这样画家随便画都不会错。”这会导致翻译失去意义。
- 法宝 1：停止梯度（Stop-Gradient）：这就好比给翻译官设了一个“不可修改的参考书”。在计算翻译错误时，我们冻结参考书的内容，不让它被修改。这样，翻译官就不能靠“乱改参考书”来作弊，必须真正学会怎么翻译才能减少错误。
挑战二：翻译官“崩溃”（特征坍塌）
- 现象：有时候翻译官虽然没偷懒，但它变得很“无趣”。比如，它把所有不同的猫都翻译成同一种信号，或者所有通道都输出一样的信息。这就叫“特征坍塌”，就像所有颜色的颜料都混成了灰色。
- 法宝 2：批归一化（Batch Normalization）：这就像给翻译官加了一个“音量控制器”，确保它输出的信号大小适中，不会忽大忽小，保持训练稳定。
- 法宝 3：显式正则化（Explicit Regularization）：这是最关键的“强迫症”疗法。我们给翻译官定下规矩：“你输出的每一个通道（比如红、绿、蓝通道）都必须要有独特的变化，不能大家都一样。”
  - 方差正则化：强迫每个通道都要有“活力”，不能死气沉沉。
  - 正交/协方差正则化：强迫不同通道之间要“分工明确”，不能互相重复说废话。

4. 实际效果：快人一步，画得更好

论文通过实验证明，这种“共演化”的方法非常有效：

速度更快：在同样的训练时间下，CoReDi 画的图质量比旧方法高得多。就像那个学徒翻译官，只用了别人一半的时间，就达到了大师级的配合水平。
画质更优：生成的图片不仅概念对（是猫），而且细节更丰富，空间结构更合理（猫耳朵的位置更准）。
适用范围广：这个方法不仅能在压缩的“潜空间”（Latent Space，一种简化版画布）里用，甚至可以直接在原始的“像素空间”（Pixel Space，真实画布）里用，打破了以往必须依赖压缩技术的限制。

总结

CoReDi 就像是为 AI 画家配备了一位“随队成长的金牌翻译”。

以前的翻译是死板的说明书，现在的翻译是活生生的合作伙伴。通过特殊的训练技巧（停止梯度、归一化、强制多样性），我们防止了翻译官偷懒或变傻，让它能随着画家的进步而不断进化，最终实现了"1+1>2"的效果，让 AI 生成图像的速度和质量都上了一个新台阶。

CoReDi: 联合图像 - 特征扩散中的共演化表示技术总结

这篇论文提出了 CoReDi (Coevolving Representation Diffusion)，一种用于联合图像与语义特征生成的扩散模型框架。其核心创新在于打破了传统方法中语义表示空间固定不变的假设，提出让语义表示空间在训练过程中与生成模型共同演化（Coevolve），从而显著提升图像合成的质量与收敛速度。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

现有方法的局限性：当前的联合图像 - 特征扩散模型（Joint Image-Feature Diffusion）通常利用预训练的视觉编码器（如 DINOv2）提取高层语义特征，并将其与低层 VAE 潜在变量（Latents）或像素结合进行联合建模。
固定表示空间的缺陷：在这些现有方法中，语义特征空间通常是预先定义且固定不变的（例如使用 PCA 降维或轻量级自编码器）。这种表示空间是独立于生成目标构建的，并未针对图像合成任务进行优化。
核心疑问：指导扩散过程的表示空间是否应该保持固定？作者认为，该空间应当适应生成任务，与生成模型共同演化。
直接优化的挑战：如果简单地让投影层与扩散模型联合训练，会导致退化解（Degenerate Solutions），即特征坍缩（Feature Collapse），模型倾向于通过 trivially 修改目标来最小化损失，而非学习有意义的表示。

2. 方法论 (Methodology)

CoReDi 框架通过引入一个可学习的线性投影，使语义表示空间在训练过程中动态调整。为了解决联合优化带来的不稳定性，作者提出了三个关键组件：

2.1 核心架构

可学习投影 ( $g_\phi$ )：替代固定的 PCA 投影，使用一个可训练的线性层将冻结的视觉编码器输出映射到低维空间。该投影参数 $\phi$ 与扩散模型参数 $\theta$ 联合优化。
联合流匹配目标 (Joint Flow Matching)：模型同时预测图像和语义特征的流速（velocity），最小化联合损失函数，包含图像损失和表示损失。

2.2 稳定共演化的三大要素 (Stabilization Ingredients)

为了防止特征坍缩并确保训练稳定，CoReDi 引入了以下机制：

停止梯度 (Stop-Gradient)：
- 在计算表示损失时，对干净的投影目标 $\tilde{z}_0$ 应用停止梯度操作（ $\texttt{sg}(\tilde{z}_0)$ ）。
- 作用：防止模型通过 trivially 修改目标值来降低损失，迫使模型学习如何从噪声中恢复出有意义的特征，同时允许投影层根据生成需求调整。
批归一化 (Batch Normalization, BN)：
- 在可学习投影后应用 BN（使用指数移动平均估计均值和方差），且不包含可学习的仿射参数（scale/shift）。
- 作用：稳定特征尺度，防止扩散模型因输入统计量变化而破坏预定的噪声调度（Noise Schedule），并隐式地防止样本坍缩。
显式正则化 (Explicit Regularization)：
- 即使有 BN 和 Stop-Gradient，特征通道仍可能坍缩（冗余或无变化）。作者提出了三种正则化策略：
  - 特征方差正则化 (Feature Variance)：惩罚通道标准差过低的特征，鼓励每个通道保持活跃和多样性。
  - 正交正则化 (Orthogonality)：约束投影权重矩阵，使其列向量正交，防止特征冗余。
  - 协方差正则化 (Covariance)：最小化通道间的协方差，鼓励特征去相关。
- 实验结论：特征方差正则化效果最佳。

2.3 扩展至像素空间

CoReDi 不仅适用于 VAE 潜在空间，还扩展到了像素空间扩散（基于 DeCo 架构）。
在像素空间中，去除了 VAE 的重建瓶颈，直接联合优化原始像素和共演化的语义特征，进一步提升了生成 fidelity。

3. 主要贡献 (Key Contributions)

提出 CoReDi 框架：首个让语义表示空间与生成模型共同演化的联合扩散框架，使表示空间能自适应地服务于图像合成。
识别并分析稳定训练的关键：系统性地证明了停止梯度、批归一化和显式正则化是防止特征坍缩、实现稳定共演化的三个必要条件。
广泛的实验验证：
- 在 VAE 潜在空间和像素空间均取得了优于固定表示方法（如 ReDi, REPA）的性能。
- 证明了该方法在不同视觉编码器（DINOv2, MOCOv3, SigLIPv2, MAE）下均具有通用性。
空间结构发现：发现共演化的表示在训练过程中会自发形成更强的空间结构（Spatial Structure），这解释了其生成性能提升的原因。

4. 实验结果 (Results)

实验主要在 ImageNet 256x256 上进行：

收敛速度与质量 (Latent Space)：
- CoReDi-XL/2 在 2M 迭代步数下达到了 3.3 FID，与 ReDi-XL/2 在 4M 步数下的最佳结果持平，但训练时间减半。
- 相比 REPA-XL/2 (5.9 FID) 和 SiT-XL/2 (8.3 FID)，CoReDi 显著更优。
- 在 B/2 架构下，CoReDi 在 400K 步数下达到 16.4 FID，远优于 ReDi (21.4) 和 SiT (33.0)。
- 使用 Classifier-Free Guidance (CFG) 时，CoReDi 在 400 个 Epoch 达到 1.58 FID，优于 REPA 和 ReDi（需 800 Epoch）。
像素空间扩散 (Pixel Space)：
- 基于 DeCo-L/16，CoReDi 在 100K 步数时即达到与 DeCo 200K 步数相当的性能（FID 31.5），实现了 2 倍 的收敛加速。
- 在 200K 步数时，FID 进一步降至 21.5。
消融实验：
- 移除 Stop-Gradient 导致 FID 从 24.7 恶化至 50.8。
- 移除 Batch Normalization 导致训练完全崩溃 (FID 223.9)。
- 无正则化导致特征坍缩，性能甚至不如固定 PCA 投影。
空间结构分析：
- 通过 LDS, CDS, RMSC 指标监测，发现 CoReDi 的表示空间随着训练进行，其空间自相似性结构逐渐增强，且优于固定 PCA 投影。

5. 意义与影响 (Significance)

范式转变：CoReDi 挑战了“预训练特征空间应作为固定先验”的传统观念，证明了自适应表示空间能更有效地辅助生成任务。
解决特征坍缩：为联合优化高维语义特征与生成模型提供了一套稳健的解决方案（SG + BN + Regularization），这对自监督学习和生成模型的结合具有普适参考价值。
提升效率与质量：不仅提升了生成样本的质量（FID 更低），还显著加快了模型收敛速度，降低了计算成本。
通用性：该方法不仅适用于 VAE 潜在空间，也成功迁移至像素空间，展示了其在不同生成设置下的强大适应性。

总结：CoReDi 通过让语义表示“活”起来，使其在训练过程中不断进化以适应生成需求，从而在图像合成任务中实现了性能与效率的双重突破。