🤖 machine learning

Fixed-Point Masked Generative Modeling

本文介绍了 CoFRe，这是一个用于定点掩码生成模型的框架，它利用跨步一致性损失和三状态复用策略来实现自适应深度去噪，在显著降低文本和图像模态下低采样预算的训练成本和内存使用的同时，提升了生成质量。

原作者： Andrea Miele, Yiming Qin, Alba Carballo-Castro, Justin Deschenaux, Pascal Frossard

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrea Miele, Yiming Qin, Alba Carballo-Castro, Justin Deschenaux, Pascal Frossard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试拼凑一个巨大的拼图，但你开始时，画面完全被迷雾笼罩。你的目标是逐一清除这些迷雾，从而揭示出图像。

在人工智能的世界里，这就是**掩码生成模型（Masked Generative Models）**的工作方式。它们从一系列“模糊”的标记（比如句子中的单词或图像中的像素）开始，通过迭代清除迷雾来创造出新的内容。

然而，目前这种做法就像是雇佣了一个由 12 名不同专家组成的团队，他们在每一步都要观察整个拼图。即使你只需要清除一个小角落，这 12 名专家也必须重新检查整个棋盘。这既缓慢又昂贵，而且如果你没有足够的时间（即“预算”较低），专家们就会感到疲劳并出错。

这篇论文介绍了一种名为 CoFRe（代表一种特定的训练框架）的新方法，它改变了游戏规则。以下是它的工作原理，我们使用简单的类比来解释：

1. “一个变得越来越聪明的专家”（不动点去噪/Fixed-Point Denoising）

旧方法： 想象一场接力赛，有 12 名不同的跑者。为了完成一圈，接力棒要经过所有 12 个人之手。如果你想跑得更快，你就必须雇佣更多的跑者或者让他们跑得更快，而这需要花费更多的钱。

新方法 (FP-MGM)： CoFRe 用一个单一的、超级天才的跑者取代了那 12 名不同的跑者。与其把接力棒交给下一个人，这个跑者会在赛道上反复奔跑，并且每一圈都变得更加出色。

优势： 你不需要雇佣 12 个人，只需要一个。这节省了大量的资金（参数）和显存（VRAM）。
技巧： 如果拼图非常模糊，这位跑者会跑 10 圈。如果迷雾较轻，他们只需跑 2 圈。系统会根据实际情况动态调整其投入的精力，而无需增加额外的人手。

2. “智能热身”（三状态复用/Three-State Reuse）

问题： 当你清除一部分迷雾时，画面会发生变化。如果你试图利用前一步的解决方案来辅助当前步骤，可能会遇到麻烦。

有些部分的画面完全没有变化（已经清晰了）。
有些部分仍然模糊。
有些部分刚刚被清除（是全新的）。

旧的错误： 想象尝试用昨天的天气预报来规划今天的野餐。对于没发生变化的部分，这很管用；但对于刚开始下的新雨，这份预报就毫无用处了。

新的解决方案 (3SR)： CoFRe 就像一位聪明的气象学家，会对三种类型的区域进行区别对待：

清晰区域： “我完全了解这部分；我会直接复制昨天的数据。”（全量复用）。
模糊区域： “这部分还不清晰，但语境发生了一些偏移。我会以昨天的数据作为起点，但会对它进行调整。”（部分复用）。
新清除区域： “这是全新的！昨天的数据在这里毫无用处。我需要立即查看新鲜的证据。”（无复用）。
这防止了 AI 因为将陈旧、过时的数据与新鲜、实时的数据混淆而产生混乱。

3. “一致性教练”（跨步一致性/Cross-Step Consistency）

问题： 当你逐步清除迷雾时，AI 有时会“醉”在自己的预测中。它可能先说：“我觉得这个词是‘猫’”，然后下一步又说：“不，是‘狗’”；接着又说：“其实，是‘汽车一个’”。因为它没有被强制保持一致，所以它会偏离真相。

新的解决方案 (LCONS)： 想象一位教练站在跑者身边。每当跑者迈出一步，教练就会低声提醒：“嘿，记得你两步之前说过的话吗？确保你现在的答案与那个说法相符。”

这迫使 AI 使其当前的猜测与未来的、更清晰的猜测保持一致。
这就像是一个“自我蒸馏”的过程，模型通过这种方式教导自己变得更加稳定和准确，尤其是在处理时间极短（预算极低）的任务时。

结果：更快、更便宜、更好

论文在两个领域测试了该方法：文本写作（OpenWebText）和图像生成（ImageNette）。

对于文本： 他们成功地将“专家”数量（参数）减少了近 39%，并将训练时间缩短了 11%。但真正的奇迹发生在时间紧迫的情况下。在低预算下，他们的模型在编写连贯文本方面的表现比旧标准高出 8 倍。
对于图像： 他们将训练时间缩短了近 50%，内存占用降低了 50%，同时让生成的图像看起来更清晰、更逼真。

我们可以使用现有的模型吗？

可以！论文还表明，你不需要从头开始构建一个新模型。你可以拿一个现有的、已训练好的模型（就像一个已经完成的拼图），并通过一段简短、快速的训练（就像一个 40,000 步的强化课程）将其“转换”成这种高效的新格式。这就像是将一辆标准汽车的引擎更换为更高效的引擎，而无需重建整个底盘。

总结

CoFRe 是一种构建用于生成文本和图像的 AI 的新方法。它不再使用长而昂贵的不同层链条，而是使用一个可重复使用的层，并根据需要多次运行。它利用智能捷径来记住已知信息，并使用一致性教练来防止其产生混乱。其结果是：这种 AI 训练成本更低，占用内存更少，并且在计算能力有限的情况下，能产生更高质量的结果。

技术摘要：定点掩码生成模型 (CoFRe)

问题陈述

掩码生成模型 (MGMs)，如用于文本的 MDLM 和用于图像的 MaskGIT，能够实现并行解码并在多种模态中展现出强大的生成质量。然而，它们面临着显著的效率瓶颈。标准的 MGM 在每个细化步骤中都需要进行完整的序列双向 Transformer 前向传播，这导致了高昂的训练成本（显存和时间）以及在低采样预算（有限的总前向传播次数）下生成质量下降的问题。

现有的效率改进方案分为三类，但均未能完全解决该问题：

采样器改进：改变了 Token 选择策略，但未改变单步去噪器的固定成本。
高效固定深度架构：减少了架构浪费（例如跳过被掩码的 Token），但仍依赖于固定容量的去噪器。
自适应/循环模型：提供了可控的深度，但由于离散掩码生成中存在剧烈的 Token 级状态变化（已显现 Token 与被掩码 Token 之间的差异），破坏了连续扩散模型的假设，导致其难以有效迁移。

核心挑战在于如何在不牺牲生成质量的前提下，降低去噪器的计算成本并实现自适应深度，特别是在标准 MGM 表现挣扎的低预算场景下。

方法论：CoFRe 框架

作者引入了定点掩码生成模型 (FP-MGMs) 以及一个完整的从训练到推理的框架——CoFRe（一致性、定点与复用）。该方法通过一个权重共享的定点模块，取代了标准 MGM 中由不同 Transformer 层组成的中间堆栈。

1. 定点去噪架构

去噪器不再是深层的唯一层堆栈，而是分解为：

预处理堆栈 ( $P_{\theta_P}$ )：用于生成初始隐藏状态的显式层。
定点模块 ( $F_{\theta_F}$ )：一个通过迭代寻找平衡态 $h^*_t = F_{\theta_F}(h^*_t; \tilde{h}_t, t)$ 的共享模块。有效深度由求解器迭代次数 ( $N$ ) 控制，而非参数量。
后处理堆栈 ( $H_{\theta_H}$ )：将平衡态映射到 Logits 的显式层。

这种设计通过权重共享减少了参数量，并允许模型在推理过程中动态调整其有效深度。训练采用随机无雅可比反向传播 (SJFB)，以避免存储完整求解器轨迹的激活值，通过在有/无梯度追踪的情况下展开随机数量次的迭代来近似梯度。

2. 三状态复用 (3SR)

标准的热启动（使用上一步的解作为下一步的初始状态）在 MGM 中效率低下，因为 Token 状态的变化是非均匀的：有些 Token 保持可见，有些保持被掩码，还有些则是新显现的。

机制：求解器初始化 $h^0_t$ 是前一步定点解 ( $h^*_{t+1}$ ) 与当前预层输出 ( $h_{pre,t}$ ) 的加权组合。
Token 级调制：
- 未变化的可见 Token：完全复用之前的解 ( $\gamma = 1$ )。
- 仍被掩码的 Token：部分复用之前的解，且复用系数随去噪过程推进而增加。
- 新显现的 Token：极少依赖之前的解 ( $\gamma = 0.2$ )，更多依赖当前的输入注入。
  该策略承认了新显现的 Token 会经历最大的表示变化，而稳定的 Token 则仅需极少的重新计算。

3. 跨步一致性正则化 ( $L_{CONS}$ )

仅靠定点架构本身可能会导致步骤间的表示漂移，尤其是在低预算情况下。

机制：一致性损失将“更嘈杂”的学生状态 ( $z_{t_s}$ ) 的隐藏表示与源自同一底层序列（使用嵌套掩码）的“更干净”的教师状态 ( $z_{t_c}$ ) 进行对齐。
目标： $L = L_{MGM} + \lambda \|h_s - \text{sg}(h_c)\|^2_2$ ，其中 $h_s$ 和 $h_c$ 是 Logits 前的最终隐藏状态。
效果：这起到了跨时间自蒸馏的作用，使预测更加锐利并稳定了定点求解器，这对于低预算生成至关重要。

4. 预训练模型转换

作者展示了可以将预训练的 MDLM 检查点转换为 FP-MDLM，而无需进行完整的重新训练。通过将特定层映射到预处理/后处理块以及定点模块（由显示深层冗余性的 CKA 分析引导），并应用带有 KL 散度损失的短期教师-学生适配阶段，模型可以实现强大的性能且仅需极少的额外训练。

核心贡献

FP-MGMs：一种全新的架构类别，通过使用共享的定点模块取代不同的 Transformer 层，从而减少参数量并实现自适应深度。
CoFRe 框架：一个结合了定点去噪、三状态复用 (3SR) 和跨步一致性 ( $L_{CONS}$ ) 的完整方案，旨在解决离散掩码生成的特定挑战。
高效适配：一种通过短期蒸馏将现有预训练 MGM 转换为高效 FP-MGM 的方法，避免了从头开始训练的高昂成本。
实证验证：证明了这些组件共同提升了文本和图像模态下的质量-成本权衡。

实验结果

该框架在 OpenWebText (OWT) 语言任务和 ImageNette 图像任务上进行了评估。

语言 (OpenWebText)

效率：与 MDLM 基准相比，CoFRe 将参数量减少了 38.8% (170M $\to$ 104M)，训练时间缩短了 11.5%，显存占用降低了 16.9%。
质量：在 96 个 Transformer 块前向传播的低采样预算下，CoFRe 将生成困惑度 (Gen. PPL) 从 830.8 (MDLM) 提升至 101.8。即使与带有时间自蒸馏 (SDTT) 的 MDLM 相比，CoFRe 在相同预算下也实现了显著更低的困惑度 (101.8 vs 193.1)。
消融实验： $L_{CONS}$ 被确定为低预算质量提升的主要驱动力，而 3SR 通过优化求解器初始化提供了额外的改进。

图像 (ImageNette)

效率：与 MaskGIT-Large 相比，CoFRe 将训练时间减少了 48.6%，并将显存占用降低了 50.7%。
质量：CoFRe 在所有测试预算下都改善了 Fréchet Inception Distance (FID)。例如，在预算为 48 时，FID 从 174.1 (MaskGIT-Large) 提升至 96.7 (CoFRe)。

重要性与主张

论文声称 CoFRe 提供了一个实用框架，用于在有限采样预算下实现更廉价的训练和更强的生成。

质量-成本权衡：主要贡献在于移动了掩码生成模型的帕累托前沿，使其能够以显著更少的参数和计算资源实现高质量生成。
模态无关性：该方法在离散文本 Token 和量化图像潜变量上均得到了验证，表明其具有通用性。
实用性：通过短期适配即可转换现有预训练模型的能力，使得该方法无需大规模预训练资源即可使用。
局限性：作者谦虚地指出，目前的结果受限于 OWT 规模和 ImageNette，且定点求解器会增加控制流开销，根据硬件实现的不同，可能无法直接转化为实际运行时间的加速。他们还指出，该方法是为单调掩码解码设计的，对于重新掩码 Token 的采样器可能需要进行调整。

总之，本文认为，通过将去噪器视为一个定点问题，并仔细管理状态的复用与步骤间的一致性，可以使掩码生成模型在不牺牲（甚至提升）生成质量的前提下，实现显著的效率提升。