💻 computer science

MAR-GRPO: Stabilized GRPO for AR-diffusion Hybrid Image Generation

该论文针对混合 AR-diffusion 框架中因扩散头引入的梯度噪声导致的训练不稳定问题，提出了一种名为 MAR-GRPO 的强化学习框架，通过多轨迹期望估计、基于不确定性的 Top-k 优化及一致性 Token 选择策略，显著提升了图像生成的视觉质量、训练稳定性及空间结构理解能力。

原作者： Xiaoxiao Ma, Jiachen Lei, Tianfei Ren, Jie Huang, Siming Fu, Aiming Hao, Jiahong Wu, Xiangxiang Chu, Feng Zhao

发布于 2026-04-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaoxiao Ma, Jiachen Lei, Tianfei Ren, Jie Huang, Siming Fu, Aiming Hao, Jiahong Wu, Xiangxiang Chu, Feng Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲的是如何给一种**“混合式”的 AI 绘画模型**（MAR）装上更稳定的“大脑”，让它画得更好、更听话。

为了让你轻松理解，我们可以把 AI 绘画的过程想象成**“一位建筑师（AR 模型）”和一位“装修师傅（扩散头 Diffusion Head）”的合作故事**。

1. 背景：原本的合作模式出了什么问题？

建筑师（AR 模型）： 负责画房子的大轮廓和结构。比如先决定哪里是墙，哪里是窗户，哪里放桌子。它画的是“草稿”。
装修师傅（扩散头）： 负责在草稿的基础上进行精细装修。比如把墙刷白、给窗户加玻璃、给桌子加上木纹。它把粗糙的草稿变成精美的成品图。

原本的问题（GRPO 训练时的崩溃）：
以前，当我们要让 AI 通过“试错”（强化学习）来变强时，我们让建筑师和装修师傅一起接受训练。
这就好比：

建筑师画了个草图。
装修师傅拿着这个草图去装修，但他装修的手法有点随机（比如这次刷墙厚一点，下次薄一点，或者光线角度不一样）。
最后我们给装修好的房子打分。
麻烦来了： 如果分数低，我们不知道是建筑师画错了结构，还是装修师傅这次手抖没刷好。因为装修师傅的“随机性”太大，导致建筑师收到的反馈（梯度）全是噪音，就像在狂风中听指挥，建筑师晕头转向，越改越乱，最后甚至把房子拆了（训练崩溃，多样性丧失）。

2. 解决方案：MAR-GRPO（给合作加上“稳定器”）

这篇论文提出了三个聪明的招数，解决了上述混乱：

第一招：多视角“盲测”平均法（多轨迹期望 MTE）

比喻： 以前，装修师傅只装修一次就给分。现在，我们让装修师傅拿着同一张草图，用不同的随机手法装修5 次（比如 5 个不同的种子）。
作用： 把这 5 次装修的结果放在一起看，取个平均值。
效果： 这样就能过滤掉装修师傅偶尔的“手抖”或“运气不好”。建筑师看到的反馈是：“虽然装修师傅偶尔手抖，但你的草图结构大体是对的/错的”。这大大减少了噪音，让建筑师能听清真正的指令。

第二招：抓大放小，只修“疑难杂症”（Top-k% 不确定性筛选）

比喻： 虽然我们要装修 5 次来取平均，但如果每一块砖都去装修 5 次，太浪费时间了！
智慧： 我们发现，有些区域（比如平整的墙面）装修师傅怎么弄都差不多（确定性高）；但有些区域（比如复杂的雕花、模糊的边界）装修师傅容易出错（不确定性高）。
做法： 我们只给那些最容易出错的区域（Top 30% 的不确定区域）进行"5 次装修取平均”的精细操作，其他简单的地方直接按老办法办。
效果： 既省了算力，又精准地解决了最让人头疼的模糊地带，避免了“过度平滑”（把细节都抹平了）。

第三招：只奖励“真进步”的砖块（一致性感知 token 选择）

比喻： 在装修过程中，有时候装修师傅可能会把原本画好的好墙给拆坏了，或者把原本没问题的地方改乱了。
做法： 我们检查每一步的修改。如果某块砖的修改方向，和最终成品的样子不一致（比如越改越不像），我们就忽略这一步的反馈，不把它算进奖励里。
效果： 防止 AI 为了刷高分而“走捷径”或“乱改”，确保它每一步都在向正确的方向前进。

3. 最终成果：稳如泰山，画得更好

通过这套组合拳（MAR-GRPO）：

训练更稳： 就像给建筑师戴上了降噪耳机，只让他听装修师傅取平均后的“真话”，不再被随机噪音干扰。
画得更好： 生成的图片结构更清晰（桌子不会长腿），细节更丰富（咖啡杯的纹理更真），而且不会像以前那样画着画着就“崩坏”了。
效率高： 因为只针对最难的部分进行复杂计算，所以并没有增加太多额外的负担。

总结

简单来说，这篇论文就是发现**“装修师傅的随机性”会干扰“建筑师”的学习**，于是发明了一套**“多试几次取平均 + 只修难点 + 剔除乱改”**的机制，让 AI 绘画模型在自我进化的过程中，既能保持结构的稳定，又能提升画面的细节，最终画出更令人满意的图片。

论文技术总结：MAR-GRPO

1. 研究背景与核心问题 (Problem)

背景：自回归（AR）模型与扩散模型（Diffusion）的混合架构（如 MAR, Masked Autoregressive）在图像生成领域展现出巨大潜力。AR 模型负责生成连续的潜在特征（Latents），而轻量级的扩散头（Diffusion Head）负责将这些特征解码为高质量图像，从而避免了离散 Tokenizer 带来的量化瓶颈。
核心问题：将强化学习（RL），特别是 GRPO (Group Relative Policy Optimization) 应用于这种混合架构时，面临严重的训练不稳定和性能过早饱和问题。
- 梯度噪声大：扩散头的随机去噪过程引入了巨大的梯度方差。在 RL 的 rollout 阶段，相同的 AR 潜在特征可能因扩散噪声的不同而产生差异巨大的输出和奖励信号，导致策略梯度估计不准确。
- 优化动态不匹配：AR 主干网络（大参数）与扩散头（小参数）在联合端到端优化时，扩散头的更新会不断改变 AR 到图像的映射关系，导致奖励信号非平稳（Non-stationary），使得 AR 模型难以正确分配信用（Credit Assignment）。
- 现象：直接应用标准 GRPO 会导致结构不稳定、细节噪声大、多样性崩溃（Diversity Collapse）以及训练后期奖励下降。

2. 方法论 (Methodology)

作者提出了 MAR-GRPO，一种专为 AR-扩散混合范式设计的稳定化 RL 框架。其核心思想是通过多轨迹期望（Multi-Trajectory Expectation, MTE）和一致性感知 Token 选择来抑制扩散带来的噪声。

关键组件：

固定扩散头 (Fixed Diffusion Head)：
- 分析发现，扩散头的参数更新是训练不稳定的主要来源。
- 策略：在 RL 训练过程中冻结扩散头，仅优化 AR 主干网络。这消除了因扩散头变化导致的非平稳奖励信号，为 AR 模型提供了稳定的优化目标。
多轨迹期望 (Multi-Trajectory Expectation, MTE)：
- 动机：即使冻结了扩散头，扩散过程本身的随机性（Stochasticity）仍会导致梯度方差。
- 策略：在 Rollout 阶段，针对同一个 AR 潜在特征，采样 $S$ 条不同的扩散轨迹（使用不同的随机种子）。
- 计算：不再使用单条轨迹的似然概率，而是计算这 $S$ 条轨迹的期望值来估计策略概率。
- 公式： $\hat{\pi}(X_k | \dots) \approx \mathbb{E}_{\epsilon} [\prod p_\theta(\dots)]$ 。这显著降低了扩散诱导的梯度方差，使优化方向更可靠。
基于不确定性的选择性优化 (Uncertainty-based Selective Optimization)：
- 动机：对所有 Token 都进行多轨迹平均计算效率低，且可能导致过度平滑（Over-smoothing），削弱有效梯度。
- 策略：
  - 计算每个 Token 在 $S$ 条轨迹上的不确定性（方差）。
  - 仅对Top-k% 不确定性最高的 Token 应用多轨迹期望估计。
  - 对于低不确定性（稳定）的 Token，仍使用单轨迹计算。
- 效果：在降低噪声的同时，保留了高信息量区域的梯度锐度，平衡了稳定性与计算效率。
一致性感知 Token 选择 (Consistency-Aware Token Selection)：
- 动机：并非所有 AR 生成的中间 Token 都对最终图像有正向贡献，盲目优化所有 Token 会引入噪声。
- 策略：计算 AR 中间步骤生成的潜在特征与最终完整潜在特征之间的余弦相似度变化。
- 筛选：仅保留那些在优化过程中相似度持续改进（即对最终结果有正向贡献）的 Token 参与损失计算，过滤掉那些导致最终结果退化的 Token。

3. 主要贡献 (Key Contributions)

首个基于 GRPO 的 MAR 框架：首次将 GRPO 成功应用于 Masked Autoregressive 混合模型，并识别出扩散头是混合架构中 RL 优化的关键不稳定源。
多轨迹优化策略：提出了基于多扩散轨迹期望的优化方法，有效降低了扩散随机性带来的梯度方差，实现了更稳定的训练动态。
性能提升：在多个基准测试中，该方法在人类偏好（Human Preference）、提示词遵循（Prompt Following）和空间结构理解（Spatial Structure Understanding）方面均显著优于基线 GRPO 和预 RL 模型。
低开销：得益于扩散头的轻量级特性，该方法引入的额外计算开销微乎其微。

4. 实验结果 (Results)

基准测试：在 HPS (Human Preference Score), ImageReward, PickScore, Aesthetic Score 以及 T2I-CompBench (空间与组合推理) 上进行了评估。
定量表现：
- 相比基线 GRPO（端到端优化），MAR-GRPO 在 HPS 上提升了约 1.78 分 (从 27.57 提升至 29.35)。
- 在空间关系（2d-spat, 3d-spat）和数值计数（Numeracy）任务上，表现显著优于基线，证明了模型在保持视觉质量的同时，增强了对复杂空间关系的理解。
定性表现：
- 结构稳定性：生成的图像结构更清晰，减少了扭曲和混乱。
- 细节质量：纹理和细节更丰富，避免了基线方法中常见的“奖励黑客”（Reward Hacking）导致的图像退化。
- 多样性：避免了多样性崩溃，生成了更多样化的图像。
消融实验：
- 固定扩散头显著提升了训练稳定性。
- 多轨迹期望（MTE）进一步提升了性能，且 Top-30% 的不确定性 Token 选择达到了最佳平衡。
- 一致性 Token 选择进一步微调了细节和结构一致性。

5. 意义与影响 (Significance)

理论价值：深入分析了 AR-扩散混合架构在 RL 训练中的动力学特性，揭示了扩散头随机性对梯度估计的破坏作用，并提出了针对性的数学解决方案（期望估计）。
实践价值：为混合生成模型（Hybrid Generative Models）的强化学习微调提供了一套通用的、低成本的稳定化方案。
未来方向：该工作为 AR-diffusion 混合范式在更复杂场景（如视频生成、3D 生成）中的应用铺平了道路，证明了通过改进优化动态而非单纯增加模型规模来提升性能的有效性。

总结：MAR-GRPO 通过“冻结扩散头”、“多轨迹期望去噪”和“智能 Token 筛选”三大策略，成功解决了混合模型 RL 训练中的不稳定性难题，显著提升了图像生成的质量、结构一致性和提示词遵循能力。