Seeing What Matters: Visual Preference Policy Optimization for Visual Generation

本文提出了视觉偏好策略优化（ViPO），这是一种将标量奖励转化为像素级结构化优势图的 GRPO 变体，通过利用预训练视觉骨干网络构建时空感知优势图，有效解决了现有方法忽略视觉内容细粒度结构的问题，从而在图像和视频生成任务中显著提升了与人类偏好的对齐度及泛化能力。

要点

这篇论文介绍了一种名为 ViPO（视觉偏好策略优化）的新技术，它能让 AI 生成的图片和视频变得更漂亮、更符合人类的审美。

为了让你轻松理解，我们可以把 AI 生成图片的过程想象成一位正在学画画的“新手画家”，而人类就是挑剔的“艺术评论家”。

1. 以前的问题：只有“总分”，没有“评语”

在 ViPO 出现之前，AI 学习画画的方法（叫 GRPO）是这样的：

• 场景：AI 画了一幅画（比如“一个在窗台上睡觉的猫”）。
• 反馈：评论家（奖励模型）看完后，只给这幅画打一个总分（比如 80 分）。
• 问题：这个分数是笼统的。它告诉 AI“你画得不错”，但没说哪里画得好，哪里画得烂。
  • 也许猫的毛画得很逼真，但窗户的栏杆画歪了，背景还有一团乱麻。
  • 因为只有一个总分，AI 在修改时就像盲人摸象：它不知道是该把精力花在修正栏杆上，还是该把猫画得更蓬松。结果就是，它可能把栏杆修好了，却把猫画歪了；或者为了提升整体分数，把原本画得好的地方也改坏了。

这就好比老师批改作文，只写个“优”或“良”，却不圈出哪个错别字要改，哪个句子写得太啰嗦。学生很难进步。

2. ViPO 的解决方案：给每个像素都发“小纸条”

ViPO 的核心思想是：别只给总分，要告诉 AI 哪里该用力，哪里该休息。

• 新机制：ViPO 给 AI 配备了一位**“视觉结构大师”**（论文里叫 PSM 模块）。
• 工作原理：
  1. 当 AI 画完一幅画，这位“大师”会戴上**“人类视觉眼镜”**（预训练的视觉模型）。
  2. 大师会分析画面，画出一张**“热力图”**（Allocation Map）。
     • 红色区域（高权重）：这是人类最在意的地方！比如猫的脸、眼睛、动态的肢体。这些地方必须画得完美。
     • 蓝色区域（低权重）：这是背景或无关紧要的地方。画得稍微差点也没关系，不用花太多精力去改。
  3. 重新打分：ViPO 不再给整幅画一个总分，而是把那个总分拆解，根据热力图，给画面的每一个像素都分配一个“小任务”。
     • 猫的眼睛：你的任务是“变亮、变清晰”（因为这里权重高）。
     • 背景墙壁：你的任务是“保持现状，别乱动”（因为这里权重低）。

3. 一个生动的比喻：装修房子

想象你在装修房子（生成视频/图片）：

• 旧方法（GRPO）：
  你请了个装修队，完工后，老板只说了一句：“这房子整体打 70 分，再努力点。”
  装修队懵了：是地板没铺好？还是墙纸贴歪了？还是厨房太乱？
  结果他们可能把地板重新铺了一遍（其实地板没问题），却把原本漂亮的墙纸给撕了。这就是**“一刀切”**的优化，容易把好的地方改坏。

• 新方法（ViPO）：
  老板（ViPO）拿着放大镜，指着房子说：

  • “客厅的沙发（核心主体）太旧了，必须换新的，这是重点！”
  • “厨房的角落（背景）有点灰，擦一下就行，不用大动。”
  • “卧室的天花板（无关区域）完全没问题，千万别动它！”

  装修队（AI）现在心里有数了：他们把 90% 的精力都花在沙发和关键细节上，同时小心翼翼地保护那些原本就画得好的地方。

4. 效果如何？

论文通过实验证明，用了 ViPO 的 AI：

• 画得更像真的：细节更丰富，比如猫毛的质感、水的流动感。
• 逻辑更通顺：不会出现“人手里拿着两个头”或者“马少了一条腿”这种奇怪的低级错误。
• 更懂人类：即使面对没见过的提示词（比如让 AI 画一个从未见过的场景），它也能画得更好，因为它学会了“抓重点”。

总结

简单来说，ViPO 就是给 AI 装上了一双“懂审美的眼睛”。它不再盲目地追求整体分数的提升，而是学会了**“好钢用在刀刃上”**——把优化的精力集中在人类最关注的地方，同时保护那些已经画得很好的部分。这让 AI 生成的图片和视频从“大概像样”变成了“精致且和谐”。

技术摘要

论文技术总结：Visual Preference Policy Optimization (ViPO)

1. 研究背景与问题 (Problem)

背景：
强化学习（RL），特别是组相对策略优化（Group Relative Policy Optimization, GRPO），已成为对齐视觉生成模型（如扩散模型、流匹配模型）与人类偏好的有力工具。现有的 GRPO 方法通常通过奖励模型为每个生成的样本（图像或视频）分配一个单一的标量奖励（Scalar Reward）。

核心问题：
现有的 GRPO 流程存在监督粒度粗糙的问题：

1. 忽略时空结构：将图像或视频视为整体实体，忽略了视觉内容丰富的空间（Spatial）和时间（Temporal）结构。
2. 信用分配不均：所有像素共享相同的标量优势（Advantage），导致优化压力均匀分布。这忽视了不同区域对感知质量贡献的差异性（例如，主体与背景的重要性不同）。
3. 负面后果：这种粗粒度的反馈会导致模型无法有效修正局部伪影（Artifacts），甚至可能放大无关或误导性的视觉线索，导致生成结果在语义一致性、细节真实感和感知对齐上表现不佳。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了视觉偏好策略优化（Visual Preference Policy Optimization, ViPO）。ViPO 是一种 GRPO 的变体，旨在将标量反馈提升为结构化的、像素级的优势信号。

核心组件与流程：

1. 感知结构化模块 (Perceptual Structuring Module, PSM)：

   • 作用：利用预训练的视觉骨干网络（如 DINOv2, SAM, ResNet）提取视觉偏好线索，构建感知分配图（Preference Allocation Map, $M$）。
   • 机制：
     • 视觉偏好提取器 (VPE)：从生成图像/视频帧中提取特征嵌入，捕捉空间组织和高层语义。
     • 降维与聚合：通过主成分分析（PCA）等降维操作提取主要特征方向，并利用方差加权聚合策略生成空间感知图 $S$。
     • 输出：生成一个与原始分辨率对齐的分配图 $M$，该图反映了不同区域对感知质量的重要性（即“哪里更重要”）。
   • 特点：无需像素级标注或显式的区域注释，完全基于预训练模型的感知能力。

2. 结构化优势分配 (Structured Advantage Allocation)：

   • 传统 GRPO 计算每个样本的标量优势 $A_i$。
   • ViPO 将标量优势 $A_i$ 与感知分配图 $M$ 结合，生成像素级/区域级的偏好感知优势 $A^p_i$：
     $$A^p_i = M(p) \cdot A_i$$
     其中 $p$ 代表时空位置。
   • 优化目标：将优化压力重新分配到感知上更重要的区域，同时保持标准 GRPO 的稳定性。

3. 策略优化 (Policy Optimization)：

   • 在目标函数中，不再对所有时间步和空间位置使用统一的 $A_i$，而是使用加权后的 $A^p_i$。这使得模型能够针对感知关键区域（如动态物体、精细纹理）进行更精细的梯度更新，而对背景等次要区域保持较小的更新幅度。

3. 主要贡献 (Key Contributions)

1. 提出 ViPO 框架：重新设计了针对视觉内容生成的 GRPO 框架，将优势表示从标量重构为细粒度、区域感知的形式，适用于图像和视频生成。
2. 设计感知结构化模块 (PSM)：开发了一个无需监督的模块，能够从预训练视觉骨干中提取感知相关性线索，实现优势信号的空间重分配。
3. 全面的实验验证：在图像（Flux 模型）和视频（Wan2.1 模型）基准测试中，ViPO 在域内（In-domain）和域外（Out-of-domain）评估中均一致优于原生 GRPO（如 DanceGRPO），显著提升了感知保真度和人类偏好对齐度。

4. 实验结果 (Results)

实验在图像生成（基于 Flux.1-dev）和视频生成（基于 Wan2.1-14B）两个任务上进行。

• 定量结果：
  • 图像生成：ViPO (基于 DINOv2) 在 HPSv2.1（域内）、PickScore 和 ImageReward（域外）指标上均超越了 DanceGRPO 和原始 Flux 模型。例如，HPSv2.1 从 0.3203 提升至 0.3321。
  • 视频生成：ViPO 在视觉质量 (VQ)、运动质量 (MQ) 以及 VBench 的语义、质量和总分上均优于 DanceGRPO 和原始 Wan2.1 模型。
• 定性结果：
  • 图像：ViPO 生成的图像细节更丰富，语义更合理（例如：正确处理人物与物体的交互，避免背景重复或物体位置错误）。
  • 视频：在运动动态和背景渲染上表现更佳，避免了 GRPO 常见的肢体扭曲、重复或结构伪影（如奔跑的马腿断裂问题）。
• 消融实验：
  • 证明了使用感知分配图而非均匀图的重要性。
  • 验证了方差加权聚合优于简单平均。
  • 发现保留 3 个主成分 在各项指标间取得了最佳平衡。
  • 适度的高斯平滑能提升鲁棒性。
• 鲁棒性测试：在“红色奖励”（Redness Reward）实验中，ViPO 在强偏置奖励下仍能保持语义完整性，而 DanceGRPO 导致图像语义崩溃。

5. 意义与影响 (Significance)

• 解决空间信用分配难题：ViPO 首次将强化学习中的信用分配问题从序列级/样本级细化到像素/区域级，解决了视觉生成中“一刀切”优化导致的次优问题。
• 架构无关与轻量化：该方法不依赖特定的生成架构，且完全兼容现有的 GRPO 训练管道，是一个即插即用的模块。
• 提升生成质量：通过模拟人类视觉的“选择性关注”机制，ViPO 能够引导模型在关键区域投入更多优化资源，从而生成更符合人类审美、语义更一致、细节更真实的视觉内容。
• 未来方向：为结构化反馈、区域感知策略学习以及高维生成任务中的感知对齐提供了新的研究范式。

总结：ViPO 通过引入感知结构化模块，将粗粒度的标量奖励转化为细粒度的空间感知优势图，成功解决了现有 GRPO 在视觉生成中忽略时空结构的问题，显著提升了生成内容的感知质量和人类偏好对齐度。