技术摘要：PreferThinker

问题陈述

个性化图像偏好评估旨在仅使用少量参考图像作为先验信息，来评估个体用户的图像偏好。现有的方法在处理通用偏好（如文本-图像对齐、美学度）方面表现出色，因为它们利用了大规模数据集，但在处理个性化偏好时却面临困难。这一挑战主要源于两个因素：

1. 数据稀缺性与异质性： 与具有共同标准的通用偏好不同，每个用户的个性化数据是有限的、独特的，且难以进行规模化训练。
2. 口味的复杂性： 个体偏好通常是多样化且多维度的（涵盖艺术风格、色彩、媒介等），这使得捕捉个性化口味比捕捉明确的通用人类偏好更为困难。

包括基于 CLIP 的方法和多模态大语言模型（MLLM）在内的现有方法通常无法胜任这一领域，因为它们要么缺乏可解释性（仅输出数值分数），要么无法利用充足的个性化数据进行大规模训练。现有的个性化方法（如 ViPer）虽然隐式地使用了参考图像，但未能充分利用其中包含的先验信息，也无法提供可解释的推理步骤。

方法论

作者提出了 PreferThinker，这是一个基于推理的个性化图像偏好评估系统，遵循**“先预测后评估”的范式。其核心洞察是通过引入共同偏好剖面（Common Preference Profile）**来连接不同的用户，该剖面由共享的视觉元素（如艺术风格、色彩、艺术媒介、饱和度、细节）组成。尽管个体口味各异，但这些底层的视觉元素是通用的，可以在不同用户之间进行学习。

1. 视觉偏好剖面

系统通过用户研究和文本提示词分析，将用户偏好形式化为一个包含五个关键视觉元素的剖面：艺术风格（Art Style）、色彩（Color）、艺术媒介（Art Medium）、饱和度（Saturation）和细节（Detail）。这种基于元素级的剖面能够刻画复杂的个体口味，并作为在大规模用户样本上进行训练的桥梁。

2. 数据集构建 (PreferImg-CoT)

为了实现结构化推理，作者构建了 PreferImg-CoT，这是第一个大规模思维链（CoT）风格的个性化评估数据集。

• 生成： 他们首先创建了 PreferImg，一个包含 80,000 个模拟用户的数据集，每个用户都被分配了独特的偏好剖面。参考图像（偏好图像和非偏好图像）以及候选图像是根据这些剖面利用文本生成图像模型生成的。
• 标注： 使用 Claude 3.7，他们为 60,000 个用户样本生成了高质量的 CoT 风格响应。这些标注包括对用户偏好/非偏好剖面的显式预测，以及对候选图像的多维度、可解释性的评分。

3. 训练策略

PreferThinker 采用两阶段训练策略来掌握结构化推理：

• 阶段 1：冷启动监督微调 (SFT)： 模型（初始化自 Qwen2.5-VL-7B）在 PreferImg-CoT 数据集上进行微调。这一阶段教会模型首先从参考图像中预测用户的视觉偏好剖面，然后利用这些剖面对候选图像生成可解释的多维度评分。
• 阶段 2：基于 GRPO 的强化学习微调 (RFT)： 为了增强泛化能力并探索更合理的评估路径，作者应用了组相对策略优化（GRPO）。这一阶段激励模型在不需要判别器模型的情况下，探索多样化的推理路径。

4. 相似性感知预测奖励

一项关键创新是相似性感知预测奖励（Similarity-Aware Prediction Reward）。作者观察到，准确的剖面预测有助于实现更合理的评估。为此，他们设计了一个奖励函数，通过衡量以下指标来评估预测偏好剖面的准确性：

• 文本相似度： 预测剖面与真实剖面之间的语义相似度（使用 SBERT）。
• 图像相似度： 从预测剖面生成的图像与从真实剖面生成的图像之间的视觉相似度（使用 DreamSim）。
  该奖励与格式正确性和评估准确性奖励相结合，以引导强化学习训练。

核心贡献

1. PreferThinker 系统： 一个基于推理的框架，通过先预测用户偏好剖面，实现了准确的个性化评估和可解释的多维度评分。
2. PreferImg-CoT 数据集： 首个用于个性化评估的大规模 CoT 风格数据集，通过多样化的偏好剖面和高质量的推理进行标注，实现了对结构化推理的显式监督。
3. 训练策略： 一种结合了冷启动 SFT 和基于 GRPO 的强化学习的新颖两阶段方法，并通过相似性感知预测奖励进行增强，以提升剖面预测和评估质量。
4. 实验优越性： 大量实验证明，PreferThinker 在合成基准测试和真实用户基准测试上均优于现有最先进（SOTA）的方法。

实验结果

作者在提出的 PreferImg 基准测试（1,500 个用户，分为已知/未知用户以及单/多偏好组）和真实用户 PickaPic 数据集上对 PreferThinker 进行了评估。

• 准确率： PreferThinker 在所有设置下均取得了最高的准确率。在 PreferImg 的已知单偏好（SP）子集上，它达到了 96.6%，超过之前的 SOTA 方法（ViPer）2.4%，并比基座模型高出 21.2%。
• 泛化能力： 该方法在未知用户上保持了强大的性能（在未知 SP 组上达到 96.4%），展示了鲁棒的泛化能力。
• 真实世界表现： 在 PickaPic 数据集上（其标签反映通用偏好但按用户分组），PreferThinker 在未知方法中排名第二，证实了其尽管存在领域偏移仍具有泛化性。
• 消融实验： 移除 SFT 冷启动或 RL 后训练都会显著降低性能。引入相似性感知预测奖励进一步提升了剖面预测准确性和最终评估准确性。
• 效率： 即使在不进行显式 CoT 生成的情况下（推理模式），PreferThinker 在超越 SOTA 方法的同时，还实现了最快的推理速度（0.80s），优于其他 MLLM。

重要性与主张

论文声称，PreferThinker 代表了第一个成功的、基于推理的个性化图像偏好评估系统，它弥合了有限的个性化数据与复杂个体口味之间的鸿沟。通过引入共同偏好剖面，该方法利用大规模用户数据来训练剖面预测，有效地缓解了数据稀缺问题。该系统不仅提供了准确的评估，还提供了基于用户参考图像的可解释、多维度评分，解决了以往奖励模型的“黑盒”局限性。此外，预测的剖面被证明对个性化图像生成也有益，表明该框架的用途已从评估扩展到了内容创作。这项工作为生成式 AI 中的个性化对齐建立了一种新范式，从简单的分数回归转向了结构化、可解释的推理。