🤖 AI

Group Preference Collapse in Personalized Multimodal Large Language Models

本文介绍了 PrefMoE，这是一个以偏好为中心的框架，通过将偏好分解为共享原型和个性化残差，解决了个性化多模态大语言模型中的“群体偏好坍缩”问题，从而在增强个体化响应生成的同时，缓解了向主流群体选择偏移的现象。

原作者： Fan Lyu, Wenqi Zhang, Joost van de Weijer

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Fan Lyu, Wenqi Zhang, Joost van de Weijer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走进一座巨大的、充满魔力的图书馆，这里的书竟然能和你对话。这些书可不一般，它们是“多模态大语言模型”（MLLMs）。你可以把它们想象成超级聪明的图书管理员：它们不仅能看懂图片，还能阅读文本，并理解周围的世界。通常情况下，如果你向它们提问，它们会给出一个非常出色且通用的答案，适用于几乎所有人。但如果你想让这位图书管理员了解“你”个人呢？如果你想让它知道你讨厌辛辣食物、热爱复古时尚，并且总是比起游泳更喜欢徒步旅行呢？这就是“个性化”AI的目标：让模型表现得像一个了解你独特品味的朋友，而不是一个只了解平均大众品味的机器人。

然而，当你试图教一位图书管理员同时了解数百个不同的人时，会出现一个棘手的难题。这篇即将阅读的论文深入探讨了计算机科学的一个领域，即“个性化多模态大语言模型”。它解决了一个特定的头痛问题：当一个 AI 试图学习许多不同用户的偏好时，它往往会变得混乱，并停止倾听个体。它不再记得你喜欢爵士乐而你的朋友喜欢摇滚乐，而是开始认为每个人都喜欢最流行的音乐流派。这就像一个服务员，在为太多桌次的客人服务后，决定给所有人提供那道“最受欢迎的菜肴”，从而忘记了你原本点的是沙拉。这篇论文研究了为什么会发生这种情况，并试图修复它，以便 AI 最终能够记住你对生活的独特品味。

“群体拥抱”问题

论文作者发现了一个他们称之为**“群体偏好坍缩”（Group Preference Collapse）*的故障。想象一个教室，老师询问每位学生最喜欢的颜色是什么。如果老师很优秀，他会记得亚历克斯喜欢蓝色，萨姆喜欢绿色，乔丹喜欢紫色。但在这种“坍缩”场景中，老师被搞糊涂了。他注意到“蓝色”是教室里最受欢迎的答案，于是他开始假设所有人*都喜欢蓝色。即使萨姆举手说：“不，我真的很喜欢绿色！”老师也只是点点头说：“太好了，你也喜欢蓝色。”

在 AI 世界中，当模型尝试从许多用户身上学习时，就会发生这种情况。“响亮”或常见的偏好（比如热爱瑜伽或穿着休闲服）淹没了那些更安静、更具体的偏好。模型变得对个体的特质不再敏感，并向“平均”选择漂移。论文显示，即使你告诉 AI：“嘿，我是安德森，我热爱园艺，”AI 可能仍然会猜你更喜欢瑜伽，因为，好吧，训练数据中的很多人都喜欢瑜伽。这并不是 AI 在忽视你，而是它忘记了如何去倾听那些让你成为“你”的独特信号。

解决方案：PrefMoE（聪明的图书管理员）

为了修复这个问题，研究人员构建了一个名为 PrefMoE 的新系统。你可以把它想象成给了 AI 图书管理员一个超级有序的归档系统和一组专门的助手。

1. 将“是谁”与“是什么”分离
首先，该系统将用户信息分为两个不同的桶：

画像桶（“是谁”）： 这存放关于你的稳定事实，比如你的照片或一段描述说“我是一名 25 岁的学生”。这些事实不会经常改变。
偏好桶（“是什么”）： 这存放你的特定品味，比如“我热爱波西米亚风时尚”或“我讨厌恐怖电影”。这些才是让你变得独特的东西。

旧方法试图将所有这些信息揉成一大堆，这导致了“群体拥抱”问题。PrefMoE 将它们分开，这样 AI 就不会感到困惑。

2. 原型与残差（平均值 vs. 特色）
这里是精妙之处。系统意识到每个人都有一些共同的品味（“原型”）。例如，大多数人可能都喜欢“旅行”。但 PrefMoE 不仅仅停留在那里。它还会寻找“残差”——即让你的旅行风格与众不同的那个微小的、独特的转折。也许你喜欢旅行，但你特别讨厌露营，只喜欢豪华邮轮。

原型： “我喜欢旅行。”（许多人共有）
残差： “但我只喜欢豪华邮轮。”（你所独有）

论文发现，如果没有特殊的保护，AI 往往会忽略“残差”而仅仅坚持“原型”。PrefMoE 使用了一种特殊的数学技巧，称为反事实增强（counterfactual augmentation）。想象 AI 通过混合搭配不同人的喜好来创造“幽灵用户”（例如，将安德森对园艺的热爱与贝拉对瑜伽的热爱结合起来）。通过在这些虚构的组合上进行训练，AI 学习去关注具体的细节，而不是仅仅关注群体平均水平。它还使用了**去相关（decorrelation）**技术，这就像是在告诉 AI：“嘿，不要把你的旅行偏好和你的时尚偏好混淆，要把它们放在各自的盒子里。”

3. 专门的助手（MoE 路由）
最后，PrefMoE 使用了“混合专家”（Mixture of Experts, MoE）系统。想象一下，AI 拥有一支专家团队。当你提问时，一个聪明的“路由”会查看你在问什么，并决定调用哪位专家。

如果你问：“这个人穿着什么？”路由会调用画像专家（观察你的照片）。
如果你问：“这个人会喜欢什么活动？”路由会调用偏好专家（检查你的特定喜好和厌恶）。

这确保了 AI 不仅仅根据流行程度进行猜测，而是能针对特定的问题主动检索关于“你”的正确信息。

数据说明了什么

研究人员在多个不同的 AI 模型上测试了这个新系统，包括像 LLaVA 和 Qwen 这样非常流行的模型。他们将这种新方法与传统的 AI 训练方式进行了对比。

结果非常明确。在一项使用 LLaVA-1.5-7B 模型的测试中，传统的训练方式（全量微调）在猜测用户特定偏好时的正确率约为 44.13%。而使用 PrefMoE 后，这个数字跃升至 67.33%。

更重要的是，他们测量了 AI 做出“群体拥抱”错误（即预测热门选择而非用户选择）的频率。标准方法在 34.25% 的情况下会坍缩到群体偏好。PrefMoE 将这一灾难降低到了仅为 12.33%。在他们测试的最强模型中，PrefMoE 实现了 78.93% 的准确率，同时将坍缩率控制在 10.96%。

总结

论文指出，要让 AI 真正实现个性化，我们不能仅仅喂给它更多的数据或告诉它“要更聪明”。我们必须教会它如何区分大众与个体。通过将用户信息分解为稳定的画像和独特的偏好，并使用智能系统将问题路由到正确的“专家”，我们可以阻止 AI 去猜测大多数人的需求，并开始帮助它理解你真正想要什么。

当然，作者也承认它目前还不完美。如果你没有给出关于你偏好的清晰指令，或者图片没有提供足够的线索，AI 可能仍然会出错。但这种新方法展示了一条充满希望的前行之路：在这个路径上，数字图书管理员终于能记住，你个人更偏爱安静的书咖，而非喧闹的音乐会。

技术摘要：个性化多模态大语言模型中的群体偏好坍缩

1. 问题定义：群体偏好坍缩 (Group Preference Collapse)

本文识别了一种在多用户个性化多模态大语言模型（MLLMs）中存在的关键失效模式，称之为群体偏好坍缩。现有的个性化 MLLM 虽然旨在生成用户特定的响应，但目前过度依赖稳定的画像信息（如人口统计学数据、肖像），往往忽略了多样化且依赖上下文的用户偏好。

当这些模型在具有不平衡偏好分布的多用户数据上进行训练时，会表现出两种关键失效：

表征受抑 (Suppressed Representation)： 在用户表征学习过程中，稀疏且低频的个体偏好会被占主导地位的群体级模式所吸收。
生成不可靠 (Unreliable Generation)： 在推理阶段，即使提供了偏好信息作为条件，模型也无法针对特定的图像-问题对选择相关的偏好线索。相反，它会退化为通用的或群体占主导地位的推理模式。

因此，模型会向广泛合理的群体级选择偏移（例如，无论用户个体偏好如何，都预测为“瑜伽”），而不是反映细粒度的、用户特定的选择。

2. 方法论：PrefMoE

为了解决这些失效问题，作者提出了 PrefMoE，这是一个以偏好为中心的框架，旨在将稳定的画像信息与偏好相关的表征分离，并确保它们在生成过程中的有效使用。该方法由三个核心组件组成：

A. 分解用户表征 (Factorized User Representation)

PrefMoE 将用户信息分解为不同的因子，而不是将其压缩为单一的嵌入：

画像因子 (Profile Factors)： 利用对比学习从稳定的用户数据（图像和文本描述）中学习，以对齐模态并区分用户。
偏好因子 (Preference Factors)： 表示为共享原型（群体层面的倾向）和个性化残差（用户特定的偏差）的分解。
- 公式： $z^{pref}_{i,f} = \bar{z}_f + \Delta_{i,f}$ ，其中 $\bar{z}_f$ 是维度 $f$ 的共享原型， $\Delta_{i,f}$ 是用户特定的残差。

B. 基于残差的偏好学习 (Residual-Based Preference Learning)

为了防止少数派偏好被共享模式吸收，该框架对个性化残差 ( $\Delta_{i,f}$ ) 应用了三种正则化策略：

不平衡感知残差对比 (Imbalance-Aware Residual Contrast)： 一种对比损失函数，旨在将具有相同维度级偏好的用户在特定的视觉-问题上下文中拉近。它采用了一种受 Focal Loss 启发的重加权机制，为低频偏好组分配更高的权重，以确保它们获得充足的监督。
反事实伪用户增强 (Counterfactual Pseudo-User Augmentation)： 为了打破用户群体与主导偏好之间的伪相关性，该方法通过跨维度的不同真实用户重新组合偏好条目来构建“伪用户”。这些伪用户被用于对比目标中，以鼓励残差与偏好语义对齐，而非与原始用户群体身份对齐。
偏好残差去相关 (Preference Residual Decorrelation)： 通过施加软约束，确保不同维度间的残差不具有冗余性，并确保残 de 捕捉的是超出共享原型的偏差，从而防止纠缠。

C. 分解式分层 MoE 路由 (Factorized Hierarchical MoE Routing)

为了确保这些学习到的因子在生成过程中得到利用，PrefMoE 引入了一个基于 LoRA（低秩自适应）的分层混合专家 (MoE) 路由器：

独立专家 (Separate Experts)： 画像因子（图像和描述）与偏好因子（特定维度的偏好）被路由到不同的 LoRA 专家中。
查询依赖型路由 (Query-Dependent Routing)：
- 偏好路由器 (Preference Router) 根据当前查询选择相关的偏好维度。
- 画像路由器 (Profile Router) 选择最有用的画像来源（图像 vs. 描述）。
- 分支路由器 (Branch Router) 根据查询表示，自适应地融合画像感知和偏好感知的更新。
  这种结构确保了模型能够根据特定的视觉问题动态选择合适的用户因子，而不是依赖单一的混合条件。

3. 核心贡献

本文做出了三个主要贡献：

识别失效模式： 正式定义了“群体偏好坍缩”这一关键问题，即即便存在显式的用户信息，占主导地位的群体偏好仍会抑制个体信号。
提出 PrefMoE 框架： 提出了一个结合了基于残差的偏好因子学习与分解式分层路由的新颖框架。该方法保留了个体化的偏好偏移，并能动态激活画像感知和偏好感知的自适应路径。
实证验证： 在多种 MLLM 基座（LLaVA, DeepSeek-VL, Qwen）上的广泛实验表明，与全参数微调和其他个性化基线相比，PrefMoE 显著提升了偏好敏感的个性化能力，并大幅降低了偏好坍缩率。

4. 实验结果

实验在 MMPB-Clean 上进行，这是 MMPB 基准的一个精选拆分集，包含 50 名用户和六个偏好维度（娱乐、旅行、生活方式、购物、时尚）的多模态查询。

性能提升： 在 LLaVA-1.5-7B 基座上，PrefMoE 将偏好准确率从 44.13%（全参数微调）提升至 67.33%，并将偏好坍缩率从 34.25% 降低至 12.33%。
可扩展性： 该方法在各种模型规模下均取得了最佳的整体准确率和最低的坍缩率，包括 LLaVA-OV-72B（达到 78.93% 的偏好准确率和 10.96% 的坍缩率）。
消融实验：
- 去除分层 MoE 路由器会导致性能显著下降，证实了分解式计算路径的必要性。
- 不平衡感知对比和反事实增强对于减少坍缩和提高低频偏好准确率至关重要。
- 该方法即使在没有显式维度标签的情况下依然保持稳健，表明其能从底层描述中学习结构化的偏好关系。
定性分析： t-SNE 可视化显示，与倾向于混合偏好的标准微调相比，PrefMoE 在偏好群体和维度之间保持了更清晰的边界。案例研究表明，PrefMoE 能够成功将答案锚定在特定的用户偏好中（例如，波西米亚风时尚、单人旅行），而基线模型则会默认选择通用或占主导地位的选择。

5. 意义与局限性

本文认为，有效的个性化推理不仅仅需要扩大模型规模或进行标准微调，还需要分解式自适应 (factorized adaptation)，以明确分离并保留用户特定的偏好信号。PrefMoE 证明，通过将稳定的画像与动态的偏好解耦，并将其路由至专门的自适应路径，模型可以更好地反映个体用户的选择。

适度声明与局限性：
作者承认，虽然 PrefMoE 显著缓解了偏好坍缩，但它仍然依赖于显式且定义明确的偏好描述。当出现以下情况时，该方法可能会面临挑战：

用户偏好描述不足。
偏好在视觉场景中的关联性较弱。
问题未能清晰指示相关的偏好维度。

这项工作并不声称解决了所有的个性化挑战，而是提供了一种应对多用户环境下特定失效模式（即群体偏好坍缩）的结构化方法。