Navigating User Behavior toward Personalized Multimodal Generation
该论文提出了 NaviGen，这是一个通过采用双重标识符和两阶段 SFT+RL 流水线来克服行为编码和指令编写挑战的框架，旨在将用户交互历史转化为用于个性化多模态生成的可执行指令。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一位才华横溢、高科技的艺术家（一个人工智能），他可以根据你的指令绘制美丽的画作或创作惊人的视频。问题在于，这位艺术家非常刻板。如果你说“画一个奇幻场景”，他可能会画出一些过于平庸、并不完全符合你特定品味的作品。大多数人并不是专业艺术家，因此无法编写出能够精准表达其意图的完美且详细的指令。
核心问题：
我们在用户的“实际喜好”（基于他们的点击、观看或购买行为）与告诉 AI 该做什么所需的“具体指令”之间存在巨大的鸿沟。用户很少会说：“我想要一个黄昏时分、带有体积雾效果的罗马斗兽场电影感宽镜头。”他们通常只是点击了一些酷炫的视频或购买了一些游戏。AI 需要弄清楚如何将这些点击转化为完美的指令。
解决方案：NavigGen
研究人员创建了一个名为 NaviGen（Navigation + Generation，导航 + 生成）的系统，充当你的“翻译官”，在你的过往行为与 AI 艺术家之间搭建桥梁。以下是它的工作原理，我们使用了一些简单的类比：
1. 双重 ID 系统（“名牌”与“简历”）
为了理解你，NaviGen 会查看你互动的每一个项目（如游戏或视频），并为它们发放两张特殊的“身份卡”：
- 协同标识符 (Collaborative Identifier, CID)： 可以将其视为行为指纹。它是一个代码，表达了“喜欢这个的人也喜欢那个”。它捕捉的是你品味的模式，而无需阅读文本。这就像是一个秘密代码，告诉 AI：“这个项目属于‘冒险’家族。”
- 文本标识符 (Textual Identifier, TID)： 可以将其视为一份精简的简历。这是一份关于该项目的关键词（如“奇幻”、“浪漫”、“动作”）的简短、有序的列表。
通过结合这两者，NaviGen 为 AI 提供了一个紧凑的“行为基质”（代码）和一个“语义桥梁”（关键词）的综合包。这有助于 AI 理解你为什么喜欢某个东西，而不仅仅是喜欢了什么。
2. 训练过程（学习写作）
AI 需要学习两件事：如何理解你的品味，以及如何编写好的指令。NaviGen 通过两个阶段来教授这一点：
第一阶段：监督微调（“自习室”）：
该系统使用了一种被称为进化搜索 (Evolutionary Search) 的巧妙技巧。想象一群作家试图猜测最完美的指令。他们从三种不同的风格（保守型、平衡型、探索型）开始。他们混合并组合自己的想法（类似于植物杂交），然后由一名“编辑”（另一个 AI）挑选出最好的方案，从而创造出下一代指令。
模型通过这些“进化”出的指令进行学习。它还学习如何“大声思考”（思维链，Chain-of-Thought），解释用户的品味是如何从点击一个搞笑精灵视频演变为想要一个浪漫动漫场景的。第二阶段：强化学习（“游戏秀”）：
一旦模型学会了编写指令，它就会通过玩游戏来变得更好。它会因为以下因素获得分数（奖励）：- 准确性： 它是否预测对了用户下一个可能喜欢的项目的正确“行为代码”（CID）？
- 质量： 指令是否具体、具有创意，并且是图像/视频生成器确实可以实现的？
- 一致性： 指令是否与预测的项目相匹配，且预测的项目是否与用户的历史记录相匹配？
3. 结果
研究人员在三个不同的领域测试了它：购物（产品）、游戏和短视频。
- 更好的艺术效果： 当 NaviGen 编写指令时，生成的图像和视频比其他方法生成的更符合用户的特定品味，视觉效果更美观，且更具创意。
- 更好的预测能力： 它也更擅长预测用户下一个会点击什么项目，这证明它真正理解了用户的“行为指纹”。
- “顿悟时刻”： 在一个案例研究中，用户的历史记录从“搞笑精灵视频”转变为“浪漫动漫”。其他系统仅仅看到了“动漫”，而 NaviGen 看到了这种转变，并编写了一条关于“学生情侣的浪漫动漫场景”的指令，这比用户实际想要的要接近得多。
总结
NaviGen 就像是一个私人助理，它观察你所喜爱的事物，理清你隐藏的品味模式，然后为 AI 艺术家写下完美的、详细的提示词，从而创造出你真正热爱的精彩内容。它弥合了你的“无声点击”与 AI 创作奇迹所需的“响亮且详细的指令”之间的鸿沟。
注：本文研究完全专注于基于用户行为生成图像和视频。它并不声称可用于医疗诊断、临床治疗或任何其他非创意应用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。