A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets
本文在平滑切比雪夫标量化下为多目标马尔可夫决策过程中偏好条件解的唯一性与连续性建立了理论保证，并提出了凹镜像下降策略迭代（CMDPI）算法，该算法以深度演员-评论家方法实现，在多样化任务中实现了最先进的帕累托前沿覆盖率和期望效用性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位厨师，正试图为一家餐厅打造完美的菜单。你有两个主要目标：美味与健康。这两个目标常常相互冲突。一道极其美味的菜肴可能非常不健康，而一道非常健康的菜肴可能味道平淡。
在人工智能（AI）领域，这被称为多目标强化学习。AI 就是那位厨师，它需要学会如何做出决策，以平衡这些相互竞争的目标回报。
问题：“一刀切”的陷阱
传统上，AI 厨师试图通过为整张菜单挑选单一“食谱”来解决这个问题。他们会说：“好吧，我们让 50% 健康、50% 美味。”这种方法适用于这种特定的混合比例，但却忽略了细微差别。
- 如果你想要一道主要健康、略微美味的菜肴，AI 就不知道该如何制作。
- 如果你想要一道主要美味、略微健康的菜肴，AI 就会陷入困境。
以往的方法就像一位只会制作两种极端菜肴的厨师：“纯健康沙拉”和“纯美味汉堡”。他们无法平滑地创造出介于两者之间的成千上万种美味变体（例如“健康汉堡”或“美味沙拉”）。
解决方案：“偏好条件化”的顶级大厨
本文的作者提出了一种新型 AI 厨师：单一深度偏好条件化策略。
将这位 AI 想象成一位随身携带旋钮（偏好向量）的顶级大厨。
- 如果你将旋钮调至“健康”，厨师立刻知道如何烹制出尽可能健康的餐食。
- 如果你将其调至“美味”，他们立刻切换到制作最可口的餐食。
- 如果你将其设定在两者之间的任何位置，他们就知道如何精确平衡食材，以达成菜单上的那个特定位置。
本文的目标是教导这位厨师如何覆盖菜单上每一个可能的组合，既不遗漏任何位置，也不产生怪异或不稳定的菜肴。
秘密武器：“平滑切比雪夫”（完美的搅拌机）
为了实现这一目标，研究人员使用了一种特殊的数学工具，称为平滑切比雪夫（STCH）标量化。
想象你在制作冰沙。
- 旧方法就像一把刀片损坏的搅拌机：它只会切碎最大的块状物（菜单的两极），而让中间部分变得糊状或缺失。
- STCH 方法则像一台高科技搅拌机，能将一切完美地混合均匀。它确保无论你怎么转动“健康与美味”的旋钮，AI 都能产生独特且高质量的成果。
本文从数学上证明，使用这种“搅拌机”，旋钮上的每一个设定都对应且仅对应一道完美的菜肴；而且，如果你将旋钮微调一点点，菜肴也会相应地微调一点点。这意味着 AI 可以平滑地探索整张菜单，而不会跳跃或陷入混乱。
训练方法：“镜像下降”（温和的教练）
你如何训练这位厨师？你不能只是对他们大喊大叫。你需要一位温和而聪明的教练。
作者开发了一种名为**CMDPI（凹面镜像下降策略迭代）**的算法。
- 这就像一位教练，他不仅仅会说“做得更好！”，而是会说：“根据你上一次的尝试，这是你需要精确调整食谱的具体幅度。”
- 教练使用一条特殊规则（镜像下降），确保厨师高效学习，而不会犯下巨大且可怕的错误。
- 本文证明这位教练非常高效：厨师以可预测的速度变得越来越出色，最终掌握整张菜单。
结果：完整菜单，而非仅两道菜
研究人员在八个不同的类视频游戏环境中测试了该方法（从导航迷宫到控制机器人）。
- 旧方法：AI 只能找到菜单的“角落”（极端解）。
- 新方法（CMDPI）：AI 发现了一条密集且平滑的解线，覆盖了整张菜单。它能够为你要求的任何偏好找到完美的平衡点。
简而言之，他们构建了一个单一的 AI，能够瞬间为你想要的任何权衡生成完美解决方案，覆盖整个可能性谱系，且毫无遗漏。
总结
本文介绍了一种更智能的方法来训练 AI 处理多个相互冲突的目标。与其为每一种可能的偏好训练单独的 AI，他们创建了一个单一 AI，能够根据“偏好旋钮”平滑地调整其行为。他们从数学上证明了该旋钮完美运作（无间隙、无跳跃），并通过实验表明，该方法比之前的技术能找到更好、更多样化的解决方案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。