Peer-Conditioned Observation Representation for Peer Adaptation in Multi-Agent Reinforcement Learning
本文提出了一种名为同伴条件化观测表示（Peer-Conditioned Observation Representation, PCOR）的方法，该方法通过施加一种不对称的归纳偏置，即由同伴表示来调节对观测特征的解释，而非将其作为并行输入送入联合编码器，从而提升了多智能体在部分可观测条件下对异构同伴的适应能力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，单台计算机独自玩游戏与多台计算机共同协作之间存在着明显的区别。当单个智能体学习时，它只需要弄清楚环境的规则。但当多个智能体进行交互时，环境本身会变得难以预测，因为其他玩家也在学习并改变他们的策略。这创造了一种混乱的情况，智能体必须不断适应那些可能是得力队友或狡猾对手的伙伴。研究人员的核心挑战不仅在于教导智能体识别这些不同的伙伴，还在于如何利用这种识别能力来在当下做出更好的决策。如果一个智能体知道它的伙伴很谨慎，它就应该采取不同的行动；但问题在于，这种知识究竟是如何改变智能体看待世界的方式的？
来自中国科学院自动化研究所的一个研究小组提出了一种解决这一谜题的新方法。他们认为，大多数人工智能系统使用的标准方法是有缺陷的，因为它将当前的情况与伙伴的历史视为两个独立的碎片，然后简单地将它们拼接在一起。相反，他们建议伙伴的历史应该像一个透镜，改变当前情况被观察的方式。通过在复杂的、部分可见的环境中测试这一想法，他们发现这种新方法让智能体能够更有效地适应从未谋面的陌生人。
研究人员专注于多智能体学习中的一个特定问题：如何处理“异质同伴”（heterogeneous peers）。简单来说，这意味着要应对各不相同的伙伴。在许多现实世界的场景中，例如机器人与人类协同工作，或无人机与另一架无人机协调，智能体无法看到整个棋盘。它在任何给定时刻只能看到环境的一小部分。为了做出正确的决策，它必须依赖于从与该特定伙伴过去的互动中所学到的经验。以往的方法试图通过将智能体对世界的当前观察与其伙伴过去行为的总结同时输入到决策系统中来解决这个问题。系统随后会尝试自行找出如何结合这两类截然不同的信息。研究人员认为这种方式效率低下，将其比作要求一个人在听着别人大声喊叫指令的同时阅读地图，而不是让这些指令帮助这个人去理解地图本身。
为了测试他们的理论，该团队开发了一种被称为“伙伴调节观察表示”（Peer-Conditioned Observation Representation）的方法。在这个系统中，智能体首先观察其周围环境，并形成对现状的基础理解。然后，系统不再仅仅是将伙伴的历史作为另一个事实添加进来，而是利用这段历史来调整或“调节”（condition）最初的理解。把这想象成戴上了一副带有特定色调的眼镜：世界看起来是一样的，但色调改变了色彩的感知方式，使得某些细节根据你身边的伙伴不同而更加清晰。如果智能体知道正在与一个谨慎的伙伴合作，系统可能会突出显示当前视野中的安全路径。如果伙伴很激进，系统可能会突出显示潜在的威胁。这创造了一个统一的、已经针对特定伙伴量身定制的视图，而不是一个智能体必须费力去解读的原始视图。
该团队在两个具有挑战性的环境中测试了这一想法。第一个是协作烹饪模拟，其中两个智能体必须在无法看到整个厨房的情况下合作准备食物；第二个是涉及捕食者和猎物的混合场景，其中智能体必须在仅能看到周围有限区域的情况下，既要与队友合作，又要躲避或捕捉对手。在两种情况下，智能体都在一组已知伙伴的基础上接受训练，然后通过测试完全陌生的新伙伴，以观察它们能否快速适应。结果显示，新方法在面对未见过的伙伴时表现出了持续优于标准方法的能力。在烹饪任务中，新方法在面对未知伙伴时的成功率超过了50%，相比之下，此前最好的方法仅为约30%。在捕食者-猎物游戏中，新方法也获得了更高的分数，证明了它能更有效地处理合作与竞争两种情况。
研究人员还进行了深入分析，以了解为什么这种方法如此有效。他们分析了智能体的内部表示如何随着与伙伴的互动而变化。他们发现，虽然其他方法最终可以学会区分不同的伙伴，但新方法创造了一种更稳定且一致的方式，将伙伴的身份转化为决策。具体而言，新方法确保了智能体在与同一伙伴反复互动时，其对世界的看法保持连贯，同时又足以区分不同的伙伴。这种稳定性似乎是成功的关键，使智能体能够在互动过程中更高效地积累经验。
一个有趣的发现是，随着智能体与伙伴相处时间的增加，这种新方法的优势变得更加明显。在互动的最初时刻，即智能体几乎没有任何历史记录可以依靠时，其他方法有时表现得略好，因为它们在识别伙伴方面速度更快。然而，随着互动的进行和历史记录的累积，新方法逐渐领先，这表明其整合信息的方式更具优越性。这表明，智能体如何结合当前的观察与已知的伙伴信息，与信息本身的质量同样重要。
研究结论指出，智能体处理信息的架构是学习如何与他人合作的关键，却常被忽视的部分。通过将重点从单纯收集更多关于伙伴的数据，转向改变这些数据如何塑造智能体对当下的感知，研究人员为适应性智能提供了一个新的蓝图。尽管实验局限于特定的模拟和较短的互动周期，但结果表明，这种方法可以成为构建需要在现实世界中与各种不可预测的伙伴进行协作的系统的强大工具。这项工作强调，在多智能体交互的复杂舞蹈中，了解如何透过伙伴的眼睛去看世界，与了解你的伙伴是谁同样至关重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。