Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
本文引入了一个用于嵌入式通用预测智能的数学框架，该框架通过使贝叶斯智能体能够通过自我预测将自身建模为环境的一部分，从而扩展了 AIXI，进而解决了多智能体设置中的非平稳性问题，并实现了无限阶心理理论，以促进新型合作形式的实现。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人如何玩游戏。几十年来，教机器人的标准方法是让机器人去玩，犯错，获得奖励，然后尝试多做那些奏效的事，少做那些不起作用的事。这被称为“强化学习”，就像用零食训练狗一样：你等待行为发生，然后给予反馈。如果世界是单调且不变的，这种方法效果很好。但如果世界充满了其他聪明的学习者，比如其他的机器人或人类，他们也在根据你的行为改变策略呢？突然间，昨天得到的“零食”今天可能就不管用了，因为你的对手已经识破了你的招数。这就是社交生活的混乱、复杂现实——每个人都在观察其他人，而游戏的规则也在不断变化，因为你本身就是游戏的一部分。
这篇论文深入探讨了这种混乱的现实。它解决了一个人工智能领域的大问题：我们如何构建能够在一个不仅是单纯玩家、而且实际上是嵌入在系统内部的学习与合作的智能体（例如 AI）的世界中进行学习和合作？作者基于一个著名的概念——“AIXI”，这是一个理论上的超智能，它通过猜测描述宇宙的数学规则来预测未来。但经典的 AIXI 理念将 AI 视为一个站在宇宙之外、向内观察的观察者。作者认为这是错误的。在现实世界中，AI 是宇宙的一部分，就像一个人是社会的一部分一样。如果你想预测你的朋友会做什么，你不能仅仅观察他们，你必须意识到他们也在思考着你。这篇论文提出了一个新的数学框架，在这个框架下，AI 理解它自己的决策也是它用来预测未来的数据的一部分，从而使其能够推理那些也在像它一样思考的其他智能体。
“向内看”的问题
想象一下，你正在和朋友下国际象棋。在旧的 AI 思维方式（称为“解耦式”学习）中，AI 会观察棋盘，心想：“如果我把骑士移到这里，我的朋友可能会把兵移到那里。”它将自己的思想视为与棋盘和对手朋友相分离的独立机器。它假设其朋友只是一个静态的场景部分，只会对移动做出反应，而不是一个正在观察 AI 并试图猜测 AI 下一步会做什么的思考实体。
作者说，这种方法在社交情境中是失效的。如果你身处一个房间，里面有另一个人试图猜测你的行为，而你也试图猜测他们的行为，你就会陷入一个循环：“我觉得他觉得我觉得……”这被称为“心理理论”（Theory of Mind）的“无限递归”。旧的方法假设世界是静态的，就像一个不会改变的游戏关卡。但在多智能体世界中，“关卡”每当有人学到新东西时就会发生变化。如果 AI 没有意识到是它自己在改变这个关卡，它就会一直做出错误的判断。
新概念：“嵌入式”
论文引入了嵌入式贝叶斯智能体（Embedded Bayesian Agents）的概念。这些智能体不再站在宇宙之外向内观察，而是想象自己处于一个包含他们自己、他们的朋友以及环境在内的“宇宙”之中。
可以这样理解：在旧模型中，AI 像是一个导演，观察着一部电影并试图预测情节。而在新模型中，AI 是电影中的一名演员。它知道如果它决定哭泣，其他演员可能会做出安慰的反应，但它也知道其他演员正在看着它，并且可能因为看到 AI 看起来很伤心而决定也跟着哭泣。
为了实现这一点，AI 使用了一种特殊的预测，称为自我预测（self-prediction）。它不仅仅预测世界会向它展示什么；它还预测自己下一步会做什么。它会问：“鉴于我对世界的了解，我最可能采取的行动是什么？”然后利用这个答案来猜测其他智能体的行为。这创造了一个循环：AI 对自身的信念有助于它理解他人，而它对他人的信念也有助于它理解自身。
“结构相似性”的魔力
这里变得非常有趣。论文指出，由于这些智能体运行着相似的“软件”（算法），它们在结构上是相似的。想象两对双胞胎，他们在同一个家里长大，上了同样的学校，拥有相似的大脑构造。如果你问其中一个双胞胎一个谜题，他们很可能会以同样的方式解决它。
作者展示了，如果一个 AI 意识到：“嘿，那个其他的智能体很可能和我构建得一样，”它就可以利用这个知识来预测另一个智能体的行为。这被称为结构相似性（structural similarity）。如果 AI 知道“相似的智能体在相似的情况下会表现得相似”，它就可以停止猜测，转而开始认知。
这导致了经典博弈囚徒困境中的一个惊人结果。在这个游戏中，两个人可以选择合作（互相帮助）或背叛（互相伤害）。旧的思维方式认为你应该始终背叛对方，因为这对你个人而言是最安全的举动。但作者展示了，如果两个“嵌入式”智能体意识到他们是彼此的完全复制品，他们都会选择合作。为什么？因为如果“我”选择合作，我知道“我的副本”（另一个智能体）也会选择合作，因为我们正在进行完全相同的思考。相互合作带来的回报比相互背叛更高。论文证明了这些智能体可以在数学上达到这种合作状态，而旧有的“解耦式”智能体永远无法做到这一点。
解决方案：MUPI 与“反射预言机”
论文并不只是空谈，它构建了一台实现这一目标的数学机器。他们称之为 MUPI（嵌入式通用预测智能）。
为了使这成为可能，他们必须解决一个棘手的难题：如何构建一个既能预测自己，又不会陷入无限循环的 AI？想象你要编写一个程序，让它打印出自己的源代码。如果程序在编写代码的同时试图读取自己的代码，它可能会产生混乱。
作者使用了一个巧妙的数学工具，称为反射预言机（Reflective Oracle）。把它想象成一面神奇的镜子，它可以展示你在镜子中看镜子，而镜子中又有一面镜子，以此类推，且图像不会变得模糊或趋于无穷。这个工具允许 AI 去推理那些同样使用该推理工具的其他智能体，从而有效地解决了“无限递归”问题。
他们证明了，如果你使用这个框架，智能体最终将能够完美地预测彼此。他们称之为实现了高阶心理理论（infinite-order theory of mind）。这就像智能体终于可以停止“我觉得你觉得我觉得……”的循环，直接说：“我们都很聪明，我们也都很相似，所以我们都会选择对我们最好的结果。”
这意味着什么
这篇论文通过改变我们看待 AI 的方式——从一个独立的观察者转变为一个嵌入其中的参与者——展示了我们可以解锁机器协作的新途径。它证明了，如果智能体能够将自己建模为世界的一部分，它们就能自然地找到合作的方法，即使是在它们可能会产生争斗倾向的棘手情况下。
作者非常谨慎地指出，这是一个理论框架。他们在数学上证明了这些智能体是可以存在的，并且可以收敛到这些合作解。他们目前还没有制造出一台在现实世界中执行此操作的机器人，但他们已经展示了蓝图。他们认为，这是思考 AI 未来的正确方式，尤其是当我们向着许多 AI 需要相互作用以及与人类互动的时代迈进时。这表明，社交智能的关键不在于给 AI 提供更多的数据，而在于教会它意识到自己正是它试图预测的故事的一部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。