Benchmarking the Limits of In-Context Reinforcement Learning for Ad-Hoc Teamwork
本文引入了 ICRL4AHT 基准以评估自适应团队中的上下文强化学习，揭示了当前的基于历史条件的算法在与未知伙伴协作时无法实现鲁棒的测试时适应，并且在多智能体设置中往往表现不如随机基线。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在一个从未谋面的陌生人厨房里烹饪一顿复杂的饭菜。你无法与他们交谈，也不知道他们是厨师、笨拙的初学者，还是只想吃掉生食材的人。这就是**临时团队协作（Ad-Hoc Teamwork, AHT）**所面临的挑战：在没有预先规划的情况下，与一位从未见过的伙伴有效合作。
最近，一种名为**上下文强化学习（In-Context Reinforcement Learning, ICRL）**的新型人工智能引起了广泛关注。将这些人工智能视为“超级学习者”。它们并非花费数年练习特定游戏，而是在庞大的过往经验库中进行训练。当面对新情况时，它们会审视自己的近期历史（即“上下文”），并瞬间确定该做什么，这就像人类可能会说：“哦，这看起来像我那次和鲍勃一起玩时的情况，所以我会采用当时奏效的做法。”
这篇论文背后的研究人员提出了一个重大问题：这些“超级学习者”真的能在混乱的厨房中与陌生人有效合作吗？
实验：“煮过头”测试厨房
为了找出答案，研究团队建立了一个名为ICRL4AHT的大型测试平台。他们使用了一款热门电子游戏《煮过头》（Overcooked），游戏中两名厨师必须合作制作汤和沙拉。
- 设置：他们创建了一个庞大的“队友”库。其中一些由其他人工智能训练而成（“RL"组），另一些则遵循简单、僵化的规则（“启发式”组）。
- 测试：他们在人工智能队友身上训练了“超级学习者”人工智能。然后，将其投入厨房，与那些它从未见过的遵循规则的队友一起合作。
- 目标：超级学习者能否观察陌生人的动作，推断其风格，并瞬间适应以烹饪出完美的饭菜？
令人震惊的结果：“超级学习者”迷失了方向
结果令人惊讶，坦白说，对人工智能社区而言有些令人失望。
- 未能适应：尽管被称为“超级学习者”，这些人工智能在与陌生人进行更多回合的游戏后，表现并未提升。事实上，它们的表现往往比随机按键的随机玩家更差。
- “平坦”的曲线：在成功的学习中，你期望看到一条随着人工智能学习伙伴风格而随时间上升的性能曲线。然而在这里，曲线完全平坦。人工智能似乎根本没有从交互历史中“学习”。
- 厨房中的混乱：当与难以相处的陌生人配对时，人工智能不仅未能提供帮助，反而主动制造障碍，导致负分（例如烧焦汤或堵住门口）。
它们为何失败？
研究人员试图通过向人工智能提供更多信息来解决问题，例如：
- 更长的记忆：赋予人工智能更长的历史事件记录（就像在测试前阅读更长的书籍）。
- 观察伙伴：让人工智能确切看到伙伴做出了哪些动作（而不仅仅是猜测）。
- 更大的大脑：使人工智能模型更大、更复杂。
这些修复措施均未奏效。人工智能仍然无法弄清楚如何协调。看来，虽然这些模型擅长学习任务（如解决谜题），但它们极不擅长实时学习人（或其他智能体）。它们似乎记住了训练期间看到的特定模式，却无法理解陌生人行为背后的“原因”。
结论
这篇论文并非在说人工智能毫无用处。相反，它就像一位机械师告诉我们：“我们曾以为这种新引擎适合在任何天气下驾驶，但我们刚刚在暴风雪中测试了它，结果它熄火了。”
该研究建立了一个新的、严格的测试（基准），以证明当前的“超级学习者”人工智能存在一个重大盲点：它们无法仅通过观察就轻松适应新的、不可预测的伙伴。 作者希望这一发现能推动社区构建更好的人工智能，使其能够真正理解并与陌生人协作，而不仅仅是记忆过去的游戏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。