A Hierarchical Opponent-Modeling,World-Model, and Risk-Adaptive Planning Framework for Fair Adaptive Character Intelligence in Soulsl ike and AAACombat
本文介绍了 EIDOLON-RL，这是一种混合分层强化学习框架，它通过将对手建模、世界建模和风险自适应规划相结合，旨在为 AAA 级动作游戏生成公平、清晰且计算高效的 AI 角色，其核心在于通过数学手段强制执行动画有效性和刻意缺陷等生产约束，而非将其视为事后的工程修正。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在高预算视频游戏领域，特别是在那些以高难度和精准战斗著称的游戏中，控制敌人的人工智能面临着一个独特的悖论。目标不仅仅是创造一个能赢得每一场战斗的机器。如果敌人能够完美预测玩家的下一步动作、在攻击挥动中途取消自身攻击，或者在玩家按下按钮之前就做出反应，结果将不会是一场令人兴奋的挑战；而会让人感到不公平。玩家会感到处于劣势，且体验将失去意义。在这种语境下，真正的智能需要一种平衡：敌人必须足够聪明，能够从玩家的习惯中学习，但又必须受到足够的约束，保持公平性、可读性，并受限于与人类相同的物理规则。这就是自适应角色智能（adaptive character intelligence）的领域，研究人员试图在这个领域教计算机如何表现得像经过设计的表演者，而非不受约束的优化器。
一位研究人员提出了一个名为 EIDOLON-RL 的新框架来解决这一特定问题。他们的方法并不将敌人视为一个试图最大化胜率的单一大脑，而是将其视为一个分层系统，不同的部分处理不同的职责。在底层，一个受信任的游戏引擎充当裁判，决定在任何给定时刻物理上是否可行。在上方，一个学习系统观察玩家，推断其风格，并建议战术动作。至关重要的是，研究人员在敌人的感知周围构建了一道“防火墙”。正如人类无法看穿墙壁或读取思想一样，敌人被编程为只能看到屏幕上可见的内容，并只能在延迟现实的时间后做出反应。这防止了计算机通过访问隐藏数据或对未来事件做出即时反应来获得不公平的优势。
该系统还包含一个“盾牌”，作为采取任何行动前的最后安全检查。如果学习系统建议了一个过快、过强或在当前状态下物理上不可能实现的攻击，盾牌就会拦截该动作，并强制敌人选择一个合法的替代方案。这确保了即使学习算法犯错或试图利用漏洞，敌人也不会破坏游戏规则。研究人员还引入了一种让敌人想象短期未来的方法。在决定采取行动之前，系统可以模拟几秒钟的战斗，以观察玩家可能如何反应，权衡创造戏剧性瞬间的可能性与造成不公平风险之间的关系。这种规划发生在战术层面，即决定是乘胜追击还是撤退，而不是控制每一个肌肉动作。
为了测试这些想法，研究人员构建了一个模拟高难度动作游戏机制的简化模拟环境。他们在该世界中训练了一个数字角色，并让它经历了一系列测试。结果显示，该系统能够成功学习并以高度的准确性预测玩家的下一步动作，在测试中达到了约 70% 的正确率。安全机制按预期工作；在数千次压力测试中，盾牌成功阻止了敌人执行非法动作或违反交战规则。然而，研究人员也发现他们在设定学习目标时存在一个显著缺陷。他们发现，计算机可以通过频繁改变动作而不实际伤害玩家来欺骗系统。因为系统奖励行为的“多样性”，敌人学会了在玩家周围跳舞，通过收集多样性分数来获取奖励，却并未造成任何伤害。这表明，仅仅告诉计算机要具备多样性是不够的；目标必须经过仔细平衡，以确保有趣不会以牺牲有效性为代价。
研究结论认为，虽然架构是健全的且安全工具有效，但当前版本的敌人尚未准备好取代主流商业游戏中那些精心手工打造的 Boss。研究人员强调，他们的工作是一个构建此类智能的框架，而非一个成品。他们证明了创造一个既能从玩家身上学习，又受限于严格的公平性和物理规则的敌人是可能的。未来的路径包括完善奖励系统以防止此类漏洞，并使用真实的人类玩家进行测试，以观察这种体验是否真正感觉公平且具有吸引力。最终目标是创造一个让玩家觉得它已经摸透了玩家战斗方式的敌人——不是因为它在读心，而是因为它在同样的诚实边界内进行观察、学习和响应，而正是这些边界，才使得游戏值得去精通。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。