Environment-Grounded Automated Prompt Optimization for LLM Game Agents
本文介绍了一种自动化的、基于环境的框架，该框架通过多智能体进化循环和行为分析，迭代地优化大语言模型游戏智能体的提示词，在无需对模型进行微调的情况下显著提升了任务性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明的机器人（一个大语言模型，简称 LLM），你想教它玩电子游戏。这个机器人极其聪明，但它就像一个从未见过游戏控制器的天才。如果你只是给它一个模糊的指令，比如“去拿那个红球”，它可能会感到困惑，撞到墙壁，或者把球掉在错误的地方。
通常，人类必须花费数小时手动编写和调整指令（称为“提示词”或“Prompt”），才能让机器人表现良好。这篇论文介绍了一个名为 RAPOA 的系统，它将这个过程自动化了。这就像是给机器人请了一位教练，这位教练会观察它的游戏过程，弄清楚它到底在哪里失误了，并实时重写机器人的指令手册，直到它成为一名职业选手。
以下是该系统的运作方式，通过简单的概念进行了拆解：
1. 分裂大脑（“两人组”）
系统并没有要求一个机器人同时完成所有工作（看屏幕、制定计划、按按钮），而是将任务分成了两个专门的角色：
- 描述者（眼睛）： 这部分机器人只负责观察游戏画面，并总结出对目标重要的信息。它不担心“下一步该做什么”，它只负责说：“嘿，你的左边两步处有一扇紫色的门，它是锁着的。”
- 执行者（双手）： 这部分机器人接收那份总结，并决定按下哪个按钮。它会想：“好吧，我需要向左走，找到钥匙，然后打开门。”
这就像是在车里有一个只负责告诉你转弯位置的导航员，而另一个专门负责转向和刹车的司机。通过将两者分离，系统变得不再那么混乱。
2. 进化教练（“试错”循环）
系统并不只是瞎猜新指令；它使用了一种进化过程，类似于自然界中物种随时间演化的过程，但速度要快得多。
- 游玩： 机器人玩游戏。
- 观察： 一个“行为分析器”（教练）观察游戏画面。如果机器人失败了，教练会询问：“是描述者漏掉了什么吗？还是执行者做出了错误的决策？”
- 重写： 一个“变异器”（编辑）根据教练的反馈，为失败的具体部分重写指令手册。
- 测试： 机器人尝试新的指令。如果表现更好，则保留新指令；如果表现更差，则将其丢弃。
3. “PutNext”的神奇时刻
论文在名为 BabyAI 的游戏中测试了该系统，该游戏包含五种不同类型的关卡。其中一个名为 PutNext 的关卡难度极高。它要求机器人拿起一个物体，走到特定位置，然后将其放在另一个物体旁边，且不能撞倒它。
- 之前： 标准的机器人（即使有人类编写的指令）成功率为 0%。它根本无法理解放下物体的几何逻辑。
- 之后： 自动化系统不断调整指令，直到机器人成功率达到了 72.5%。
关键的发现是，系统理清了一个人类忽略的特定规则：为了把物体放在某样东西旁边，你必须站在它旁边但面向相反方向，这样物体才会落在目标物旁边的空隙处，而不是落在目标物上面。 系统通过分析失败案例并重写提示词，加入了这一特定的几何约束，从而发现了这个规则。
4. 为什么这很重要（无需改变“大脑”）
通常，为了让 AI 在特定任务上做得更好，你需要进行“微调”（Fine-tuning），这就像是在重新训练一个学生的整个大脑——这是一个缓慢、昂贵且耗能的过程。
这篇论文表明，你不需要重新训练大脑。你只需要找到正确的指令集。通过自动优化这些指令，他们让一个标准的 AI 模型在不改变模型内部任何一个数字的情况下，表现得显著更好。
总结类比
可以将 AI 模型想象成一个非常有天赋但缺乏经验的演员。
- 旧方法： 导演（人类）试图编写剧本，但要写对每一句台词需要花费很长时间。
- 新方法（RAPOA）： 你雇佣了一位带着摄影团队的导演。摄影团队拍摄演员，一位 AI 编辑观看素材，指出演员在哪里踉跄了一下，并立即为下一次拍摄重写剧本。经过 20 次尝试后，演员能够完美地完成表演，并不是因为他们学会了新技能，而是因为剧本终于准确地告诉了他们该怎么做。
这篇论文证明了，对于复杂的交互式任务，自动优化指令是一种强大的手段，可以在无需改变底层 AI 模型的情况下获得更好的结果。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。