Language Models as Efficient Reward Function Searchers for Custom-Environment Multi-Objective Reinforcement
本文提出了 ERFSL，这是一个高效框架，它利用大语言模型作为白盒搜索器，通过语义理解、用于代码修正的奖励评判器以及类遗传的权重调整策略，在复杂定制环境中自动生成并迭代优化多目标奖励函数，从而在极少人类反馈的情况下快速收敛至帕累托最优解。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图训练一支水下机器人（AUV）团队高效地收集数据。你为它们制定了一系列规则：“不要相互碰撞”、“不要耗尽电池”以及“不要让数据堆积”。在强化学习（RL）的世界里，你必须编写一份“记分卡”（即奖励函数），根据这些规则来告知机器人它们的表现如何。
问题在于，手工编写这份记分卡极其困难。如果数学计算有误，机器人就会相撞。如果将“不要碰撞”的规则设定得过于严格，它们就会完全停止移动。如果将“节省电池”的规则设定得过于严格，它们就会移动得过于缓慢。传统上，人类必须通过反复猜测和检查，不断调整数值，直到奏效为止。
本文介绍了ERFSL，这是一个新系统，它利用大语言模型（LLMs）——即那种能撰写文章和代码的同类型人工智能——充当超级智能且高效的“记分卡设计师”。
以下是其工作原理，分解为简单的步骤：
1. “架构师”（代码生成器）
系统不是要求 AI 一次性写出整个复杂的记分卡，而是将任务分解。它要求 AI 为每条具体规则编写一小段代码（例如，仅编写“避免碰撞”的代码，然后仅编写“节省能源”的代码）。
- 类比：想象建造一座房子。你不是要求承包商一次性建成整个房子，而是要求他们先只建厨房，再只建浴室，最后只建卧室。
2. “检查员”（奖励批评者）
一旦 AI 编写了一段代码，第二个 AI（即“批评者”）就会像一位严格的建筑检查员那样行动。它会审视代码和规则，看其是否合理。
- 神奇之处：如果 AI 编写的代码意外地奖励了机器人的碰撞行为（这是一种常见错误），批评者会立即发现。它会说：“不，这是错的”，并仅修正那一段代码。
- 结果：论文声称，这位“检查员”如此出色，通常只需一次尝试就能修正任何代码错误，从而防止整个项目失败。
3. “调音师”（权重搜索器）
现在每条规则的代码都已正确，系统需要决定每条规则的重要性，即“权重”。“不碰撞”应该值 100 分还是 1,000 分？“节省能源”应该值 1 分还是 10 分？
- 问题：通常，找到完美的平衡点需要成千上万次的猜测。
- 解决方案：系统利用“训练日志分析器”将机器人的表现总结为一个简单的故事（例如：“它们碰撞了很多次，但节省了能源”）。AI 阅读这个故事，并像遗传学家或品尝汤品的厨师那样行动。
- 它不只是随机猜测。它使用定向变异（根据发生的情况像调节旋钮一样向上或向下调整）和交叉（混合不同尝试中的最佳设置）。
- 类比：想象调节收音机。AI 不是随机旋转旋钮直到找到电台，而是听着静电噪音，意识到“我偏左太多了”，然后特意将旋钮向右转动。
4. “先发优势”（权重初始化器）
在调音开始之前，系统要求 AI 进行快速的心算，以猜测权重的一个“良好起点”。
- 益处：这确保了 AI 不会从一个糟糕的猜测开始（例如，将“能源”规则设定得过于强烈，达到 500 倍）。由于有了这个先发优势，即使起点偏差很大，系统也只需要大约5 到 6 次调整就能找到完美的平衡。
为什么这很特别？
- 零样本学习：即使你不提供任何关于机器人应如何行为的示例，该系统也能工作。它只需阅读你的描述并自行推断。
- 高效性：它在极少的尝试中（平均 5.2 次迭代）就找到了完美设置，而其他方法可能需要几十次甚至上百次。
- 灵活性：即使使用更小、更便宜的人工智能模型（如 GPT-4o mini），它也能很好地工作，因为作者将庞大、困难的数学问题分解成了更小、更简单的故事叙述问题。
总之：本文表明，通过使用 AI 编写小块代码、用“批评者”进行检查，然后根据结果总结智能地调整数值，我们可以比以前更快、更可靠地设计复杂的机器人行为。它将一场混乱的猜谜游戏转变为一种结构化、高效的搜索过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。