A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving

本文综述了自动驾驶强化学习中的奖励函数设计，通过将其目标划分为安全、舒适、通行效率及交通规则遵守四类来揭示现有研究在目标聚合、情境感知及标准化方面的不足，并提出了构建上下文感知且能解决冲突的奖励验证框架等未来研究方向。

要点

这篇论文就像是在给自动驾驶汽车的“大脑”（强化学习算法）做体检，重点检查了它的“奖惩机制”（奖励函数）。

想象一下，你要教一个刚拿到驾照的机器人司机开车。你没法直接告诉它每一步该怎么打方向盘，你只能告诉它：“做得好给颗糖（奖励），做错了挨顿骂（惩罚）”。这个“给糖还是挨骂”的规则，就是论文里说的奖励函数。

这篇论文的核心观点是：目前的规则制定得太随意、太混乱，导致机器人司机要么不敢动，要么乱冲，甚至为了“快”而撞车。

下面我用几个生活中的比喻来拆解这篇论文：

1. 核心问题：教机器人开车的“尺子”太乱

自动驾驶面临一个巨大的难题：它要同时做好几件事，而且这些事有时候是打架的。

• 安全（Safety）： 别撞车，离别人远点。
• 进度（Progress）： 快点到目的地，别磨蹭。
• 舒适（Comfort）： 别急刹车、别猛打方向，让乘客不晕车。
• 守规矩（Traffic Rules）： 别超速，别压线。

现状是： 现在的规则就像是一个没有主见的教练。

• 如果机器人撞了人，教练会骂它（给负分）。
• 如果机器人到了终点，教练会夸它（给正分）。
• 但是！ 如果机器人为了赶时间（进度），选择撞开一个静止的障碍物，现在的规则可能会算出：“撞车扣 10 分，但多跑一段路加 15 分，所以撞吧！” 这就是论文指出的逻辑漏洞。

2. 四大“考核科目”的尴尬现状

论文把奖励函数拆成了四个科目，发现每个科目都有问题：

• 🛡️ 安全（Safety）：只有“事后诸葛亮”

  • 现状： 大多数规则是“撞了才扣分”。就像只有当学生把花瓶打碎了，老师才罚站。
  • 问题： 在撞碎花瓶之前，学生可能已经离花瓶非常近了（很危险），但老师没反应。
  • 建议： 应该像防弹衣一样，离危险越近，扣分越狠（比如用“碰撞时间”TTC 来衡量），而不仅仅是撞了才罚。

• 🚀 进度（Progress）：容易“走火入魔”

  • 现状： 只要车在动，就给奖励。
  • 问题： 机器人可能会为了“多跑点路”而疯狂加速，甚至为了赶时间而忽略前面的红灯或行人。就像学生为了多背单词，把书撕了当纸用，虽然背得快了，但书没了。
  • 建议： 进度奖励必须和安全挂钩，不能为了快而牺牲安全。

• 🛋️ 舒适（Comfort）：被遗忘的角落

  • 现状： 很多规则里根本没提“舒服”这回事。
  • 问题： 机器人司机可能像开碰碰车一样，急刹、急转，乘客坐得晕头转向，甚至吐了。
  • 建议： 需要把“平滑度”（比如加速度的变化率）写进规则里，像按摩椅一样，动作要轻柔。

• 🚦 守规矩（Traffic Rules）：死板且缺乏弹性

  • 现状： 规则通常是“超速就扣分”。
  • 问题： 现实很复杂。比如前面有救护车，你稍微超速一点让路，现在的规则可能会惩罚你，因为它不懂“情境”。
  • 建议： 规则需要更灵活，能理解“特殊情况”。

3. 最大的毛病：怎么“算总账”？（聚合问题）

这是论文最痛心的地方。现在的做法通常是简单相加：

总分 = 安全分 + 进度分 + 舒适分 + 规矩分

比喻： 这就像考试，数学考 0 分（撞车了），语文考 100 分（到了终点），最后算平均分 50 分，及格了！
这显然不行。安全应该是一票否决权（Lexicographic ordering），安全没做好，其他做得再好也没用。

目前的解决方案（比如给不同项目加权）就像调音师，需要人工去调哪个旋钮大、哪个小。但这太难了，而且换个路况（比如从高速变到市区），原来的旋钮设置就不管用了。

4. 未来的药方：给机器人换个“大脑”

论文提出了三个改进方向：

1. 使用“规则书”（Rulebooks）代替“算分表”：

   • 比喻： 不要给机器人一个计算器让它自己算总分，而是给它一本法律条文。
   • 逻辑： 就像法官判案，先看是否杀人（安全），再看是否抢劫（违规），最后看是否迟到（进度）。优先级是固定的，不需要人工去调权重。如果违反了高优先级的规则，直接判输，不用算后面的分。

2. 引入“情境机器”（Reward Machines）：

   • 比喻： 现在的机器人像个死脑筋，不管是在下雨天、高速公路上还是堵车时，都用同一套规则。
   • 改进： 给它装个情境开关。
     • 在“高速模式”下，奖励“快”；
     • 在“学校区域模式”下，奖励“慢”和“稳”。
     • 让机器人知道什么时候该切换规则，而不是死守一套。

3. 建立“体检中心”（验证框架）：

   • 现状： 现在的规则设计完就直接上路试，撞了才知道不对。
   • 建议： 在真正上路前，先在一个**虚拟的“魔鬼训练营”**里测试。专门制造各种极端情况（比如突然冲出的小孩、暴雨），看看机器人的规则会不会导致它做出傻事。如果没有这个体检，就不许上路。

总结

这篇论文其实是在说：我们现在的自动驾驶奖励规则太“粗糙”了，像是一个只会加减法的笨小孩。

为了让自动驾驶真正安全、舒适且高效，我们需要：

1. 分清主次： 安全永远是第一位的，不能和进度混在一起算账。
2. 懂得变通： 根据路况（下雨、堵车、高速）自动调整规则。
3. 严格体检： 在虚拟世界里把规则测得透透的，确保没有逻辑漏洞。

只有这样，我们的机器人司机才能真正从“新手”变成“老司机”。

技术摘要

论文技术总结：自动驾驶强化学习中的奖励函数综述

论文标题：A Review of Reward Functions for Reinforcement Learning in the Context of Autonomous Driving
发表会议：IEEE 35th Intelligent Vehicles Symposium (IV 2025)
作者：Ahmed Abouelazm, Jonas Michel, J. Marius Zöllner

1. 研究背景与问题 (Problem)

随着自动驾驶技术的发展，强化学习（RL）因其能够从端到端（End-to-End, E2E）的传感器数据中直接学习驾驶策略，已成为自动驾驶领域的重要研究方向。然而，奖励函数（Reward Function）的设计是 RL 在自动驾驶中应用的核心挑战。

• 多目标冲突：自动驾驶是一个复杂的多目标优化问题，涉及安全、舒适性、通行效率（Progress）和交通法规遵守等多个目标。这些目标之间往往存在冲突（例如，为了快速到达目的地而加速可能会降低安全性）。
• 设计缺乏标准化：现有的奖励函数设计缺乏统一的行业标准，导致不同研究中的目标定义模糊、难以比较。
• 上下文感知缺失：大多数奖励函数是静态的，无法根据驾驶环境（如城市 vs. 高速、天气、交通密度）动态调整策略。
• 验证框架缺失：目前缺乏自动化的框架来验证奖励函数是否真正引导智能体学习到符合人类期望的安全且高效的策略，容易导致“奖励黑客”（Reward Hacking）或次优策略。

2. 方法论 (Methodology)

本文采用系统性文献综述的方法，对现有的基于 RL 的自动驾驶研究中的奖励函数进行了深入分析。

• 分类框架：作者将文献中的奖励项分解并归类为四个核心类别：
  1. 安全性 (Safety)
  2. 通行效率/进度 (Progress)
  3. 舒适性 (Comfort)
  4. 交通法规遵守 (Traffic Rules Compliance)
     注：模型性能相关的奖励项（如探索奖励）未被纳入核心分析，因为它们不直接反映驾驶目标。
• 局限性分析：针对每个类别，分析其现有的数学 formulations（公式化表达）、优缺点，并识别出普遍存在的结构性缺陷（如目标聚合方式、上下文无关性）。
• 未来方向提案：基于发现的缺陷，提出改进奖励函数设计的理论框架和具体技术路线。

3. 关键贡献与发现 (Key Contributions & Findings)

A. 奖励函数类别的深度分析

1. 安全性 (Safety)：

   • 现状：多采用稀疏奖励（碰撞时给予负奖励）或基于距离/时间的连续风险惩罚（如 TTC - 碰撞时间）。
   • 问题：简单的碰撞惩罚无法区分事故严重程度（如轻微剐蹭 vs. 高速撞人）；基于距离的惩罚可能无法准确反映动态风险（TTC 更优）。缺乏对“安全驾驶行为”的正面奖励，仅关注惩罚。
   • 建议：结合稀疏碰撞惩罚与基于 TTC 或车头时距（Headway）的连续密集惩罚，并引入事故严重程度和参与者类型（行人、车辆）的加权。

2. 通行效率 (Progress)：

   • 现状：通常通过奖励到达终点、最小化时间步或最大化行驶距离/速度来定义。
   • 问题：简单的距离奖励可能导致智能体“抄近道”或逆向行驶；固定速度目标忽略了交通密度和天气；过度追求进度可能导致智能体在障碍物前选择碰撞而非等待（因为等待的累积惩罚大于碰撞惩罚）。
   • 建议：需基于道路拓扑计算实际路径距离，并动态调整目标速度。

3. 舒适性 (Comfort)：

   • 现状：主要关注加速度（加减速）和急动度（Jerk，加速度的变化率）的惩罚。
   • 问题：缺乏统一标准；许多研究完全忽略了舒适性；现有公式往往忽略了转向平滑度（Steering Smoothness）和横向加速度变化率。
   • 建议：需综合纵向/横向加速度、急动度以及转向角的变化率。

4. 交通法规遵守 (Traffic Rules)：

   • 现状：包括车道保持、限速、让行规则等。
   • 问题：缺乏处理多规则冲突的机制；通常采用软惩罚而非硬性约束，导致规则执行不严格。

B. 通用局限性 (General Limitations)

1. 属性聚合方式单一：

   • 大多数研究使用简单求和或加权求和（$r = \sum w_i r_i$）。
   • 缺陷：权重难以手动调节（缺乏直觉指导），且无法有效处理目标间的动态冲突。逆强化学习（IRL）虽可学习权重，但计算成本高且泛化性差。
   • 替代方案：字典序排序（Lexicographic ordering）虽能解决优先级问题，但缺乏灵活性且阈值需手动设定。

2. 缺乏上下文感知 (Lack of Context Awareness)：

   • 现有奖励函数通常针对特定场景（如仅城市驾驶或仅变道）设计，缺乏通用性。
   • 缺乏在不同驾驶场景（如从高速切换到城市）之间平滑过渡的机制。

3. 忽视经济因素：

   • 现有研究极少考虑燃油效率或成本优化，尽管这对自动驾驶的商业化至关重要。

4. 验证框架缺失：

   • 目前缺乏自动化的奖励函数验证框架，难以系统性检测奖励函数是否诱导了不安全行为。

4. 结果与未来工作建议 (Results & Future Proposals)

基于上述分析，作者提出了以下三个关键的未来研究方向：

1. 规则手册 (Rulebooks)：

   • 概念：用预定义的规则优先级（$R, \leq$）替代手动权重。规则按重要性排序，智能体优先满足高优先级规则。
   • 优势：消除了手动权重调整的模糊性，能更好地处理目标冲突（例如：安全 > 舒适 > 效率）。已有研究证明其在规划模块中的有效性。

2. 上下文感知与奖励机器 (Context & Reward Machines)：

   • 概念：利用奖励机器（Reward Machines）作为有限状态机的扩展，将复杂的驾驶任务分解为基于上下文的子任务。
   • 优势：能够根据环境状态（如天气、路段类型）动态切换奖励策略，提高奖励函数的泛化能力和适应性。

3. 奖励函数验证框架 (Validation Framework)：

   • 建议：建立自动化的验证框架，利用对抗性场景生成技术（Adversarial Scenario Generation）来测试奖励函数。
   • 目标：自动检测奖励函数是否会导致智能体在极端或临界情况下产生不安全行为，确保 RL 代理的可靠性。

5. 意义 (Significance)

• 填补标准空白：本文首次系统地梳理了自动驾驶 RL 奖励函数的分类与现状，指出了当前缺乏标准化定义的痛点。
• 指导工程实践：通过揭示现有加权求和方法的局限性，为研究人员转向更先进的聚合方法（如 Rulebooks）提供了理论依据。
• 提升安全性：强调上下文感知和自动化验证的重要性，有助于解决 RL 在自动驾驶中“黑盒”决策带来的安全隐患，推动 RL 从实验室走向实际部署。
• 促进多目标平衡：提出的框架有助于在安全、效率、舒适和法规之间找到更合理的动态平衡点，而非依赖静态的权重调整。

总结：该论文不仅是对现有文献的回顾，更是一份针对自动驾驶强化学习奖励函数设计的“诊断书”和“路线图”，强调了从静态、加权、场景特定的设计向动态、基于规则优先级、上下文感知且可验证的架构转变的必要性。