⚡ electrical engineering

A Hybrid End-to-End and Modular Control Architecture Toward Safe Vehicle Lateral Control: Combining Soft Actor-Critic with Model Predictive Control

本文提出了一种混合车辆横向控制架构，该架构通过单调混合系数将软行为者-评论家（Soft Actor-Critic）强化学习策略与受约束的模型预测控制器相结合，在保持基于模型的控制的安全性保证与可解释性的同时，实现了端到端学习的适应性。

原作者： Farzaneh Tatari

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Farzaneh Tatari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

驾驶汽车涉及的是车辆与道路之间持续且微妙的博弈。为了保持在车道内行驶，车辆必须不断调整转向，以应对曲线、风力和轮胎抓地力的不均匀。几十年来，工程师们一直依赖两种主要方式来教会计算机如何完成这项工作。第一种是基于规则的方法，即汽车遵循一套严格的物理方程和预设限制。这种方法具有可预测性和安全性，但可能显得僵化；如果道路状况发生了规则未曾预见的改变，汽车可能会陷入困境。第二种方法是基于学习的方法，即计算机程序通过观察成千上万个驾驶案例，自行摸索出最佳动作。这种方法具有极高的灵活性，能够处理复杂的混乱情况，但它是一个“黑箱”：很难知道它为何做出特定的选择，也无法保证它在遇到从未见过的场景时不会犯下危险的错误。

自动驾驶的未来挑战在于如何结合两者的优点。我们需要一个既像人类学习者一样具有适应性，又像规则驱动型工程师一样可靠且易于理解的系统。独立研究员法尔扎内·塔塔里（Farzaneh Tatari）的一项新研究正是在解决这一问题，她为汽车的横向运动创建了一个混合控制器。该研究并非依赖单一方法，而是将基于学习的策略与基于规则的安全网进行融合。其目标是观察汽车是否能在受到安全系统约束、确保绝不超出物理极限或做出异常动作的同时，学会平稳且精准地驾驶。

为了测试这一想法，研究人员构建了一个以 15 米/秒恒定速度行驶的汽车数字模拟环境。在这个虚拟世界中，她设置了四种不同的“驾驶员”来观察它们的表现。第一个是多年来在汽车中广泛使用的标准简单控制器。第二个是先进的基于规则的系统，它在遵守转向速度严格限制的同时，不断计算最佳路径。第三个是纯学习系统，从零开始训练，旨在最小化误差而不依赖任何预设规则。第四个，也是最重要的，是全新的混合系统。该系统获取学习型人工智能的转向指令和基于规则的计算器的转向指令，并将两者融合为一条单一指令。它使用一个单一的旋钮来调节混合比例：将旋钮向一侧转动，会赋予灵活的学习型人工智能更多权重；向另一侧转动，则会赋予安全的规则型计算器更多权重。

模拟结果显示，学习型人工智能在保持车辆位于车道中心方面最为精准，其误差比传统的基于规则的系统更少。然而，纯学习型人工智能存在弱点：在极少数与其训练数据差异巨大的极端情况下，它偶尔会犯错，导致车辆过度偏离航线。混合系统既保留了学习型人工智能的高精度，又确保了每一条转向指令都处于汽车的安全物理极限之内。在绝大多数测试中，混合动力汽车的表现几乎与纯学习型人工智能一样出色。然而，在纯学习型人工智能出现失败的那些极少数极端案例中，混合系统也继承了完全相同的失败。由于学习型人工智能在混合比例中占据主导地位，规则型安全组件无法足够迅速地对其进行干预，从而无法阻止错误发生。

研究还探讨了当汽车遇到未经训练的情况（如湿滑路面或初始位置出现巨大偏差）时的情况。混合系统表现出了鲁棒性，即使在轮胎抓地力弱于预期或汽车初始出现显著横向漂移时，仍能保持其准确性。然而，研究人员发现这种安全性存在特定的局限。在极少数非常罕见的极端案例中，当汽车起始位置存在巨大偏差，且学习型人工智能试图向一个已达到其物理极限的方向转向时，这种混合机制无法及时纠正错误。这是因为学习型人工智能在混合比例中过于强势，导致规则型安全组件无法足够迅速地覆盖它，从而导致碰撞。

这一发现引出了关于此类系统在现实世界中应如何运作的关键洞察。研究人员提出，控制混合比例的“旋钮”不应该是固定的。相反，它应该与外部信息（如来自其他车辆或道路传感器的数据）相连。如果系统检测到汽车正在进入一个从未见过的场景，或者路况变得危险，旋钮应自动转向，从而赋予安全的规则型计算器更多权力。这将使汽车在普通道路上保持灵活性和高效性，而在情况变得不确定时，能立即变得更加保守和可预测。

这项工作证明，构建一个既能从经验中学习，又不丢失传统工程安全性保障的车辆控制器是可能的。混合方法成功地保留了学习系统的平滑、精准追踪能力，同时将汽车维持在物理边界之内。虽然目前的版本只是两种信号的简化融合，但研究指向了一个未来，即更高级的版本可以解决剩余的罕见失效问题。通过将控制器连接到车辆网络和道路基础设施，系统可以动态调整其行为，确保汽车即使在面对从未见过的复杂路况时也能保持安全。这代表了向着更智能、且更懂得何时依赖安全规则的车辆迈出的重要一步。

技术摘要：一种面向安全车辆横向控制的混合端到端与模块化控制架构

问题陈述
联网自动驾驶车辆（CAVs）需要能够在模型误差、传感器噪声和未建模扰动条件下，平衡精度、低控制量与安全性要求的横向控制器。目前的文献主要由两种截然不同的方法主导，且各具显著局限性：

模块化控制器（如 MPC、PID）： 这些控制器依赖于物理模型和显式约束，具有可解释性和安全性保证。然而，它们对模型不准确性较为敏感，且需要大量的参数调优。
端到端学习策略（如深度强化学习/Deep RL）： 这些策略能够适应非线性特征和未建模动力学，无需人工设计的控制律，但缺乏内在的安全性保证、可解释性，以及在分布偏移下的鲁棒性。

本文旨在解决如何将学习策略的适应性与模块化控制的安全性和可预测性相结合，且不以牺牲其中任何一方的长处为代价。

方法论
作者提出了一种混合架构，通过线性混合训练好的软行为者-评论者算法（Soft Actor-Critic, SAC）策略与受约束的线性模型预测控制（MPC）控制器。

车辆模型： 实验采用在 15 m/s 恒定纵向速度下的四状态线性化自行车模型。
模块化组件（MPC）： 线性 MPC 被建模为一个在 15 步时界内的二次规划（QP）问题，并设有显式的输入约束（ $|\delta| \leq 0.4$ rad）和输入变化率约束（ $|\dot{\delta}| \leq 3$ rad/s）。该控制器通过对 243 种权重配置进行网格搜索进行调优。
端到端组件（SAC）： SAC 策略在相同的受控对象上从零开始训练，其奖励函数对横向误差、航向误差、转向幅度及转向变化率进行惩罚。训练过程在带有随机初始条件的历程模拟器中进行。
混合架构： 在每个时间步 $k$ ，控制器计算 MPC 的第一步最优值（ $\delta_{MPC}$ ）与 SAC 策略输出（ $\delta_{SAC}$ ）的凸组合。最终的转向指令为：
$\delta_k = \text{sat}_{\delta_{max}} \left( (1 - \alpha(\lambda)) \delta_{MPC} + \alpha(\lambda) \delta_{SAC} \right)$
其中 $\alpha(\lambda) = \lambda / (1 + \lambda)$ 是一个单调混合系数。结果被饱和处理至与 MPC 使用的相同执行器限制范围内。
评估： 系统在标称工况、鲁棒性工况（大初始误差、过程噪声、轮胎刚度失配）以及多初始条件系综（5x5 网格交叉 5 个训练种子）下，针对 PID、调优后的线性 MPC、独立 SAC 及混合控制器进行了基准测试。

核心贡献

基准测试： 在使用线性化自行车模型的共享指标（RMSE、峰值误差、平均绝对转向、最终误差）下，对四种控制器（PID、MPC、SAC、混合控制器）进行了全面的比较。
混合公式： 提出了一种闭式混合机制，在受约束的模型锚点与学习策略之间进行插值，确保输出保持在执行器包络线内。
鲁棒性分析： 评估了混合控制器在显著扰动（包括过程噪声和轮胎刚度失配）下的性能。
局限性与扩展分析： 详细讨论了当前实现无法保证递归可行性或防止所有极端情况发散的问题，从而引出了一个基于车联网（V2X）信号进行调度混合系数的感知连接性扩展方案。

结果

标称性能： SAC 策略实现了最低的横向误差 RMSE（0.0167 m），分别比 PID 和线性 MPC 高出 48% 和 41%。混合控制器（当 $\lambda=12$ 时）的跟踪质量（RMSE 0.01 71 m）接近 SAC，同时保持了 MPC 的执行器包络，并为每一条指令提供了确定性的、基于模型的贡献。
鲁棒性： 在所有四种鲁棒性案例（大横向误差、大航向误差、过程噪声和轮胎刚度失配）中，SAC 和混合控制器均取得了最低的 RMSE，相比 PID 和 MPC 减少了 32–49% 的误差。
极端情况发散： 在 125 对多初始条件系综中，PID 和 MPC 在所有试验中均保持收敛。SAC 和混合控制器在 125 例中的 3 例（2.4%）出现了发散，这些案例发生在训练分布的极端边界处（例如 $\pm 0.4$ m 横向误差， $\pm 0.10$ rad 航向误差）。
失效模式： 分析表明，在所选的混合权重（ $\alpha \approx 0.92$ ）下，基于模型的贡献被限制在 $\approx 0.031$ rad。这不足以在单样本内抵消方向错误的饱和 SAC 指令，从而导致发散。

意义与主张
本文主张，该混合架构成功保留了独立 SAC 的跟踪质量，同时兼顾了模块化 MPC 的安全约束和可解释性。混合架构的主要价值不在于降低标称 RMSE（在此方面 SAC 已表现出色），而在于提供了一个可调接口（混合系数 $\lambda$ ），允许系统集成商在适应性与安全性之间进行权衡。

作者谦逊地指出，当前的实现是一个闭式凸组合，而非完整的预测性安全滤波器。因此，它无法保证递归可行性或终值不变性，也无法防止在严重的分布偏移下的失效，只能减轻其影响程度。

论文得出结论，该架构是迈向更严格安全滤波器的垫脚石。提出的后续路径包括：

将闭式混合替换为完整的约束 QP 预测性安全滤波器（其中 SAC 动作作为 MPC 目标函数中的软偏好进入）。
实现一个感知连接性的扩展，其中 $\lambda$ 根据 V2X 信号（例如路面摩擦力、天气状况）进行动态调度，以便在车辆运行在训练分布之外时，将控制权交还给基于模型的控制器。

本研究作为一项独立研究呈现，与任何雇主的产物无关，并为未来涉及更高保真度非线性模型及实车验证的工作奠定了基础。

类似论文