Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

在机器人领域，运动往往是一个权衡取舍的过程。标准的轮式机器人只能前进和转向，若要横向移动，它必须先转动整个车身。这种局限性使得在狭窄空间（如拥挤的仓库或狭窄的工厂通道）中导航变得缓慢且笨拙。为了解决这个问题，工程师开发了麦卡姆轮（Mecanum wheel）。这些是装有环形小角度滚轮的标准轮子。这一简单的改进让机器人可以向任何方向滑动——前进、后退、侧移，甚至是斜行——而无需改变其前端朝向。它是自动化领域的一项强大工具，使机器能够像人在拥挤人群中穿行一样，灵活地穿梭于障碍物之间。

然而，让这些机器人精确移动比看起来要困难得多。麦卡姆机器人的物理特性受到两个主要因素的复杂影响。首先，轮子本身容易发生打滑；滚轮无法完美地抓紧地面，导致产生微小且不可预测的运动误差。其次，或许更为关键的是平衡问题。当机器人携带负载（如箱子或机械臂）时，其重量中心往往会偏离几何中心。这种偏移改变了机器人抵抗转向的方式以及重量在四个轮子上的分布情况。如果控制系统不考虑这种重量偏移和不可避免的轮子打滑，机器人就会偏离航线、发生振荡或无法遵循预定路径。

河内电力大学的研究人员通过开发一种新的方式来教导这些机器人如何保持航向，从而解决了这一问题。他们的工作专注于一种特定的智能控制技术，这种技术通过经验学习，而不是依赖于对机器人物理特性的完美预设模型。在研究中，他们创建了一个系统，使四轮麦卡姆机器人即使在重量分布不断变化且轮子打滑的情况下，也能高精度地追踪预定路径。他们通过使用一种称为“离策积分强化学习”（off-policy integral reinforcement learning）的方法实现了这一点，这种技术允许机器人通过观察运行期间收集的数据来学习最佳运动方式，而无需预先了解其自身机械结构的每一个细节。

研究人员应对的核心挑战在于现实世界的机器人是“混乱”的。理论模型假设理想条件，但在现实中，机器人可能会携带一个在移动过程中会发生位移的重物，或者其轮子可能会在光滑地面上失去牵引力。传统的控制方法往往难以应对这些不确定性，需要工程师对系统进行保守的调优，或者始终拥有关于机器人重量和摩擦力的精确知识。论文中提出的新方法将控制问题视为两个对立力量之间的博弈。一方面是机器人的控制器，它希望最小化维持路径所需的能量；另一方面是“最坏情况”下的扰动，代表了由打滑或重量偏移引起的最大的可能误差。目标是找到一种策略，即使在环境试图尽可能强烈地将机器人推离航向时，依然能表现出色。

为了解决这个问题，研究人员使用了被称为哈密顿-雅可比-艾萨克方程（Hamilton–Jacobi–Isaacs equation）的数学框架。由于该方程对于真实的机器人来说过于复杂，无法用简单的公式求解，团队利用了一种涉及人工智能的巧妙变通方法。他们采用了三个神经网络（一种模仿人类大脑构建的计算机系统）来学习解法。一个网络充当“评论家”（critic），评估机器人的表现；第二个网络是“控制执行者”（control actor），决定向轮子发送什么电机指令；第三个网络是“扰动执行者”（disturbance actor），学习预测环境可能带来的最坏误差。通过在机器人运动过程中收集的数据对这些网络进行共同训练，系统学会了一种既能保证运动平滑，又能抵御扰动的鲁棒策略。

研究人员在两个不同的场景下使用计算机仿真测试了他们的新型控制器。在第一个场景中，他们模拟了一个具有固定且不变的重量偏移的机器人，类似于携带一个永不动弹的重箱的机器人。在这个稳定的环境中，新型控制器表现得与标准学习方法一样出色，能够高精度地让机器人在圆形路径上行驶。机器人的电机产生了平稳、稳定的扭矩，系统学习迅速且未出现不稳定现象。这证实了即使机器人的物理特性虽然与理想设计不同但保持恒定时，该方法依然有效。

第二个场景则要求更高。在这里，研究人员模拟了一个质心不断变化的机器人，就像机器人正携带一个自身重量会发生移动的机械臂。他们还引入了随时间变化的轮子打滑和总重量的变化，模拟机器人在搬运和放下重物时的状态。在这种混乱的环境中，标准学习方法开始表现挣扎，显示出较大的航向误差和较差的控制平滑度。相比之下，这种新型离策控制器保持了对预定路径的紧密追踪。它成功补偿了重量偏移和轮子打滑，保持了较小的追踪误差和较平滑的电机指令。仿真结果显示，该新型控制器在减少机器人航向角误差方面比标准方法更有效，证明了其处理复杂、多变不确定性的卓越能力。

研究结论指出，这种新方法为在不可预测环境中运行的移动机器人提供了显著的改进。通过明确考虑最坏情况下的扰动并从数据而非完美模型中学习，该系统实现了一种传统方法所缺乏的鲁棒性。研究人员验证了该系统保持稳定，且学习过程不会导致异常行为，即使在严峻的不确定性下也是如此。虽然目前的结果基于计算机仿真，但它们为未来的工作奠定了坚实的基础。下一步是将该控制器应用于真实的机器人，从数字仿真的安全性转向工厂车间那混乱且不可预测的现实世界。如果成功，这项技术将使麦卡姆机器人在动态环境下（从自动化仓库到环境不断变化的各种服务环境）实现更高水平的自主性和可靠性运行。