SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

在机器人技术和自动化机械领域，移动一次的机器与重复执行成千上万次任务的机器之间存在着明显的区别。当机械臂必须焊接汽车车架，或者打印机必须以完美的精度铺设塑料层时，它是在反复执行相同的动作。工程师们早已知晓，如果一台机器在第一次尝试时犯了一个小错误，它可以从这个错误中学习，以便在下一次做得更好。这种被称为迭代学习的方法将每一次重复都视为一次教训，使系统能够不断优化其运动路径，直到路径变得平滑且准确。然而，现实世界的机器并非完美无缺。它们面临着不可预测的颠簸、变化的负载以及电机能施加力量的物理极限。如果机器试图通过过度用力来纠正错误，它可能会撞上物理障碍，从而损坏自身或产品。挑战在于，如何教会机器在学习错误的同时，严格遵守自身的物理边界，尤其是在环境在每次尝试之间发生不可预测变化的情况下。

来自江南大学和波兰扎莱诺古拉大学的研究团队开发了一种新方法，旨在解决这一针对具有多个运动部件的复杂机器的具体问题。他们创建了一个控制系统，该系统将传统的学习算法与一种称为“软行为者-评论家”（soft actor-critic）的现代人工智能技术相结合。这种混合系统是为那些必须重复任务但面临两个困难条件的机器而设计的：一是环境在每次执行任务时都会发生微小变化，二是机器拥有严格且不对称的力量限制。在许多现实场景中，机器可能被允许以一定的强度向前推，但在向后拉时的限度却不同，或者在不同方向上的限制也不同。研究人员的目标是确保机器能够有效地学习，同时即使在学习过程本身试图提出一个过强动作时，也绝不违反这些安全限制。

其解决方案的核心涉及一个两步安全检查机制，他们将其描述为“双层屏障”。想象一下，一台机器刚刚完成了一项任务，正准备进行下一项。首先，系统根据前一次运行中的误差计算出一个改进后的运动方案。在该方案被保存以供未来使用之前，它会通过第一层安全层。这一层充当过滤器，确保存储的运动记忆保持在安全边界内，防止机器“记住”一个无法执行或危险的指令。然后，当机器实际执行任务时，它会接收来自人工智能组件的实时调整。这个人工智能充当智能补偿器，感知如风力或摩擦力等意外干扰，并进行微小的、快速的修正。然而，这些修正也可能将机器推向其极限。因此，信号在到达电机之前会通过第二层安全层。这第二个过滤器确保发送给机器的最终指令绝不会超过其物理能力，无论人工智能的建议有多强，或者外部干扰有多大。

为了测试这种方法，研究人员模拟了一个由弹簧和阻尼器连接的两个质量块组成的复杂机械系统，这是理解耦合部件如何协同运动的常见模型。他们编写程序让系统遵循特定路径，同时施加随每一次试验而变化的随机、非重复性的干扰。他们将这种新方法与几种现有技术进行了对比，包括标准的学习控制器和其他处理约束的先进方法。结果显示，这种双层屏障系统显著优于其他方法。在最后一组试验中，与排名第二的方法相比，新方法的平均跟踪误差减少了一半以上。至关重要的是，虽然其他方法偶尔会提出会导致违反机器安全限制的动作，但新系统保持了零违规的完美记录。存储的学习指令和施加到机器上的实际力量在整个实验过程中都严格保持在安全区域内。

该研究还详细分解了系统的每个部分是如何为成功做出贡献的。通过关闭特定的组件，研究人员证明了第一层安全层对于保持机器记忆安全至关重要，而第二层对于在人工智能进行调整时保持实际物理运动安全则是必不可少的。如果没有这两层协作，系统要么面临存储危险指令的风险，要么无法在不违反规则的前提下应用必要的修正。人工智能组件成功学会了生成与随机干扰相对抗的修正，从而有效地抵消了这些干扰。研究人员发现，系统的学习和适应能力并非仅仅是模拟产生的现象，而是源于严谨的数学分析，该分析保证了机器将保持在一个可预测的误差范围内。这项工作表明，构建既高度适应又严格安全的机器是可能的，使它们能够在复杂的、变化的环境中学习，而绝不逾越其物理边界。