⚡ 电气工程

A KT-LSTM-SAC-Based Closed-Loop Temperature Control Strategy for Medical Robot-Assisted Moxibustion

本文提出了一种基于 KT-LSTM-SAC 的闭环控制策略，该策略通过一种由 LSTM 增强的软 Actor-Critic 算法整合运动学与热学数据，通过连续调节末端执行器的工作距离，以实现机器人辅助艾灸中精确、安全且稳定的温度调节。

原作者： xuelian gu, ping Li, jiale dong, yurong tao, zikai liu, chengyu yuan

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： xuelian gu, ping Li, jiale dong, yurong tao, zikai liu, chengyu yuan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

几个世纪以来，艾灸的实践一直依赖于从业者稳定的双手和经验丰富的眼神。在这种传统疗法中，一根干燥的艾条被点燃，并靠近皮肤上的特定穴位以温暖底层组织。其目标是达到精确的深度热量，从而刺激身体而不灼伤表面。然而，人体皮肤对热量的反应很快，而深层组织升温则要慢得多。这种延迟造成了一个困难的挑战：如果从业者为了修正缓慢上升的深层热量而将热源移动得太近，就有可能在深层目标感受到益处之前就灼伤皮肤。反之，如果等待深层组织变热的时间过长，表面可能会变得过热。使这一过程对每位患者都保持一致且安全，需要一种人类反应时间难以维持的精准度，尤其是在患者在治疗过程中呼吸或轻微移动时。

为了填补人类局限性与治疗需求之间的这一差距，上海理工大学的研究人员开发了一种让机器人管理这种微妙热平衡的新方法。他们创建了一个计算机模拟，让一个机械臂拿着热源悬停在人体背部模型上方。该机器人并非仅仅是对皮肤温度做出反应，而是被教导去预测深层组织内部正在发生的情况。团队构建了一个类似于“双流大脑”的系统：一部分观察机器人的运动和热源与皮肤之间的距离，而另一部分则记录温度随时间变化的历程。通过结合这两类信息流，机器人学会了持续调整其位置，通过移动热源的远近，使深层组织保持在稳定的、具有疗效的温暖状态，同时确保皮肤的安全。

该系统的核心是一种被称为 KT-LSTM-SAC 的方法，这个名字描述了机器人的思考方式。“KT”代表运动学-热学（kinematic-thermal），意味着机器人既考虑其物理位置，也考虑其产生的热量。“LSTM”部分让机器人能够记住过去的一系列温度，从而理解热量从皮肤传导至深层组织需要时间。“SAC”组件是一个学习算法，它帮助机器人通过试错来寻找最佳行动方案，就像人类通过摔倒和调整直到找到平衡感来学习骑自行车一样。在本次特定的研究中，机器人的唯一任务是控制热源与皮肤之间的距离，沿着垂直于身体的直线移动。如果深层组织太冷，机器人就会将热源移近；如果热量过高，它就会移开。至关重要的是，系统在训练中设定了严格的安全规则，如果皮肤温度过高或热源靠得太近，就会对机器人进行惩罚，从而迫使它寻找一条通往目标温度的安全路径。

研究人员在一个高度详细的虚拟环境中测试了这个系统，该环境模拟了人体物理特性，包括热量在组织中的扩散方式以及人体因呼吸引起的胸部起伏。他们设定了一个目标，即让深层组织达到并保持在 43.0 摄氏度——这是一个已知有效但需要谨慎管理以避免受伤的温度。他们将这种新机器人大脑与几种旧方法进行了对比，包括标准的工业控制器和其他不具备温度历史记忆或双流设计的人工智能方法。结果显示，新方法在保持深层组织处于理想温度范围方面表现显著优越。在最精确的一次测试中（即允许目标值波动仅为 0.5 摄氏度），机器人有 94.80% 的时间能将温度保持在正确区间内。它还保持了仅为 0.32 摄氏度的极小平均误差。

或许更重要的一点是，新系统证明了其比替代方案更加安全。当研究人员从机器人的训练中移除安全规则时，它变得非常擅长快速达到目标温度，但它是通过极度靠近皮肤来实现的，导致表面温度飙升。而带有安全约束的完整系统则学会了更加耐心。虽然它在深层组织的平均误差略高，但它能让皮肤温度保持在较低水平，并避免了危险的动作。这种权衡表明，机器人学会了将患者的长期安全置于加热速度之上。研究还发现，即使在模拟环境经过调整以模拟不同体型或略微不同的热特性时，该机器人依然保持有效，这表明其学习过程具有鲁棒性，并不受限于测试中使用的特定数值。

尽管这些结果令人鼓舞，但研究人员明确指出，这项工作目前仍处于模拟阶段。机器人尚未在真实的皮肤或物理机械臂上，或是在医院环境中进行过测试。该研究证明，计算机模型可以比目前的标准方法更好地管理皮肤热量与深层组织温暖之间复杂的延迟关系。它表明，在未来，机器人可以辅助艾灸，提供一种人类难以持续维持的稳定且安全的控制。这项技术的下一步工作将涉及构建物理原型，并使用模拟人体组织的材料进行测试，以观察虚拟世界的成功是否能转化为现实世界的成果。在此之前，这项研究作为一个概念验证，证明了人工智能可以学会如何带着精准与关怀，去处理热疗中细微且具有时间延迟的物理过程。

技术摘要：一种基于 KT-LSTM-SAC 的医疗机器人辅助艾灸闭环温度控制策略

问题陈述
目前的机器人辅助艾灸高度依赖操作者经验，并在面对热响应延迟和闭环温度稳定性不足方面面临重大挑战。尽管现有的机器人系统在穴位定位和表面温度反馈方面取得了进展，但往往无法充分考虑目标深层组织的热状态。深层组织温度难以进行非侵入性测量，且由于热传递延迟、空间模式以及热效应的累积性，仅靠表面温度作为代理变量是不充分的。此外，呼吸运动引入的周期性位移也增加了维持一致治疗距离的难度。核心问题在于：如何在仅利用表面观测数据和运动学数据的情况下，在管理热疗固有延迟和安全约束的同时，实现对深层组织温度（目标为 43°C）稳定、安全且精准的控制。

方法论
本研究提出了一种运动学-热学双流 LSTM 增强型软行为者-评论家算法（KT-LSTM-SAC）。该控制任务被形式化为沿穴位表面法线方向对末端执行器间隙距离（standoff distance）的连续调整。该方法由三个主要部分组成：

等效温度反馈模型：
一个降阶模型通过表面温度 ( $T_{s,t}$ )、间隙距离和热记忆状态来估计深层组织温度 ( $\hat{T}_{d,t}$ )。该模型包含：
- 运动学状态： 包括目标穴位位置、表面法线、指令间隙距离与实际间隙距离、呼吸位移（通过余弦幂函数模拟）以及关节状态。
- 热学状态： 将等效热输入建模为随距离指数衰减的函数。它引入了一个热记忆状态 ( $m_t$ ) 以捕捉延迟和累积的热效应。深层组织温度根据表面温度、耦合系数和恢复项进行更新，从而模拟深层组织相对于表面的更慢响应过程。
KT-LSTM-SAC 控制策略：
控制架构采用双流网络，输入至软行为者-评论家（SAC）框架中：
- 运动学流： 一个多层感知机（MLP）处理运动相关变量（位置、距离、呼吸扰动）。
- 热学流： 一个长短期记忆网络（LSTM）编码前 50 个控制步中温度响应的历史记录（包括表面温度和估计的深层组织温度），以捕捉时间依赖性和延迟的热动力学特性。
- 融合： 一个门控融合模块结合两个流的特征，输出一个连续动作 ( $\Delta d_t$ )，代表间隙距离的调整量。
奖励函数与安全约束：
奖励函数平衡了温度追踪与安全性。它包括以下项：
- 追踪： 鼓励深层组织温度趋近目标值（43°C）。
- 稳定性： 奖励在目标区间内的维持行为。
- 安全惩罚： 明确惩罚过高的表面温度、过高的深层组织温度、过小的间隙距离以及累积的热损伤。
- 平滑度： 惩罚末端执行器动作的剧烈变化。

核心贡献

双流架构： 本文引入了一种新颖的 KT-LSTM-SAC 架构，它将运动学状态（包括呼吸扰动）与时间热学特征相融合。这使得该策略能够比标准的 SAC 或 LSTM-SAC 更有效地学习距离调整与延迟热响应之间的关系。
用于控制的深层组织估计： 不同于以往主要依赖表面温度的研究，本研究集成了一个等效传热模型来估计深层组织温度，并将其作为控制回路的主要反馈变量。
安全约束学习： 该方法将热学安全约束（表面限制、累积损伤、间隙距离）直接纳入奖励函数，确保策略在加热效率与患者安全性之间取得平衡。
综合仿真框架： 开发了一个基于 MuJoCo 的仿真环境，其中包含 6 自由度机械臂、人体背部模型、呼吸运动模拟以及动态热反馈模块，用以严格测试控制策略。

结果
该方法在目标温度为 43.0 ± 0.5°C 的仿真环境中进行了评估，并与 PID、TD3、标准 SAC 和 LSTM-SAC 进行了对比。

性能指标： KT-LSTM-SAC 实现了 94.80% 的目标区间占用率、0.32°C 的平均绝对误差 (MAE) 以及 3.60 × 10⁻² 的平均安全成本。
对比分析：
- 与 PID 相比，KT-LSTM-SAC 表现出显著更高的成功率和更低的追踪误差，证明了传统控制在面对延迟热动力学时的局限性。
- 与标准 SAC 和 TD3 相比，引入 LSTM 进行时间特征提取提高了追踪精度和安全性。
- 与 LSTM-SAC 相比，加入运动学流（KT-LSTM-SAC）进一步提升了目标区间占用率并降低了平均安全成本。
- 消融实验： 去除安全约束的 KT-LSTM-SAC（w/o Safety）虽然获得了较低的 MAE（0.29°C），但其平均安全成本（8.36 × 10⁻²）和最大表面温度显著升高，证实了安全约束对于防止激进、高风险加热行为的重要性。
鲁棒性： 在关键热学模型参数发生 ±10% 扰动的情况下，该方法保持了 100% 的成功率，但在 ±20% 扰动下性能有所下降。
适应性： 控制器在相邻目标温度（42.0°C、42.5°C 和 43.0°C）下均能成功维持性能。

意义与主张
本文声称，与现有的控制策略相比，KT-LSTM-SAC 方法在温度追踪性能与热安全性之间提供了更优的平衡。通过对运动学状态和时间热学特征进行联合建模，该方法有效地处理了生物组织中热传递的延迟性和累积性。研究认为，这种基于仿真的框架是实现医疗机器人辅助艾灸闭环温度控制的可行步骤。然而，作者也谦虚地指出，目前的工作是基于仿真的；未来需要通过组织模拟体模和物理机器人平台进行验证，以应对现实世界中的因素，如测量噪声、定位误差以及个体间热反应的差异性。

类似论文