🤖 machine learning

NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception

本文介绍了 NeuralActuator，这是一种在新建数据集上训练的神经执行器模型，该模型通过共同预测模拟器等效转矩代理、外部接触力和电机健康评分，旨在解决从仿真到现实（sim-to-real）的误差，并实现跨多种低成本及高端机器人平台的无传感器力感知。

原作者： Zhiyang Dou, John U. Onyemelukwe, Hangxing Zhang, Heng Zhang, Minghao Guo, Yunsheng Tian, Michal Piotr Lipiec, Joshua Jacob, Chao Liu, Peter Yichen Chen, Yuri Ivanov, Wojciech Matusik

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiyang Dou, John U. Onyemelukwe, Hangxing Zhang, Heng Zhang, Minghao Guo, Yunsheng Tian, Michal Piotr Lipiec, Joshua Jacob, Chao Liu, Peter Yichen Chen, Yuri Ivanov, Wojciech Matusik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机械臂抓取杯子。你可能会想：“很简单！只要告诉电机该发送多少功率，它们就会把机械臂推到你想要的位置。”但对于廉价、日常使用的机械臂来说，这种简单的数学逻辑往往会失效。这就像是在驾驶一辆转向盘发涩且油门有时会卡住的汽车；由于摩擦力、热量和陈旧齿轮的存在，你对引擎下达的指令与汽车实际表现之间的关系变得混乱不堪。

NeuralActuator 应运而生，它是一种为机器人电机打造的新型“大脑”，让机器人不再靠猜，而是开始学习。它不再假设电机是完美的，而是像一位观察入微的机械师，通过观察机器人的运动、倾听电机的嗡鸣声并感知热量，来弄清楚究竟发生了什么。

问题所在：“发涩”的机器人

大多数机器人，尤其是那些价格低廉的机器人，都依赖于一个简单的规则：“更多的电流等于更强的推力。”但在现实世界中，廉价电机是非常“混乱”的。它们存在摩擦力、会发热，而且齿轮之间存在微小的间隙（回程误差），这会让它们显得迟钝。如果你只是命令一个廉价机器人移动，它可能会出现滞后、抖动或推力超出预期的现象。这使得很难教会机器人完成精细的任务，比如拿起一个鸡蛋而不将其压碎，因为机器人并不知道自己实际施加了多大的力。

解决方案：一个“神奇”的翻译官

研究人员构建了 NeuralActuator，这是一个神经网络（一种人工智能），充当了机器人指令与其现实世界运动之间的“翻译官”。你可以把它看作是模拟器的最佳拍档。

通常情况下，要教导机器人，你需要知道电机产生了多少精确的力量。但在廉价机器人上，你无法直接测量这种力量。因此，研究人员想出了一个聪颖的办法：让机器人的运动本身成为老师。

他们使用了一个“可微模拟器”（一个理解物理规律的高级视频游戏引擎）来观察机器人的运动。如果机器人的运动与模拟预测略有出入，AI 就会意识到：“哎呀，我对电机的判断错了。”然后，它会调整其内部关于电机行为的模型。这就像是通过观察自己实际走出的路径来学习骑自行车，而不是仅仅猜测自己蹬踏的力度。

它能做什么（神奇的魔术）

训练完成后，这个 AI 不仅能预测运动，还能实现另外三个酷炫的功能：

“无手感应”： 即使没有在指尖安装特殊的压力传感器，NeuralActuator 也能猜出机器人何时接触到了物体。这就像拥有了第六感。如果机器人撞到了墙，AI 会注意到电机在挣扎，并发出警报：“嘿，我们碰到东西了！”它甚至能估算出推力的强度。在测试中，当机器人推动一个测力计时，AI 的预测误差仅为 0.015 到 0.037 牛顿（这比一个小回形针还要轻！）。
检查电机健康状况： 该系统可以识别电机是否表现异常。在一项实验中，研究人员在关节处绑上了橡皮筋，使其难以移动。AI 以 91.0% 的准确率察觉到了这种“机械限制”，它注意到尽管机器人在沿着相同的路径运动，但电机承受的负担比平时更大。
适配任何预算： 团队在三种截然不同的机器人上进行了测试：
- 一个造价约 500 美元的微型廉价机械臂。
- 一个中端机械臂。
- 一个造价超过 30,000 美元的高端工业机器人手臂。
  该 AI 都能准确预测这些机器人的运动和力量，证明了无论机器人是廉价玩具还是高端机器，它都同样适用。

它是如何学习的

为了教导这个 AI，研究人员构建了一个特殊的“双臂”设置。一只手臂由人类控制（领导者），另一只手臂（跟随者）则尝试模仿人类的动作，同时承受重量或对抗物体进行推挤。他们记录了所有数据：发送的指令、电机的温度、流过的电流以及实际测得的力量。这创造了一个庞大的数据集，称为神经驱动数据集 (Neural Actuation Dataset, NAD)。

AI 通过观察这些记录进行学习。它不仅仅是死记硬背动作，它还在学习电机的“故事”。它会观察过去几秒的历史记录（指令、速度、热量和电流）来预测下一步会发生什么。它使用了一种“Transformer”架构（与现代许多 AI 聊天机器人背后的技术相同）来理解机器人的过去行为如何影响其未来。

结果：更聪明、更安全的机器人

当他们将这个 AI 应用于实际工作时，结果令人印象深刻。

更好的控制： 当他们使用 NeuralActuator 来辅助机器人学习抓取并放置物体（一项被称为“行为克隆”的任务）时，成功率大幅提升。对于“抓取并放置”任务，使用该 AI 后，机器人的成功率从原本的 80% 跃升至 92.5%。
快速思考： 这个 AI 的反应速度极快。它可以在图形卡上以 0.25 毫秒的速度做出决策，这足以跟上每秒运动 60 次的机器人节奏。
无需神奇传感器： 最酷的部分在于，它不需要昂贵的力传感器就能知道自己是否触碰到了物体。它仅仅通过“倾听”电机来推断这一切。

它的局限性（并非万能）

重要的是要了解这个 AI 不能做什么。

它不是未来的水晶球： AI 是根据机器人“刚刚做了什么”来预测结果的。除非你还有一个模型能解释电机会对从未见过的全新指令做出何种反应，否则它无法预知如果给出一个完全不同的指令会发生什么。
它并非永远完美： 如果机器人变得非常陈旧，或者环境发生了剧烈变化，AI 可能会在长时间运行后出现“漂移”。不过，研究人员展示了可以通过仅需 12 个新的运动样本（耗时约 356 秒）进行快速“微调”，从而让它重回正轨。
它是一种预测，而非直接测量： 在廉价机器人上，AI 预测的是一个“代理值”（替代指标）。它并不是在实验室环境下测量电机的精确物理参数，而是学习一种极其有效的模式，使其表现得就像真实的物理测量一样。

核心总结

NeuralActuator 是让机器人变得更聪明、更经济的重要一步。通过教会机器人理解自身的电机，并在无需昂贵传感器的情况下“感知”周围环境，它为廉价机器人执行精细的现实任务（如拿起物体、按下按钮或与人类协作）打开了大门。它将一个只会盲目执行命令的机器人，变成了一个真正理解自己如何运动的智能体。

技术摘要：NeuralActuator

问题陈述

虽然可微仿真器已经推动了机器人控制的发展，但**执行器动力学（actuator dynamics）**仍然是导致从仿真到现实（sim-to-real）误差的重要来源，尤其是在低成本平台上。标准的控制近似假设电流与关节转矩之间存在线性关系（ $\tau = K_t I$ ）。然而，在基于成本较低的伺服驱动平台（例如无刷直流舵机）上，由于无法建模的非理想特性（如齿轮箱摩擦、滞后、回差、电流饱和和热漂移），这种近似往往会失效。由于内部传动状态是不可观测的，这些随时间变化的效应很难通过解析方法进行建模。因此，依赖线性的电流-转矩映射会导致努力跟踪（effort tracking）能力差、阻抗行为不稳定以及力感知性能下降，尤其是在缺乏专用力/力矩传感器的情况下。

方法论

作者提出了 NeuralActuator，一种数据驱动的可微神经模型，能够联合预测执行器行为与外部交互。

1. 架构与输入

NeuralActuator 利用 Transformer 架构来捕捉时间依赖性以及非线性、具有历史依赖性的执行器动力学。

输入序列： 在每个时间步 $t$ ，模型处理由九个标记（ $H_{hist} + 1$ ）组成的序列，包括指令目标、本体感受状态（位置、速度）以及执行器遥测数据（电流、电压、温度）。
多任务头（Multi-Task Heads）： Transformer 编码器为四个不同的输出头提供反馈：
1. 转矩代理头（Torque-Surrogate Head）： 预测一个等效于仿真器的广义努力代理值（ $\tau_{pred}$ ）。这并非直接的物理转矩测量值，而是一个当输入到可微仿真器中时，能够重现观测到的运动的值。
2. 力头（Force Head）： 预测原始的 3D 外部力向量（ $\hat{f}_{raw}$ ）。
3. 接触门控（Contact Gate）： 预测一个接触概率（ $g \in [0, 1]$ ），用于对力输出进行门控处理（ $\hat{f} = g \cdot \hat{f}_{raw}$ ）。
4. 电机状态条件头（Motor-Condition Head）： 预测一个分数，用于指示特定关节处于正常运行还是机械受限状态。

2. 训练策略

其核心创新在于监督机制，该机制避免了在缺乏可靠转矩传感器的低成本平台上需要直接广义努力标签（转矩）的问题。

转矩代理监督： 转矩代理头通过可微仿真进行训练。预测的代理值会被裁剪并输入到可微物理引擎（MuJoCo/MJX）中。损失函数基于模拟轨迹（未来的位姿）与真实机器人记录轨迹之间的差异进行计算。这使得模型能够学习实现匹配动力学所需的有效输入，而无需假设固定的电流-转矩转换关系。
直接监督： 力、接触门控和电机状态条件头使用直接标签（力传感器读数、接触事件和已知的机械限制）进行训练。
数据集 (NAD)： 作者引入了 Neural Actuation Dataset (NAD)，该数据集通过双臂遥操作系统采集。它包含了同步的机器人状态、执行器遥测数据以及涵盖自由运动、负载处理和接触交互过程中的外部力标签。

3. 集成

该模型被集成到仿真循环中进行端到端训练。在推理过程中，转矩代理驱动仿真器进行轨迹传播，同时力头和状态条件头为感知和诊断提供辅助输出。

核心贡献

NeuralActuator 模型： 一种可微的多任务神经执行器模型，能够在不需要直接转矩传感器的情况下，预测仿真器等效转矩代理、外部力、接触概率和电机健康评分。
通过可微物理进行训练： 一种创新的训练方案，通过可微仿真利用位姿轨迹对转矩代理进行监督，从而绕过了不可靠的电流-转矩校准问题。
神经执行器数据集 (NAD)： 一个包含实时机器人状态、执行器遥测和末端执行器外部力标签的真实机器人数据集，通过定制的双臂遥操作系统采集。
跨平台验证： 在三个涵盖广泛价格区间（从 500 美元到 30,000 美元以上）的不同平台进行了全面的评估：
- OpenManipulator-X： 5 自由度，低成本，舵机驱动。
- SO-101： 6 自由度，低成本，LeRobot 堆栈。
- Franka Emika Panda： 7 自由度，工业级。

实验结果

论文通过以下基准测试验证了 NeuralActuator 的有效性：

展开精度（Rollout Accuracy）： 在 OpenManipulator-X 上，该模型在关节角度（例如在 600 步时约为 2.5°–3.1°）和夹持器位置方面实现了较低的平均绝对误差（MAE），在长时程内优于基准模型。
力估计：
- 接触检测： 在接触轨迹上实现了较低的力 MAE（0.36–0.57 N），并在非接触轨迹上几乎没有预测值。
- 负载基准： 在各种重量（200g–500g）下都能准确估计重力负载（MAE 为 0.08–0.12 N）。
- 对比： 显著优于基于模型的基准方法（包括具有线性摩擦、Stribeck 摩擦和广义动量观测器的模型），例如，相比于表现最好的基准模型，其 MAE 从 0.66 N 降至 0.12 N。
电机状态估计： 在区分正常运行与机械受限（使用橡皮筋约束关节）的操作方面，达到了 91.0% 的准确率和 0.95 的 AUC-ROC，显著优于阈值法、SVM 和随机森林等基准方法。
下游控制： 当作为冻结的预训练模块用于行为克隆时，具备力感知能力的策略比仅基于位置的基准策略提升了任务成功率（例如，在取放任务中从 80% 提升至 92.5%）。
效率： 该实现实现了在 60 Hz 控制速率下的亚毫秒级 GPU 推理（平均耗时 0.25 ms），且参数量适中（1.44M 参数）。

重要性与主张

论文声称 NeuralActuator 通过提供一种鲁棒的、数据驱动的替代方案来取代解析执行器建模，解决了低成本机器人领域的一个关键空白。其重要性在于：

实现无需传感器的力感知： 它允许低成本机器人仅利用标准遥测数据（电流、电压、温度）和本体感受来感知外部力和接触，消除了对力/力矩传感器的成本壁垒。
弥合仿真与现实的差距（Sim-to-Real）： 通过学习考虑了摩擦、回差和热效应的历史依赖映射，它提高了低成本硬件在可微仿真中的保真度。
可扩展性： 该方法在多种不同类型的执行器和价格点上得到了验证，表明其作为日益增长的廉价机器人生态系统通用解决方案的潜力。
诊断能力： 在无需额外硬件的情况下检测机械限制（如卡死的关节）的能力，为机器人系统增加了可靠性和维护能力。

作者也指出了局限性，包括在长时程、以记录的遥测数据为条件的展开过程中会出现误差累积，以及目前无法在没有额外的“努力-响应”模型的情况下进行反事实规划（counterfactual planning）。然而，他们证明了在线自适应可以减轻漂移，并且该模型能有效地支持现实世界的操控任务。