Embodied Learning of Reward for Musculoskeletal Control with Vision Language Models
本文介绍了视觉-语言表示运动（Motion from Vision-Language Representation, MoVLR），这是一个通过桥接抽象自然语言目标与隐式生理运动策略之间的鸿沟，利用视觉-语言模型为高维肌肉骨骼控制迭代式地发现并优化奖励函数的框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个高度复杂、类人化的机器人如何行走、奔跑或倒水。机器人的身体由数百个微小的肌肉和关节组成，它们全部连接在一个杂乱、纠缠的网络中。如果你试图给它一个简单的指令，比如“向前走”，机器人并不知道“如何”做到这一点。它不知道该如何收缩哪些肌肉，如何保持平衡，或者如何摆动手臂。
在过去，工程师们不得不扮演严厉的数学老师的角色，手动编写成千上万条具体的规则（奖励）：“保持头部抬起”、“不要向左倾斜”、“膝盖移动这么多”。这极其困难，往往导致机器人的动作僵硬、不自然，并且需要大量的试错。
新解决方案：“教练与评论员”团队
这篇论文介绍了一个名为 MoVLR（基于视觉-语言表示的运动控制）的新系统。你可以把它想象成一个由两位专家协作教学的团队，而不是一个人在编写手册。
- 机器人（运动员）： 它根据一套规则尝试运动。
- 视觉-语言模型（眼科教练）： 这是一个能够“观看”机器人运动视频并用自然语言理解所见内容的 AI。它就像一位体育教练，能观察一名跑步者并说：“你向左倾斜得太厉害了，而且你的手臂摆动与腿部不同步。”
- 语言模型（规则编写者）： 这是一个会说“代码”的 AI。它听取教练的建议，并重写机器人的规则手册以修正错误。
它是如何运作的：改进循环
这个过程是一个练习与反馈的循环：
- 第一步：尝试。 机器人根据当前的规则尝试行走。
- 第二步：视频。 系统记录下这次尝试的视频。
- 第三步：评论。 “眼科教练”（VLM）观看视频。它不会只给出一个简单的分数，如“8/10”，而是给出详细的、人类化的评论：“机器人正在摇晃。它需要保持臀部位置更高，并更自然地摆动手臂。”
- 第四步：重写。 “规则编写者”（LLM）接收到那条评论，并立即重写机器人的代码。它会添加新的指令，例如：“惩罚向左倾斜”或“奖励手臂摆动”。
- 第五步：重复。 机器人根据新规则再次尝试。教练再次观察，给出新的建议，而编写者再次调整代码。
他们的发现
研究人员在一个拥有 700 块肌肉的数字人体模型（一个非常复杂的系统）甚至是一只鸵鸟模型上测试了该系统。他们要求系统完成诸如以下任务：
- 在平地上向前行走。
- 在崎岖不平、多石的小路上行走。
- 走上陡峭的山坡。
- 倒一瓶水而不洒出来。
- 用手旋转一个立方体。
结果：
- 优于人类： 在许多情况下，这个 AI 团队制定的运动规则比人类专家手工编写的规则更好。机器人的行走距离更远，倒水也更稳。
- 优于其他 AI： 以前尝试学习奖励机制的 AI 方法往往会失败，或者产生僵硬的动作。MoVLR 产生了平滑、自然的运动。
- 适应性强： 系统学会了如何在平地上行走，然后无需重新训练，它就能成功地在多石的山坡上行走，甚至是在受伤的身体上（即某些肌肉无力的情况下）行走。它学会了如何进行补偿，就像人类一样。
大局观
该论文声称，通过使用能够“看”和“说”的 AI，我们终于可以弥合简单的指令（如“优雅地行走”）与身体实际运动的极其复杂的物理学之间的鸿沟。我们不再去猜测数学公式，而是让 AI 观察机器人，告诉它哪里看起来不对，并自动修正规则。这就像拥有一个永不疲倦、永不遗忘细节、并且能瞬间重写战术手册来让运动员趋于完美的教练。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。