RoboGesture: Real-Time Semantic-aligned Co-Speech Gestures Generation for Humanoid Interaction
RoboGesture 是一个综合性框架，它通过一种新颖的数据集、层级化音频-运动对齐以及模型预测控制安全过滤，解决了数据稀缺、音频忽视和安全顾虑等问题，从而使类人机器人能够生成实时的、语义对齐的且无碰撞的伴随语音手势。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类一直以来不仅仅依赖语言进行交流。当我们说话时，我们的双手在移动，肩膀在摆动，面部表情也在变化，这一切都与我们声音的节奏和含义完美同步。这些动作并非随机，而是我们彼此建立联系的重要方式。为了让机器人成为我们在学校、医院或家庭中真正的伙伴，它们必须学会这种运动语言。长期以来的挑战在于，如何教机器人在听到一个句子后，立即做出一种感觉自然、安全且富有意义的手势。直到现在，机器人仍然难以跨越从听到声音到移动肢体并使其显得具有生命力的鸿沟，往往导致动作僵硬、重复，甚至产生危险。
一组研究人员开发了一种名为 RoboGesture 的新系统，旨在赋予人形机器人通过倾听人类语言并实时做出同步、富有表现力的肢体动作的能力。研究人员构建了一个完整的框架，其基础是一个庞大的数据库，教会机器人如何以 300 多种不同的方式移动手臂和双手，以匹配特定的词汇和情感。随后，他们创建了一个直接处理原始声音的计算机大脑，使机器人能够听到声音的音调和节奏，而无需先将词汇转化为文本。这种方法让机器人能够在单词完全说出口之前就预判动作，就像人类在喊叫前会向后仰身一样。为了确保机器人不会伤害自己或周围的人，该系统包含了一个每秒运行数千次的安全性检查，能够拦截任何可能导致碰撞的动作。在物理机器人上的测试表明，该系统产生的动作不仅更安全，而且比以往的方法更具节奏感和语义相关性，使机器能够进行流畅、面对面的对话，让人感觉真正具有人性化。
这一旅程始于对现有数据不足的认识。以往大多数教授机器人做手势的尝试都依赖于小型数据集，或者采用先将语音转换为文本的方法，而后者剥离了声音中微妙的音乐性，例如表示疑问或命令的语调起伏。研究人员意识到，要让机器人动作自然，它需要理解原始音频本身，包括单词发出前发生的微小停顿和能量爆发。为了解决这个问题，他们专门为机器人构建了一个全新的大规模数据集。他们记录了人类的手势，并将它们仔细映射到机器人独特的身体结构上，确保每一个动作在物理上都是可行的，且不存在自我碰撞。这个过程涉及创建数百万个音频与动作的配对，教会机器人特定的声音模式应当触发特定的手形或手臂摆动。
该系统的核心是一个模拟人类处理语言信息的两部分过程。首先，一个被称为“语义-声学对齐器”的组件会倾听输入的的声音，并将其分解为两个层面的信息。一层捕捉语音中快速的节奏律动，另一层则识别深层的含义和情感意图。这使得机器人不仅能理解在说什么，还能理解是如何说的。第二部分是运动生成器，它利用这些线索创造出连续的运动流。这里的一个关键创新是，它防止了机器人陷入循环——即由于过度依赖过去的动作而导致不断重复同一个动作。通过迫使系统不断回溯音频以获取新的指令，机器人能够保持响应能力和动态性，并在说话者的语调发生变化时立即改变其手势。
安全性是该项目的非谈判性要求。因为机器人是一个拥有金属肢体和关节的物理机器，计算失误可能会导致撞击或碰撞。研究人员添加了一个最终的安全过滤器，它充当着守护者的角色，在机器人执行任何动作之前都会对其进行检查。该过滤器通过实时求解复杂的数学问题，以确保规划的路径平滑且无碰撞。在测试中，该过滤器将潜在的自我碰撞率从 4% 以上降低到了极低的比例，使系统足以安全地进行现实世界的交互。整个过程运行速度极快，机器人可以在连续的循环中倾听、思考并移动，跟上人类对话的节奏，没有任何明显的延迟。
当研究人员在配备灵巧手的物理人形机器人上测试该系统时，结果令人瞩目。在与其他先进方法的对比测试中，他们的机器人产生的动作与语音含义的契合度更高。在其他系统可能无法捕捉特定手势或产生生硬、不自然动作的地方，这台机器人动作流畅且充满自信。它成功地为“OK”或“停止”等单词生成了特定的手势，并且能够通过肢体语言表达复杂的情感，如兴奋或强调。该系统还证明了其卓越的安全性，避免了困扰其他模型的自我穿透式动作。研究结论指出，通过结合丰富的数据库、直接的音频到运动的处理方式以及严格的安全性检查，创造出不仅会说话，而且能以自然且引人入胜的方式与我们进行真实互动的机器人是完全可能的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。