🤖 AI

Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control

本文提出了一种新颖的多模态框架，通过基于连续音频流实时自主选择并执行运动技能，实现动态类人机器人全身控制，并能区分用于时间对齐的音乐与用于直接指令理解的语音。

原作者： J. M. A. Marcelo, M. Brienza, E. Bugli, L. Comito, D. Nardi, D. D. Bloisi, V. Suriani

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： J. M. A. Marcelo, M. Brienza, E. Bugli, L. Comito, D. Nardi, D. D. Bloisi, V. Suriani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：机器人不再仅仅是遵循僵硬、预先写好的剧本，像一支每天演奏同一曲调的行进乐队那样行动，而是能够“聆听”周围的世界并即兴起舞。这是人形机器人领域一个令人兴奋的前沿领域，科学家们正在教导金属和塑料如何像人类一样流畅地运动。长期以来，让机器人行走或挥手需要工程师费力地编写每一个关节的运动，就像通过描述每一个手指的动作来教孩子系鞋带一样。但最近，一种被称为“强化学习”的强大新工具改变了游戏规则。你可以把它想象成机器人学习骑自行车，不是通过阅读说明书，而是通过摔倒一千次，直到它最终弄明白如何保持平衡。现在，这些机器人可以通过观察人类来学习复杂的、自然的动作，从而创造出一个看起来极其逼真的技能库。然而，这里有一个难点：虽然机器人已经学会了“如何”运动，但它们仍然并不真正知道在周围发生什么时“何时”运动或“做什么”。它们就像一位才华横溢的舞者，虽然掌握了书本上的每一个舞步，但需要有人在它行动前大喊一声“跳！”或“旋转！”。这篇论文解决了这一缺失的环节，探讨我们如何赋予机器人通过聆听音乐或人类声音，并立即做出决定——例如，“啊，这是萨尔萨舞节奏，我应该做这个特定的舞蹈”，或者“那个人说了‘挥手致意’，所以我要做那个动作”——的能力，且这一切都是实时完成的。

这项研究背后的研究人员与名为 Unitree G1 的机器人合作，构建了一个聪明的“大脑”，充当这些机器人动作的指挥家。该系统不再等待人类按下按钮，而是聆听连续的声音流——比如派对上播放的歌曲或人对机器人的说话声——并立即确定要执行的动作。这就像拥有一个超级聪明的 DJ，他不仅播放音乐，还能根据节拍控制灯光和舞者的动作。

以下是他们的系统是如何运作的，分为简单的步骤。首先，机器人的“耳朵”（麦克风）捕捉声音，并将其切分成五秒钟的小段。这就像每隔几秒钟对音频进行一次快速快照。系统接着会问一个简单的问题：“这是音乐、是有人在说话，还是仅仅是噪音？”如果是音乐，机器人会使用一种高科技的“指纹”扫描器来识别歌曲。它不仅知道歌名，还准确知道歌曲进行到了哪个位置。是缓慢的序曲？还是快速的高潮部分？这使得机器人能够将歌曲的具体部分与特定的舞蹈动作相匹配。如果歌曲从慢节奏的民谣变为欢快的流行乐，机器人会立即切换其舞蹈风格。

如果声音是语音，系统的处理方式则更加直接。它倾听人们在说什么，将文字转化为文本，并将该文本与预先学习到的技能进行匹配。如果有人说“跳舞”，机器人就会寻找一个舞蹈动作；如果有人说“走路”，它就开始走路。这种设置的美妙之处在于，它是一个统一的系统。无论是输入的旋律还是指令，机器人都使用同一个“交换机”来决定从其技能库中提取哪种动作。

团队通过两种方式测试了这个想法。首先，他们在计算机模拟中运行，这是一个虚拟世界，他们可以在那里测试机器人的反应，而不必担心它会摔倒。他们播放了不同歌曲的“混音辑”，每 20 秒或 30 秒切换一次曲目。他们发现，当歌曲每 30 秒切换一次时，机器人的表现非常出色，能在动作之间实现平滑过渡。然而，当他们尝试每 20 秒切换一次时，机器人有时会踉跄。事实证明，机器人在动作之间需要一点时间来恢复平衡，而 20 秒不足以完成安全的过渡。在这些较快的情况下，机器人有时不得不退回到简单的“行走”模式以保持直立，这表明虽然“聆听”部分做得很好，但物理层面的“舞蹈”部分存在速度限制。

随后，他们将该系统从计算机转移到了真实的 Unitree G1 机器人上。结果非常令人振奋。机器人在现场成功聆听了音乐并选择了正确的舞蹈动作，证明了他们构建的这个“大脑”在现实世界中与在模拟器中一样有效。机器人可以“听到”音乐，理解节奏，并在无需人类为每一个步骤按下按钮的情况下，执行相应的全身动作。

作者认为，这种方法是一个巨大的进步，因为它使机器人从只能做指令任务的预设程序化机器，转向能够对环境做出反应的自主智能体。他们强调，该系统不需要在每次添加新歌时都进行重新训练；它使用一种智能匹配系统来即时识别出正确的动作。虽然他们指出，目前的系统在 30 秒一段的音乐下效果最好（因为机器人需要在动作之间稳定下来），但他们相信这是一个坚实的基石。论文总结道，这种方法为机器人在动态、不可预测的环境中（如舞蹈舞台或足球场）表演打开了大门，在那里它们可以聆听、理解并实时做出反应，使它们不再仅仅是机器，而是真正的表演伙伴。

技术摘要：面向动态类人机器人全身控制的语义音频驱动理解

问题陈述

尽管强化学习（RL）和模仿学习（Imitation Learning）的最新进展已使类人机器人能够获得极具表现力且流畅的全身运动策略，但目前的机器人性能主要依赖于预设序列或外部触发行为。这种依赖性限制了机器人在动态环境中的自主性和响应能力。现有系统往往缺乏“上下文感知”能力；机器人可能准确地执行了一个动作，却无法从本质上理解在何时或为何执行该动作。此外，虽然通过语言进行的层级语义编排已经存在，但它通常需要在每个决策点都进行显式的人为干预。目前迫切需要一种能够连接感知与行动的机制，允许机器人根据连续、实时的感官输入（特别是音频）从技能库中自主选择合适的行为，而非依赖僵化的、基于时间编码的规则。

方法论

作者提出了一种新型的多模态编排框架，将流式音频信号转换为针对固定子集运动策略的在线决策。该系统专为 Unitree G1 类人机器人设计，通过一个包含三个主要阶段的模块化流水线运行：

1. 层级音频路由

连续的麦克风输入被分割成固定长度的块（5秒）。路由模块将每个块分类到三个互斥的分支之一：

音乐 (Music)： 包含音乐内容的片段。
语音 (Speech)： 携带人声内容的片段。
跳过 (Skip)： 无信息量的片段。

路由决策结合了两种信号：

音频频谱图 Transformer (AST)： 一个基于 AudioSet 本体、在 log-Mel 频谱图块上运行的预训练分类器，用于生成音乐和语音的场景级评分。
Silero VAD： 一个应用于 16 kHz 波形的轻量级语音活动检测器，用于确定有声帧的比例。
如果语音活动占主导地位且语音概率超过音乐概率，则将块路由至“语音”；如果音乐概率占主导且语音活动较低，则路由至“音乐”；否则将其跳过。

2. 检索与语义落地

一旦完成路由，系统将检索相应的运动策略：

音乐分支：
- 主要方法： 使用 Wang 星座图算法（Wang constellation-map algorithm）的本地音频指纹识别模块。它通过对频谱峰值进行哈希处理，将查询块与参考曲目索引进行匹配，并返回曲目标识符、置信度分数、投票数和时间偏移量 ( $\tau$ )。
- 备选方案： 如果指纹识别失败，系统将在对比语言-音频预训练（CLAP）模型的嵌入空间内进行余弦搜索。
- 时间落地： 时间偏移量 $\tau$ 用于根据一组定时规则（例如，将“前奏”、“主歌”或“副歌”映射到特定行为）在曲目内选择特定技能。如果未应用定时规则，则使用曲目级映射。
语音分支：
- 片段通过流式语音转文本模型（OpenAI gpt-4o-mini-transcribe）进行转录。
- 转录文本通过语义落地与技能库进行匹配，以检索 Top-1 运动策略。
- 未匹配的转录内容将被转发给对话式大语言模型（LLM）进行自然语言交互，并通过文本转语音（TTS）合成响应。

3. 命令接口与技能执行

两个分支通过 RoboJudo 控制框架内的统一 TCP 套接字接口进行通信。

技能库： 包括行走（Walk）运动策略、用于安全过渡的站立（Stand）策略，以及一组通过 BeyondMimic 训练并导出为 ONNX 策略的可配置模仿学习全身策略。
执行逻辑： 当请求新技能时，系统可以选择先用“站立”策略对机器人进行预热，以确保在激活目标运动前，在异构行为之间实现稳定的过渡。
安全性： 系统强制执行验收阈值（置信度分数、投票数）和“冷却机制”，以防止在音频转换期间发生误触发的技能切换。

核心贡献

统一检索模块： 一个将短音频块映射到最相关运动策略（Top-1）的系统，支持通过指纹识别和嵌入（用于音乐对齐）以及转录和语义匹配（用于基于文本的落地）实现的实时选择。
端到端系统实现： 一个集成了流式音频处理、层级路由、检索以及在模仿学习技能库上执行的完整流水线。该系统具有模块化特征，兼容仿真（MuJoCo）和真实世界部署。
上下文感知控制： 证明了将语义信息嵌入控制循环可以实现自主、上下文感知的行为选择，从而超越了预设的编舞。

实验结果

该框架在仿真环境和物理 Unitree G1 机器人上进行了验证。

检索准确率： 在一个包含 574 个音频块（包括通过改变起始时间来模拟现实听觉延迟）的基准测试中，系统实现了 84.8% 的整体块级准确率。
仿真（编舞执行）： 测试了两个“混剪”场景，其特点是每 20 秒（M20）和 30 秒（M30）更换一次曲目。
- M30 (30s)： 产生了稳定的执行效果，控制器有足够的时间通过中间站立阶段完成过渡。
- M20 (20s)： 较短的片段导致了对齐偏差，并偶尔回退到行走模式。在关键情况下，快速转换会导致机器人趋向于失去平衡的状态，从而触发安全机制。这表明 30 秒的片段是目前的理想运行点，转换延迟是主要的瓶颈，而非检索质量。
真实世界部署： 该框架成功迁移到了物理 Unitree G1 机器人上。尽管由于网络调用和硬件接口开销导致端到端延迟较高，但机器人仍能成功遵循指令的策略序列，展示了鲁棒的从仿真到现实（Sim-to-Real）的迁移能力以及一致的音频驱动策略选择能力。

意义与主张

本文声称，这项工作代表了在动态环境中实现自主、响应式类人机器人行为的重要一步。通过用感知驱动的选择机制取代僵化的基于规则的触发，该系统使机器人能够“倾听”、“理解”并实时做出反应。

作者强调，该方法实现了泛化：通过利用嵌入空间，框架可以将新的音频输入映射到语义相似的运动策略，而无需额外的策略训练。虽然目前在可扩展性和转换延迟方面的结果尚处于起步阶段，但该架构为多样化的机器人应用（超越舞蹈领域）打开了大门，使复杂的运动能够基于跨模态嵌入。这项工作验证了从预设表演转向能够参与实时互动场景（如 RoboCup OnStage 竞赛）的自主智能体的可行性。