SPH-DiffDance: Semantic Prototype Reconstruction and Hypergraph-Enhanced Diffusion Framework for Long-Sequence Music-Driven Dance Generation
本文提出了 SPH-DiffDance，一种结合了用于稳定全局编舞的语义原型重构模块和用于协调局部细节的超图增强姿态细化模块的由粗到精的扩散框架，有效地解决了生成长序列、语义一致且结构合理的音乐驱动舞蹈所面临的挑战。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
开发一台能够随音乐移动数字身体的计算机，是一个处于艺术与工程交汇处的难题。几十年来，研究人员一直试图教会机器理解声音与动作之间的关系。其目标不仅仅是让机器在鼓点响起时挥动手臂，而是要生成一段连续、流畅的动作序列，使其感觉像是一场真实的真人表演。这要求计算机同时掌握两个截然不同的维度：歌曲宏观且长期的结构，以及足部落地或臀部转动时那极其细微、瞬息万变的细节。早期的尝试往往产生的动作要么过于僵硬，要么过于重复，或者仅仅是与节奏不同步。挑战在于，如何构建一个既能规划从头到尾的长篇舞蹈而不失逻辑，又能确保每一个单独步骤在物理上都显得可行且自然的系统。
中国燕山大学的一个研究小组开发了一种新方法来解决这一问题，旨在创造出既符合音乐律动又具备结构完整性的长篇舞蹈序列。他们的方法被称为 SPH-DiffDance，通过从宏观概览转向精细细节的两个不同阶段来运作。该系统并非试图一次性生成整整一分钟的舞蹈，而是首先创建一个粗略、粗放的动作轮廓。它通过咨询一个学习到的“原型库”来实现这一点，这些原型本质上是存储的动作模式，代表了不同的风格和主题。可以将这想象成一名编舞家在纠结具体舞步之前，先勾勒出常规动作的大致轮廓。通过参考这些原型，系统确保了舞蹈在整个长度内保持一致的主题和节奏，防止动作随着序列变长而变得脱节或变得毫无意义。
一旦建立了这种全局结构，系统就会进入第二个阶段：细化局部细节。在这一阶段，计算机专注于身体各部位的具体协调。研究人员发现，标准方法通常将身体视为由连接关节组成的简单链条，就像一个动作带动下一个动作的火柴人。然而，人类的运动更为复杂；躯干、手臂和腿部通常以小组形式协同工作，而简单的链条无法完全描述这种协作。为了解决这个问题，新系统使用了一种更先进的方式来映射这些关系，使其能够观察多个身体部位如何同时进行交互。它还特别关注足部，确保双脚在正确的时刻接触地面，以防止数字舞者看起来像是在地板上滑动——这是计算机生成动作中常见的一个错误。
研究人员使用一个包含一千多对音乐与3D舞蹈录像（涵盖十种不同舞蹈风格）的大型数据集对他们的系统进行了测试。他们将结果与几种现有方法进行了对比，发现他们的两阶段方法生成的舞蹈与音乐的一致性更高，且看起来更真实。生成的动作表现出更好的节奏同步性，并在长时间内保持了更高的动作质量，没有出现经常困扰其他系统的尴尬停顿或重复循环。这项研究表明，通过将任务分解为全局规划阶段和局部细化阶段，并使用一种更复杂的身体连接模型，生成长篇、连贯且感觉更接近真人表演的舞蹈序列是可能的。
尽管该系统在创造自然动作方面表现出了显著进步，但研究人员也承认，它并非适用于每一种可能的情况。目前的框架是为单人舞蹈设计的，且其使用的动作模式库仍局限于训练数据中所包含的风格。作者指出，未来的工作需要解决如何将这些能力扩展到包括多名舞者相互协作，以及涵盖更广泛的运动风格。不过就目前而言，该方法代表了在教机器理解人类动作如何响应音乐这一复杂且具有层次感的逻辑方面，迈出了具有意义的一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。