Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics
本研究提出了一种多模态框架，该框架利用从舞蹈视频中提取的人体舞蹈运动动力学（从姿态关键点中提取），通过更好地将建议曲目与用户的具身节奏偏好及情感状态对齐，来增强个性化音乐推荐。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几十年来，计算机向人们推荐音乐的方式一直依赖于人们表达出的喜好。算法通过观察你的听歌历史、你高度评价的歌曲或你创建的播放列表，试图根据你过去的抉择来猜测你的下一首心仪曲目。虽然这种方法对许多人很有效，但它忽略了人类体验音乐的一个基本部分：身体。音乐与运动在人类文化中有着深厚的联系；我们本能地随着节奏和节拍点头、摇摆或移动全身。然而，标准的推荐系统很少考虑这种身体反应。它们将音乐视为一种被听到的事物，而不是一种通过动作来感受和表达的事物。这种差距留下了一个悬而未决的问题：计算机能否通过观察一个人的动作，而不是询问他们想听什么，来学习推荐音乐？
一组研究人员致力于通过构建一个通过观看舞蹈视频来建议合适音乐的系统，来探索这种可能性。他们的工作专注于人体特定运动方式与伴随该动作的音乐品质之间的联系。该系统并不依赖于用户的显式反馈或过去的评分数据库，而是分析舞蹈表演的物理动态。它观察舞者关节随时间变化的位置以及音频特征，以寻找将特定的运动风格与特定类型的声音联系起来的模式。其目标是观察计算机是否可以学会将一种舞蹈风格与其理想的音乐伙伴相匹配，从而有效地逆转了通常寻找舞蹈来配合音乐的过程。
为了测试这个想法，研究人员收集了一组代表五种不同风格的舞蹈视频：芭蕾、嘻哈、萨尔萨、现代舞和踢踏舞。他们并没有亲自拍摄新的舞者；相反，他们使用了来自互联网的公开视频，并仔细挑选了那些能从正面清晰展示舞者的片段，且几乎没有遮挡。从这些视频中，他们提取了两类信息。首先，他们使用一种计算机视觉工具来映射舞者的身体，在每一帧视频中识别出三十三个关键的骨骼点，例如肘部、膝盖和肩膀。这创建了一个随舞者一起移动的数字骨架。通过这些移动的点，系统计算了关节之间的距离以及它们形成的夹角，将复杂的舞蹈视觉效果转化为一组描述运动的数字。
其次，研究人员分析了每个视频的音频轨道。他们将声音转换为频率的视觉表示，重点关注音乐的节奏、能量和音调。通过将描述身体运动的数字与描述声音的数字相结合，他们为每个舞蹈片段创建了一个单一且详细的轮廓。这个轮谱捕捉到了表演的视觉和听觉本质。随后，团队将这些数据输入到一种旨在理解事件序列的人工智能中。与那些只看单向数据的标准程序不同，该系统会正向和反向同时观察舞蹈和音乐序列。这使得它能够理解动作的语境，即看到某一时刻的姿态如何与前后的步骤相关联，就像人类通过从头到尾阅读句子，然后思考整个思想一样。
研究人员训练该系统根据结合了动作和音频的数据来识别这五种舞蹈风格。当他们测试该系统时，它在区分不同风格方面表现得非常出色。最成功的模型版本（即同时使用运动数据和音频数据的模型）在超过百分之九十一的测试案例中正确识别了舞蹈风格。这种表现显著优于仅依赖运动或仅依赖声音的模型。例如，一个仅观察舞者身体动作而没有音乐的系统在进行准确区分时显得很吃力，其准确率低于百分之五十。同样，一个忽略运动而只听音乐的系统表现尚可，但不如结合后的方法出色。这表明，虽然音乐本身携带了关于舞蹈风格的强烈线索，但身体运动的方式提供了重要的、互补的信息，从而强化了计算机的理解。
研究还将其先进系统与更简单的传统方法和其他类型的人工智能进行了比较。结合模型优于标准的机器学习工具，甚至优于其他并未从正反两个方向观察数据的复杂神经网络。研究人员发现，能够从两端观察整个运动和声音序列的能力，对于捕捉舞者手势与音乐节拍之间微妙的、长程的联系至关重要。在测试中，该系统表现出了极高的精确度，这意味着当它做出推荐时，几乎总是正确的。它还表现出了高水平的完整性，成功地为数据集中的几乎每种舞蹈风格都识别出了正确的音乐匹配。
尽管结果很强，但研究人员指出该系统并非完美。在某些情况下，计算机会将一种风格误认为另一种风格，特别是在处理像踢踏舞或现代舞这样更为微妙或复杂的动作时。这表明，虽然系统已经学会了舞蹈如何与音乐关联的一般规则，但仍有改进空间，例如通过在更广泛的表演作品上对其进行训练。研究还强调，该系统是通过学习运动与音乐之间的关系来进行工作的，而不仅仅是记忆舞蹈步骤。这意味着该方法潜在地可以用于为正在表演一种计算机从未见过的风格的舞者推荐音乐，只要其运动模式与它所学到的模式具有相似性。
最终，这项工作证明了人类运动是理解音乐偏好的一个强大信号。通过教计算机如何观察身体如何随音乐起舞，研究人员创造了一种连接舞蹈与音乐的新方式。研究结果表明，未来的音乐推荐系统可以超越简单的听歌历史，将物理行为纳入其中，提供与用户对节奏和能量的具身体验相契合的建议。该系统并不是取代人类的品味，而是提供了一个新的视角，让我们去审视音乐与我们运动方式之间那种深刻且自然的联系。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。