Automatic dance movement quality assessment via spatiotemporal skeletal representation learning
本文提出了 RSDQ-Net，一种感知参考的空时网络，该网络将异构舞蹈数据统一到规范骨架中，以分别对空间执行和时间相位偏差进行建模，从而在多个数据集上的自动舞蹈动作质量评估中实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在计算机视觉领域，机器在识别人的行为方面已经变得非常出色。它们可以观察一段视频，并分辨出一个人是在跳跃、奔跑还是挥手。这种能力依赖于追踪人体关节的位置，从而创建一个随时间移动的数字骨架。然而，识别动作与评判动作完成质量是两回事。计算机可能知道一个人正在尝试某个特定动作，但它很难理解笨拙的尝试与大师级的执行之间的微妙差异。这一差距在舞蹈等领域尤为显著，因为表演的质量取决于精准的节奏、身体对齐以及远距离肢体间的协调。几十年来，专家一直是唯一能够做出这些细微区分的人，而这个过程既缓慢、具有主观性，又难以规模化。
一组研究人员开发了一种新方法，通过将学习者的表现与标准范例进行对比，来帮助计算机判断人类运动的质量。他们的方法详述于最近的一项研究中，该方法超越了简单的识别，转而关注区分初学者与专家的时序和姿态方面的具体误差。通过教导计算机去观察空间和时间上的偏差，该系统能够对运动质量提供一致且客观的评估。这项工作表明，机器可以学会理解人类表现中的细微差别，从而提供一种不依赖于人类教师持续在场的训练与评估工具。
研究人员构建了一个旨在比较两个移动实体的系统：一个是目标表现（例如学生练习的套路），另一个是参考表现（即高质量的同类动作示例）。他们面临的核心挑战是，人们的移动速度不同，且身体比例也各异。如果计算机仅仅进行逐帧对比，可能会将轻微的时序延迟误认为是动作本身的错误。为了解决这个问题，系统首先将所有动作转换为一个包含十九个关键点的标准数字骨架，涵盖头部、躯干和四肢。这使得计算机能够忽略身高或衣着差异，纯粹专注于运动的几何结构。
一旦动作被标准化，系统就会使用一种巧妙的机制将学生的表现与专家的表现进行对齐。系统并非强行进行僵硬的秒级匹配，而是学会寻找两个序列之间最可能的对应时刻。它理解学生可能会比专家晚零点几秒达到某个姿势，或者保持该姿势的时间略有不同。至关重要的是，系统并不仅仅是通过平滑这些差异来使两者看起来一致。它将时序不匹配视为一种特定的数据类型。计算机将误差分为两类：空间偏差（衡量身体部位偏离正确位置的程度）和时序偏差（衡量时间偏差的程度）。通过保持这两类误差的独立性，系统可以分辨出学生是在挣扎于平衡感还是节奏感，而不仅仅是给出一个模糊的单一分数。
研究人员在三个不同的运动数据集上测试了该系统，每个数据集都有其定义质量的方式。其中一个数据集包含人们进行各种舞蹈风格的视频，系统利用其学习人类运动的基本结构。另一个数据集包含了初学者、中级者和专家执行相同套路的录像，使系统能够学习技能等级的顺序。第三个数据集涉及真实世界的视频，其中人类已经对表现进行了排序以决定优劣。系统经过训练，可以在从未被告知任何特定数值评分的情况下，预测这些排名和技能水平。它学到，“更好”的表现仅仅是指在时序和姿态上都更接近参考范例，并且这些品质遵循一种逻辑顺序。
结果显示，该系统在区分不同技能水平方面非常有效。当在包含初学者、中级者和专家的数据集上进行测试时，系统正确识别表演技能水平的准确率约为百分之八十一。这比以往的方法有了显著进步，因为旧方法通常难以区分新手和中级表演者。在测试系统是否能从两个选项中选出更佳表现时，它与人类评委的一致性超过了百分之八十一。研究人员发现，系统从参考范例中学习的能力是关键因素；当他们移除与标准进行对比的能力时，系统的性能明显下降。同样，当他们迫使系统忽略时序差异而仅关注身体位置时，其准确性也受到了影响，这证明了这两个要素对于真实的评估都是必不可少的。
研究还探讨了当输入数据不完美时的鲁棒性。在现实场景中，摄像机可能会丢失某个关节，或者视频可能会轻微晃动。研究人员通过人为向数据添加噪声并隐藏部分骨架来测试系统。即使在这些困难条件下，系统仍保持着相对于旧方法的明显优势。这种韧性源于系统利用不同身体部位之间的关系。如果计算机无法清晰看到一只手，它仍然可以根据手臂和其他身体部分的运动来推断其可能的姿势。基于参考范例的对比也有所帮助，因为系统是在专家完整序列的语境下评估学生的运动，而不是在真空中对孤立的帧进行判断。
尽管该系统展现出巨大的潜力，但研究人员也谨慎地指出了其局限性。它是设计用来针对特定参考对象评估动作的技术执行情况，而非评判艺术表达、音乐性或情感冲击力。该系统并不能取代人类教师，但它提供了一种对表演机械层面进行一致、即时反馈的方法。它可以告诉学生他们是否脱节或姿态是否偏移，但它无法解释动作背后的艺术意图。研究人员建议，该工具对于自我训练或远程教学特别有用，学习者可以在练习套路的同时获得对其时序和对齐情况的客观分析。
这项工作代表了机器理解人类运动方式的一种转变。系统不再仅仅询问“这个人正在做什么？”，而是询问“他做得有多好？”通过将问题分解为空间和时序偏差，并从标准范例中学习，研究人员创建了一个能够捕捉优秀表现与卓越表现之间细微差别的模型。研究结果表明，通过正确的方法，计算机可以学会欣赏人类技能的精准度，从而为既能实现规模化又能深度契合人类运动细节的自动化反馈与训练开启了大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。