想象一下,你正在试图教一个机器人跳舞。你不能仅仅通过观察它的脚来猜测它是专业人士还是初学者;你需要看到它为了保持平衡而使用的那些无形的力量。这就是生物力学的世界——研究生物如何运动以及它们如何施加力量的科学。在滑雪等运动中,保持直立不仅仅是站着不动;而是一场不断进行的、细微的舞蹈,将重心从脚跟转移到脚尖,从左脚转移到右脚。科学家们早就知道,如果你能测量这些压力变化,你就能理解一个人的运动水平如何。但如果能将那些无形的压力图转化为一张计算机可以“看见”并从中学习的图像呢?这就是深度学习发挥作用的地方。把深度学习想象成一个超级聪明的学生,它观察成千上万张图片,寻找人类忽略的隐藏模式,并学会分辨出笨拙的摇晃与优雅的滑行。研究人员一直追问的大问题是:计算机能否通过观察滑雪模拟器上的足底压力图,告诉你这个人是完全的新手、学习者,还是已经相当厉害了?
这篇论文讲述了一群研究人员决定通过将滑雪模拟器变成一个巨大的、高科技压力垫来寻找答案的故事。他们没有使用高级摄像机拍摄滑雪者的身体,也没有在头盔上安装传感器;相反,他们完全专注于他们的脚底。他们构建了一个系统,该系统能够获取某人向模拟器施压强度的原始数据,并将其转化为色彩丰富的“热力图”——在这种图像中,明亮的区域显示重压,而暗淡的区域显示轻压。他们将这些图像输入到一个名为 YOLO11 的强大人工智能模型中,这个模型通常用于在照片中识别物体,但在这里,它被训练用来识别“滑雪技巧”。
该团队收集了来自 27 个人的数据,其水平从从未接触过滑雪的人到滑雪超过 19 天的人不等。他们要求人工智能将这些人分为三组:初学者(Beginner)、新手(Novice)和中级者(Intermediate)。结果既有令人惊叹之处,也有尚待完善之处。当人工智能在它已经见过的同一批人身上进行测试时,表现得异常敏锐,几乎每次都能正确识别他们的技能水平。它就像一位严厉的老师,精准地知道自己学生们的动作。然而,当他们尝试用一个它从未见过的“新人”来测试人工智能时,它变得有些困惑。它仍然很擅长区分完全的初学者和尝试过几次的人,但在识别“中级者”方面却遇到了困难,这主要是因为参与该组的人数非常少,导致学习样本不足。
但故事中最令人兴奋的部分不仅在于将人分类,而是在于观察他们的成长。研究人员挑选了六名初学者,让他们在模拟器上练习数周,并在每次练习时测量他们的双脚。他们观察随着时间的推移,人工智能对这些滑雪者的评价是否会发生变化。事实确实如此!随着周数的增加,人工智能开始将更多的动作归类为“新手”甚至“中级者”,而不是“初学者”。为了理解人工智能为什么认为他们在进步,研究人员使用了一个名为 Eigen-CAM 的特殊工具。想象一下,这个工具就像一支荧光笔,能标示出人工智能在做出决策时究竟在关注足底压力图的哪些部分。他们发现,随着滑雪者的进步,人工智能开始更多地关注脚的前部(前掌)。这与数据所显示的相吻合:滑雪者自然地将重心前移,并在动作中变得更加积极,正如真正的滑雪者所做的那样。
研究人员指出,这种方法可以作为在模拟器中追踪进度的一种方式,但他们也谨慎地表示,这目前还不是一个神奇的预言球。由于人工智能学习了训练对象的特定“指纹”,因此它在面对陌生人时可能无法完美运作,除非经过更多练习。此外,由于这项研究仅观察了在机器上的表现而非真实雪地上的表现,因此他们看到的进步是针对该模拟器环境的。尽管如此,这项研究证明了深度学习可以观察足底压力,寻找技能的隐藏模式,甚至观察学习者的成长历程,为我们如何学习在两根湿滑的木棍上保持平衡提供了一种全新的、客观的方式。
技术摘要:探索基于模拟器环境下的足底压力模式进行滑雪熟练度评估
问题陈述
虚拟现实(VR)和滑雪模拟器为非雪季训练和技能习得提供了受控环境。然而,学习滑雪仍然具有挑战性,特别是对于需要持续反馈重量转移和平衡感的初学者而言。虽然深度学习已被应用于利用惯性传感器、姿态估计或真实环境中的 RGB 图像来识别运动技能指标,但将其应用于模拟器生成的足底压力图以评估滑练程度的研究仍处于空白。现有的滑雪模拟器通常存在局限于固定足部位置和简化地面条件等限制,这引发了一个问题:在这些受限环境中测得的生物力学信息是否包含足以进行可靠熟练度评估的数据。
研究方法
本研究采用了涉及数据采集、深度学习分类、纵向分析和特征可解释性的多阶段方法:
数据采集与预处理:
- 参与者: 数据采集自 27 名参与者(20 名男性,7 名女性),根据滑雪经验分为三个熟练度等级:初学者(0 天)、新手(1–5 天)和中级(6 天以上)。另外进行了针对 6 名初学者的多次会话纵向实验。
- 硬件: 使用配备压力传感器模块(共 32 个传感器,每只脚 16 个,使用 FSR402 传感器)的低成本滑雪模拟器(POWER SKI SIMULATOR)以及 VR 系统(VizSki 配备 VIVE Pro)。
- 输入生成: 对原始压力数据进行平滑处理(Savitzky-Golay 滤波)、标准化(Z-score)和归一化(min-max)处理,以消除参与者体重的差异。随后将这些数据转换为代表足底压力分布的 25 6 × 256 像素热力图图像。
分类模型:
- 架构: 选择 YOLO11(具体为
yolo11n-cls)图像分类器,因其具有轻量级的卷积架构和强大的空间特征保持能力。
- 任务: 将足底压力热力图进行多类分类,划分为初学者、新手和中级水平。
- 评估协议:
- 依赖参与者(Participant-Dependent): 训练和验证数据来自同一参与者(不同的时间段),以评估个体内部是否存在熟练度模式。
- 独立于参与者(Participant-Independent): 使用留一参与者交叉验证(LOPO)来测试对未知用户的泛化能力。
可解释性与纵向分析:
- 特征可视化: 使用 Eigen-CAM 生成网络的注意力区域热图,该方法不依赖梯度信息,从而能够可视化影响分类的压力区域。
- 统计建模: 应用线性及基于样条函数的混合效应模型对纵向数据进行分析,以研究分类概率和生物力学变量(如压力中心 CoP 轨迹、压力比例)随时间变化的趋势。
关键结果
分类性能:
- 依赖参与者: 模型实现了高准确率(95.9%),能够可靠地识别个体在所有三个类别中的压力模式。
- 独立于参与者 (LOPO): 对于初学者(F1 = 0.681)和新手(F1 = 0.674)的表现尚可,但对于中级类别表现较差(F1 = 0.028)。作者将其归因于严重的类别不平衡(仅有 4 名中级参与者)和参与者间的差异性,表明对于少数类别的未知用户,模型的泛化能力有限。
特征可视化 (Eigen-CAM):
- 注意力图在不同熟练度水平之间表现出大致相似的模式。然而,与初学者相比,中级组表现出略微更宽的注意力区域,并向前掌延伸。
- 定量分析显示,前掌关注度与“非初学者”分类概率之间存在显著关联。
纵向训练分析:
- 分类趋势: 随着初学者进行重复的模拟器训练,其数据被分类为“新手”或“中级”的概率总体呈上升趋势。
- 学习轨迹: 基于样条的混合效应模型表明存在非线性学习轨迹:在早期阶段快速进步,随后进入平台期并出现波动。线性模型并未比零模型显著更好地拟合数据,而样条模型提供了更好的拟合效果(p = 0.025)。
- 生物力学变化: 混合效应分析显示了足压变量随时间的系统性变化,包括:
- 压力中心 (CoP) 向前移动。
- 前掌负荷增加,后跟负荷减少。
- CoP 轨迹变长且侧向变异性增加。
- 这些发现表明参与者采取了更积极的重量转移策略,而非仅仅是减少姿态摇摆。
意义与主张
本文声称,通过分析足底压力模式,深度学习可以为基于模拟器的滑雪训练提供技能习得的客观衡量标准。具体而言:
- 可行性: 足底压力热力图包含足够的具有生物力学意义的信息,足以区分定义的熟练度组别,特别是在个体内部。
- 纵向敏感性: 分类器能够捕捉运动模式随时间变化的系统性变化,反映了与生物力学改进(如前掌参与度增加)相一致的学习轨迹。
- 可解释性: Eigen-CAM 的使用证明了模型依赖于有意义的压力分布特征(如前掌关注点)而非任意的人为伪影,从而为学习到的特征提供了视觉解释。
局限性与未来方向
作者坦诚地指出了几项局限性:
- 样本量与不平衡: 中级参与者数量较少且缺乏专家级滑雪者(认证运动员/教练),限制了模型的泛化能力。
- 自我报告标签: 熟练度等级基于自我报告的经验天数,而非标准化的认证体系。
- 依赖参与者的评估: 主要评估依赖于依赖参与者的方案;未来的工作必须使用严格的独立于参与者的评估方法来验证泛化性。
- 模拟器约束: 研究结果反映了特定模拟器的适应性(固定足部、无倾斜),可能无法直接等同于实际雪地上的表现提升。
研究结论认为,尽管目前的结果在内部一致性和追踪个体进度方面表现出良好的前景,但未来的工作需要更大的数据集,并结合认证滑雪者和客观的熟练度标准,以开发出稳健、通用的 AI 辅助教练熟练度评估系统。
每周获取最佳 electrical engineering 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。