在竞争激烈的乒乓球世界中，瞬息之间的决策往往决定了比赛的胜负。运动员必须不断扫描对手的身体，通过观察手臂挥动或重心转移的细微线索，来预测球的下一个走向。然而，比赛很少能在清晰、无遮挡的视野下进行。球网、球台以及对手自身的身体经常会阻挡视线，隐藏了那些蕴含着下一拍球秘密的动作。这种被称为“遮挡”（occlusion）的现象，创造了一个关键信息消失的盲区。几十年来，研究人员一直试图教会计算机通过这些间隙进行观察，利用人工智能来填补动态图像中缺失的部分。挑战在于，不仅要教机器识别完整的模式，还要让它在部分信息缺失的情况下，依然能依靠人体运动随时间变化的逻辑，理解整个过程的完整意图。
来自山东体育学院和上海体育大学的一个研究小组致力于解决乒乓球领域中的这一特定难题。他们首先利用一套专门的红外摄像系统，捕捉了三十名职业选手的精确动作，该系统通过追踪放置在运动员身体和球拍上的反射标记点来记录位置。这一过程生成了一个庞大的数据库，记录了每位选手运动过程中每一帧内十四个关键关节的精确位置。拥有了这个数字档案后，研究小组设计了一个受控实验，以模拟真实比赛中的混乱情况。他们使用计算机软件构建了选手的火柴人动画，然后有系统地擦除这些图形的不同部分，以模拟球网或身体遮挡肢体的场景。他们创建了多种情景：左臂被遮挡、腿部不可见、整个躯干被遮蔽，甚至只有球拍的轨迹可见。
随后，另外三十名职业选手被要求观看这些不完整的动画，并识别正在进行的特定击球类型，例如正手进攻或反手抽球。结果为哪些信息是真正核心的信息提供了一张清晰的地图。当全身可见时，选手识别动作的准确率接近完美。当左臂被遮挡时，他们的表现几乎没有下降，这表明非惯用手对于阅读对手意图的重要性较低。然而，当只有球拍轨迹可见时，准确率显著下降，尽管仍保持在足以证明球与球拍路径具有巨大权重的水平。最显著的发现出现在研究人员移除下半身或整个躯干时：即使下肢被遮挡，识别准确率仍高达91.4%；而当躯干完全被遮蔽时，准确率仍保持在96.2%，这表明虽然下半身提供了背景信息，但仅靠上半身和球拍轨迹就足以实现高度准确的动作识别。
在确定了人类需要观察的内容后，研究人员转向人工智能，试图看计算机是否也能完成同样的工作，但带有一个转折。他们构建了一个专门的神经网络（一种旨在学习模式的计算机程序），充当数字修复器。其目标是将带有缺失关节的动画输入系统，并让系统计算出这些隐藏部分应当处于的确切位置。该系统学习了可见骨骼与不可见骨骼之间的关系，即如果右肩以某种方式移动，左臂必然会以特定的、协调的方式进行联动。在测试中，计算机成功重建了缺失的肢体，以一种与人类教练判断相匹配的精度填补了空白。重建的动作非常准确，以至于当专家对原始不完整动画和计算机填充版本进行评分时，得分几乎一致，计算机生成的版本使动作恢复到了完整且自然的状态。
研究结论指出，虽然球拍和惯用手是预测乒乓球击球动作的主要信息来源，但身体的其他部分提供了使这种预测变得可靠的必要背景。该研究表明，通过理解关节之间的时空联系——即它们如何随时间相互关联地运动——可以高置信度地通过数学手段推断出隐藏肢体的位置。这项工作不仅提供了一种改进动作追踪技术的方法，也让我们更深入地理解了运动员在压力下是如何处理视觉信息的。它表明，即使视野被遮挡，大脑和机器都可以依靠剩余的可见线索来重建运动的全貌，将破碎的视角转化为清晰的预测。
技术摘要：乒乓球肢体遮挡下的动作识别研究
问题陈述
在乒乓球比赛中，运动员必须根据视觉线索快速预测对手的意图。然而，这一过程经常受到**肢体遮挡（Limb Occlusion）**的干扰。遮挡发生于对手的身体遮挡住球拍或球、器材（乒乓球台和球网）阻挡视线，或运动员自身的旋转隐藏了特定关节时。此外，使用动作捕捉系统进行数据采集时，由于设备限制或摄像机布局原因，可能会出现丢帧或关节数据缺失，导致空间信息不完整。
本研究解决的核心挑战包括：
- 特定身体部位（如左臂、下肢、躯干）的遮挡如何影响人类观察者的动作识别准确率？
- 是否可以利用剩余的可见关节数据准确预测被遮挡关节的空间位置？
- 神经网络模型能否有效地重建缺失的时空信息，从而提升动作识别与评估的效果？
研究方法
本研究分为三个阶段进行，利用了一个自定义数据集和一种新型深度学习架构。
1. 数据集构建 (TTMD6)
作者利用红外动作捕捉系统（18 个顶置摄像机和 2 个地面摄像机，采样频率 120 Hz）以及高清摄像机（25 Hz）创建了乒乓球动作捕捉数据集 6 (TTMD6)。
- 参与者： 30 名专业乒乓球运动员（17 男 13 女）。
- 内容： 该数据集包含 9,000 个技能动作，涵盖六种类型：正手/反手进攻、攻击、以及搓球。
- 数据结构： 每个动作由 200 帧组成，包含 14 个关节点的 3D 坐标及球拍轨迹。数据集提供多种格式（C3D, CMR, XLSX, MTS）。
2. 人类动作识别研究 (研究 2)
为了量化遮挡对人类感知的影响，研究人员使用 MATLAB 模拟了肢体遮挡。
- 模拟： 他们构建了代表六种条件的“人体极图（human pole diagram）”动画：
- 全关节（14 个关节）。
- 无左臂（12 个关节）。
- 无下肢（8 个关节）。
- 无身体/躯干（6 个关节）。
- 仅右侧上肢（3 个关节）+ 球拍轨迹。
- 仅球拍轨迹。
- 实验： 30 名专业球员的任务是从这些动画中识别出技能动作类型（例如，正手攻击 vs. 正手抽球）。
- 指标： 记录了识别准确率和反应时间。
3. 遮挡关节预测模型 (研究 3)
开发了一种时空图卷积神经网络 (ST-GCN)，用于预测缺失关节的空间坐标。
- 架构：
- 输入： 节点数据（关节坐标）和定义骨架拓扑结构的邻接矩阵。应用二进制掩码（binary mask）来模拟遮挡（在训练期间随机遮蔽 20% 的关节）。
- 图卷积层 (GCN)： 通过两层（GCN1, GCN2）提取空间特征以及相邻关节之间的依赖关系。
- 时间卷积层 (TCN)： 捕捉 200 帧内的时序依赖性和动态变化。
- 全连接层 (FCN)： 将时空特征映射回 3D 空间坐标。
- 训练策略： 模型采用了类似于自然语言处理中掩码语言建模（masked language modeling）的方法，通过可见关节的上下文来学习重建缺失的关节数据。
- 评估： 将模型的预测结果与以下内容进行对比：
- 真值（Ground truth）数据。
- 五位专家教练对动画的评分。
- 使用欧氏距离（通过 Z-score 标准化）来衡量预测误差。
关键结果
人类识别准确率
研究发现，可见关节信息量与识别准确率之间存在正相关关系：
- 全关节： 准确率为 97.2%。
- 无左臂： 96.4%（仅下降 0.8%），表明左臂对于乒乓球识别的重要性较低。
- 无身体/躯干： 96.2%（下降 1%），表明下肢和躯干遮挡对人类识别的影响较小。
- 仅右侧上肢： 96.9% 的准确率，突显了挥拍臂的主导地位。
- 仅球拍轨迹： 90.2% 的准确率，证明轨迹本身是动作类型的强有力指标。
- 误差分析： 主要的混淆发生在“攻击（attack）”与“抽球（drive）”动作之间，两者机械原理相似，但在振幅和力量上有所区别。
模型预测性能
ST-GCN 模型在重建缺失数据方面表现出显著能力：
- 评分提升： 含有缺失关节的动作平均评估分数为 34.98。在模型补全缺失关节后，得分上升至 82.98，接近专家教练的平均水平 87.80。
- 统计显著性： 模型对补全动作的评估与教练评分之间没有显著差异（p=0.65）。
- 遮挡敏感度： 预测准确率与遮挡关节的数量呈负相关。
- 利用其余身体部分预测左臂，获得了最高分（89.7）。
- 仅利用右侧上肢预测整个身体，获得了最低分（70.2），这表明全局上下文（躯干旋转、下肢支撑）对于准确重建至关重要。
核心贡献
- TTMD6 数据集： 创建了一个专门针对肢体遮挡设计的标准化、高保真乒乓球动作捕捉数据集，为未来的研究提供了统一的基准。
- 量化遮挡影响： 通过实证证据表明，虽然遮挡会影响识别，但球拍臂和轨迹是最关键的特征，而非挥拍臂和下肢对人类观察者而言重要性较低。
- 用于动作补全的 ST-GCN： 成功将时空图卷积网络应用于体育运动中预测遮挡的关节位置，实现了与人类专家评估相媲美的性能。
意义与主张
本文声称其研究为应对乒乓球分析中的肢体遮挡问题提供了一种可行的策略。通过确定右侧上肢和球拍轨迹是动作识别的主要驱动因素，研究表明可以通过优化识别模型来优先考虑这些特征，从而降低对被遮挡下肢或非挥拍臂的依赖。
此外，研究验证了时空信息可以有效地用于重建缺失的关节数据。所提出的模型可以作为一种工具，在因比赛动态或技术采集限制导致数据不完整的情况下，提高动作识别与评估的准确性。作者总结道，该方法即使在关键视觉线索受阻的情况下，也能为预测对手意图提供稳健的方法。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。