💻 computer science

SMART: SMPLest-X Mesh Adaptation and RAFT Tracking for Soccer Pose Estimation

该论文提出了 SMART，这是一个结合了微调后的 SMPLest-X 模型、基于 RAFT 的相机追踪以及时间平滑技术的足球姿态估计系统，使其在 2026 年 FIFA 骨骼追踪挑战赛中较基准模型提升了 38.6%。

原作者： Parthsarthi Rawat

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Parthsarthi Rawat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在电视上看一场足球赛。摄像机正在放大、横移扫过球场，有时球员之间还会互相遮挡。现在，想象你想制造一个机器人，让它能观看这段视频，并瞬间画出每个球员完美的 3D 骨架，展示出他们在现实世界中鼻子、肘部和脚趾的确切位置，而不仅仅是在扁平的屏幕上。

这就是这篇论文所解决的挑战。作者创建了一个名为 SMART（SMPLest-X 网格自适应与 RAFT 追踪）的系统。你可以把 SMART 想象成一个高科技的“数字木偶师”，将扁平的视频转化为 3D 电影。

以下是他们实现这一目标的步骤，通过简单的步骤进行了分解：

1. 大脑：学习如何观察 3D 球员

团队首先使用了一个强大的 AI 模型，叫做 SMPLest-X。你可以把这个模型看作一位非常聪明的艺术家，他见过数百万张人物照片，深谙人体构造。然而，这位艺术家的训练主要基于影棚照片，而不是在混乱、快速移动的足球转播画面中——在这些画面里，球员可能离得很远、被部分遮挡或移动得很快。

为了解决这个问题，他们给这位艺术家进行了一次专门针对足球画面的“强化课程”。他们教它要格外注意球员的脚部以及他们距离摄像机的深度。他们还教它如何处理电视转播中奇特的灯光和缩放效果。这一步就像是将一位擅长画肖像的画家，训练成为专门绘制运动员动作瞬间的画家。

2. 眼睛：追踪摄像机

这个视频游戏中最难的一点在于摄像机本身也在移动。如果摄像机进行缩放或平移，即使球员站在原地不动，看起来也像是在移动。

旧的方法就像是通过观察轨道上的几颗特定小石子来进行追踪（稀疏追踪），这经常会产生混乱。

SMART 团队使用了一种新的方法叫做 RAFT。想象一下，与其观察几颗小石子，不如同时观察整个草坪。RAFT 会观察草地的纹理在每一帧之间是如何移动的。这就像观察体育场里的人群移动一样；即使你看不到每一张脸，你也能感觉到整个群体正在向左或向右移动。通过追踪草地，系统能够准确知道摄像机是如何移动的，从而可以减去这种移动量，从而找到球员真正的所在位置。

3. 脚部：紧贴地面

在 3D 空间中，计算机很容易对球员离地面的高度产生困惑。球员是在跳跃吗？还是摄像机只是倾斜了？

为了解决这个问题，SMART 使用了一个“足平面锚定”的小技巧。它找到视频中球员鞋子的最低点，并从摄像机穿过这只鞋子画出一条看不见的激光束，直到撞击到想象中的足球场平面线。然后，它强制球员的骨架精准地站在那个点上。这就像是给每位球员穿上了一双带有磁性的靴子，让他们牢牢地吸附在草地上，防止他们在空中漂浮或陷入地下。

4. 平滑操作员：清理抖动

当计算机逐帧猜测球员的位置时，结果可能会看起来很晃动，就像视频游戏角色出现闪烁或瞬间移动（glitching）一样。

团队增加了一个“平滑”步骤。想象你在看一段手绘感很强的、颤抖的动画。第一遍平滑处理修复了那些巨大的、不可能发生的跳跃（比如球员突然瞬移到球场另一头）。第二遍平滑处理则温柔地平滑掉细微的抖动，同时确保快速动作（如快速踢球）看起来依然迅猛且自然。这就像是用一只稳健的手去描摹一份颤抖的草图，同时又不丢失原始绘画的能量。

结果：表现如何？

团队使用官方的“FIFA 基准”（他们试图超越的标准）对系统进行了测试。

基准得分： 1.053（越低越好）。
SMART 的得分： 0.593。

这是一个 38.6% 的提升。简单来说，他们的系统在猜测球员在 3D 空间中的位置方面，比之前的最佳方法要精确得多。

有哪些弱点？

作者坦诚地说明了系统在哪些地方表现挣扎：

鱼跃/倒地： 如果一名球员正在空中做鱼跃动作（没有接触地面），“磁性靴子”的小技巧就会失效，系统会对他们的高度感到困惑。
遮挡： 如果一名球员被另一名球员完全挡住，系统必须进行猜测，而且并不完美。
速度： 该系统很重，需要一台性能强大的计算机才能运行，尽管作者指出，如果不需要如此高的精度，他们可以让它运行得更快。

总而言之，SMART 是一种将扁平足球视频转化为精确 3D 模型的新方法，它结合了专门的 AI 艺术家、通过观察草地来追踪摄像机的方法，以及一套让球员保持贴地的规则。

技术摘要：SMART (SMPLest-X 网格自适应与 RAFT 追踪) 用于足球姿态估计

问题定义

本文针对 FIFA 骨骼追踪挑战赛 2026 展开研究，该挑战赛要求从广播视频中估计足球运动员的 3D 世界空间姿态。输入包括视频剪辑（50 fps，1920×1080）以及提供的逐帧边界框、相机内参 ( $K_t$ )、径向畸变系数 ( $k_t$ ) 和初始相机位姿 ( $R_0, t_0$ )。

目标是在共享的世界坐标系中，预测 $N$ 个被追踪球员在 $T$ 帧内的 3D 关节位置。每个球员由一个 FIFA-15 骨骼 表示（包含 15 个关节：鼻子、肩膀、肘部、手腕、臀部、膝盖、脚踝和脚趾）。性能评估使用两个以米为单位的指标：

Global MPJPE（全局 MPJPE）： 绝对世界坐标下的平均每关节误差。
Local MPJPE（局部 MPJPE）： 减去根节点（髋部中心）后的平均每关节误差。

最终竞赛得分定义为 $L = \text{Global MPJPE} + 5 \times \text{Local MPJPE}$ ，这强调了局部姿态质量具有 5 倍更高的权重。

方法论

所提出的 SMART 流水线由四个连续阶段组成：

1. 3D 人体网格恢复 (SMPLest-X)

系统利用基于 SMPLest-X 的回归模型，该模型采用 ViT-H 骨干网络（687M 参数），构建于 SMPL-X 表示之上。

输入处理： 球员边界框被扩大 1.2 倍并调整为 512×384 像素。
推理： 模型回归 SMPL-X 参数（形状 $\beta$ 、姿态 $\theta$ 、全局朝向）以生成完整的人体网格（10,475 个顶点）。通过对网格进行固定的顶点查找来提取 15 个 FIFA-15 关节。
领域自适应微调： 为了弥合预训练模型与广播足球视频（其特征是球员尺寸较小且视角较宽）之间的领域差异，作者采用了：
- 分层剪辑划分： 将 WorldPose 数据集中的 89 个剪辑分为 70 个训练剪辑和 19 个验证剪辑，两者无帧重叠且相机分布一致。
- 多任务损失： $L_{train} = \lambda_1 L_{3D} + \lambda_2 L_{2D} + \lambda_3 L_{depth}$ 。其中 $L_{3D}$ 是加权 MPJPE（肢体末端权重为 3 倍）， $L_{2D}$ 是投影关键点的 L2 损失， $L_{depth}$ 是相机空间盆骨深度的 L1 损失。
- 广播增强： 随机缩放裁剪、带有对称关节置换的水平翻转以及颜色抖动。

2. 相机位姿估计 (RAFT)

该方法没有使用基准模型的 Lucas-Kanade 稀疏追踪器，而是使用 RAFT-small 进行稠密光流计算，从而从初始位姿传播相机旋转 ( $R_t$ ) 和平移 ( $t_t$ )。

流计算： 在 714 个投影场地地标的凸包范围内计算稠密流。
异常值剔除： 使用 MAD 异常值剔除（3 $\sigma$ 阈值）移除受球员运动干扰的流向量。
位姿分解： 通过 RANSAC 拟合单应性矩阵并将其分解为 ( $R_t, t_t$ )。若旋转变化 $|\Delta R| > 60^\circ$ ，则拒绝更新以防止追踪失败。
精细化： 如果检测到场地线交点，则通过 EPnP 解法修正第一帧的绝对相机位置。

3. 世界空间骨骼放置

相机空间骨骼通过三个步骤提升至世界坐标系：

旋转与初始放置： 将根节点相关的骨骼旋转至世界坐标系 ( $\hat{S}_t = R_t S^{(cam)}_t$ )，并将盆骨平移投影至世界空间 ( $p_t = R_t p^{(cam)}_t + t_t$ )。
足平面锚定： 将边界框中最低的足部像素反投影为相机射线，并与已知的场地平面方程求交，以找到地面接触点 ( $f_t$ )。所有关节进行平移，使较低的脚踝与 $f_t$ 对齐。
重投影精细化： 使用两阶段 L-BFGS 优化，首先使骨骼质心与边界框中心对齐，然后使投影关节与 2D 关键点对齐。

4. 时间平滑

采用两阶段平滑策略来消除检测抖动：

第一阶段（全局）： 使用 MAD 异常值检测（标记“瞬间移动”式的跳变）、线性插值和高斯滤波器（ $\sigma=3$ 帧）对全局根节点轨迹进行清洗。
第二阶段（局部）： 根节点相关的关节偏移量独立进行平滑处理，使用更窄的高斯滤波器（ $\sigma=1.5$ 帧），以在去除单帧抖动的同时保留快速的肢体动作（如踢球）。

核心贡献与消融实验结果

论文展示了一个系统的消融研究，证明了各组件的必要性：

微调策略：
- 基准 (SAM-3D)： 得分 1.053。
- SMPLest-X 预训练： 得分 0.846（显示出领域差异）。
- 朴素微调： 得分 0.820（改善了全局误差，但因视角过拟合导致局部 MPJPE 恶化）。
- 足平面锚定： 通过将骨骼锚定在场地平面上，将得分降至 0.714。
- 完整策略 (SMART)： 在验证集上达到 0.647。作者指出 深度监督 ( $L_{depth}$ ) 是主导因素；如果没有它，无论其他增强如何，局部 MPJPE 都会停滞在 0.067 m。
相机追踪器：
- ECC 单应性： 由于无法忽略移动的球员，表现较差（误差 0.107°）。
- Lucas-Kanade (基准)： 误差 0.043°。
- RAFT-small + MAD： 实现 0.041° 误差。作者指出，覆盖球员轮廓的稠密流会引入噪声，而 MAD 滤波有效地缓解了这一问题。使用 RAFT-large 并未带来额外的收益，却使计算成本翻倍。
时间精细化器：
- 一个学习型的滑动窗口时间网络虽然降低了训练集的局部 MPJPE，但降低了竞赛性能（0.680 vs 0.647），因为它过度平滑了在训练分布中表现不足的快速动作。因此，最终提交方案仅依赖于高斯平滑。

结果

SMART 相比 FIFA 基准表现出显著改进：

验证集： 得分从 1.053 (基准) 降至 0.647 (SMART)，提升了 38.6%。
- 全局 MPJPE: 0.602 $\to$ 0.370 m。
- 局部 MPJPE: 0.090 $\to$ 0.055 m。
留出测试集： SMART 达到了 0.593 的得分。
- 全局 MPJPE: 0.324 m。
- 局部 MPJPE: 0.054 m。

重要性与局限性

论文声称，全局误差的主要瓶颈在于相机追踪，特别是在出现剧烈缩放导致场地平面发生表观变形的序列中。相反，一旦经过微调的提升器和足平面锚定到位，局部误差在很大程度上是与相机无关的。

作者谦逊地承认了特定的局限性：

跳跃动作： 在训练数据 (WorldPose) 中代表性不足，导致在处理极端配置以及球员腾空时的足平面锚定失效方面存在困难。
遮挡： SMPLest-X 的逐帧特性使其在遮挡情况下较为脆弱；作者建议未来可以采用具备时间感知能力的提升器。
计算成本： 687M 参数的 ViT-H 骨干网络主导了推理成本，作者指出使用 ViT-S 骨干网络可以在损失适度精度的情况下实现 4 倍的加速。

这项工作确立了将领域自适应微调、鲁棒的稠密光流追踪以及几何锚定（足平面锚定）相结合的方法，在广播足球姿态估计方面显著优于标准基准。