技術要約: SMART (SMPLest-X Mesh Adaptation and RAFT Tracking) によるサッカーのポーズ推定

問題定義

本論文は、放送映像からサッカー選手の3Dワールド座標系におけるポーズを推定することを目的とした「FIFA Skeletal Tracking Challenge 2026」に対処するものである。入力は、ビデオクリップ（50 fps、1920×1080）であり、フレームごとのバウンディングボックス、カメラ内部パラメータ（$K_t$）、および放射歪係数（$k_t$）、初期カメラポーズ（$R_0, t_0$）が提供される。

目的は、$T$ フレームにわたる $N$ 人の追跡された選手の3D関節位置を、共通のワールド座標系で予測することである。各選手は、FIFA-15スケルトン（鼻、肩、肘、手首、腰、膝、足首、および足の親指を含む15個の関節）によって表現される。性能は、メートル単位の2つの指標で評価される：

1. Global MPJPE: 絶対的なワールド座標における平均関節誤差。
2. Local MPJPE: ルート（中臀部）を差し引いた後の平均関節誤差。

最終的なコンペティションのスコアは $L = \text{Global MPJPE} + 5 \times \text{Local MPJPE}$ と定義されており、ローカルなポーズ品質の重要性が5倍高いことが強調されている。

手法

提案手法である SMART パイプラインは、以下の4つの連続したステージで構成される：

1. 3Dボディメッシュリカバリ (SMPLest-X)

本システムは、SMPL-X表現に基づいたViT-Hバックボーン（687Mパラメータ）を持つ回帰ベースのモデルである SMPLest-X を利用する。

• 入力処理: プレイヤーのバウンディングボックスを1.2倍に拡張し、512×384ピクセルにリサイズする。
• 推論: モデルはSMPL-Xパラメータ（形状 $\beta$、ポーズ $\theta$、グローバルな向き）を回帰し、フルボディメッシュ（10,475頂点）を生成する。15個のFIFA-15関節は、メッシュ上の固定された頂点ルックアップを通じて抽出される。
• ドメイン適応型ファインチューニング: 事前学習済みモデルと、放送用サッカー（小さなプレイヤーサイズや広角が特徴）との間のドメインギャップを埋めるため、著者らは以下を採用している：
  • 層化クリップ分割: WorldPoseデータセットの89個のクリップを、フレームの重複がなく、カメラ分布を一致させた70個のトレーニング用と19個の検証用クリップに分割した。
  • マルチタスク損失: $L_{train} = \lambda_1 L_{3D} + \lambda_2 L_{2D} + \lambda_3 L_{depth}$。$L_{3D}$ は重み付きMPJPE（末端部を3倍に加重）、$L_{2D}$ は投影されたキーポイントに対するL2損失、そして $L_{depth}$ はカメラ空間の骨盤の深さに対するL1損失である。
  • 放送用拡張: ランダムなリサイズクロッピング、対称的な関節置換を伴う水平反転、およびカラージッター。

2. カメラポーズ推定 (RAFT)

ベースラインのLucas-Kanade疎トラッカーの代わりに、本手法では RAFT-small を使用して、初期ポーズからカメラの回転（$R_t$）と並進（$t_t$）を伝播させるための高密度オプティカルフローを利用する。

• フロー計算: 714個の投影されたピッチランドマークの凸包内において、フレーム間の高密度フローを計算する。
• 外れ値除去: プレイヤーの動きによって汚染されたフローベクトルは、MAD外れ値除去（3$\sigma$閾値）を用いて除去される。
• ポーズ分解: ホモグラフィをRANSAC経由で適合させ、（$R_t, t_t$）に分解する。トラッキングの失敗を防ぐため、回転の変化 $|\Delta R| > 60^\circ$ を伴う更新は拒否される。
• 精緻化: フィールドラインの交差が検出された場合、EPnPソルブによって第1フレームにおける絶対的なカメラ位置を補正する。

3. ワールド空間へのスケルトン配置

カメラ空間のスケルトンは、以下の3つのステップを経てワールド座標系へと持ち上げられる：

1. 回転と初期配置: ルート相対的なスケルトンをワールドフレームへと回転させ（$\hat{S}_t = R_t S^{(cam)}_t$）、骨盤の並進をワールド空間へ投影する（$p_t = R_t p^{(cam)}_t + t_t$）。
2. 足底平面へのアンカリング: バウンディングボックス内の最も低い足のピクセルをカメラレイへと逆投影し、既知のピッチ平面の方程式と交差させることで、接地点（$f_t$）を見つける。すべての関節は、下の足首が $f_t$ に一致するように移動される。
3. 再投影による精緻化: 2段階のL-BFGS最適化を行い、スケルトンの重心をバウンディングボックスの中心に合わせ、次に投影された関節を2Dキーポイントに適合させる。

4. 時間的平滑化

検出のジッターを除去するために、2パスの平滑化戦略を用いる：

• パス1 (Global): グローバルなルート軌跡は、MAD外れ値検出（「テレポート」のような跳躍をフラグ立てする）を用い、線形補間とガウスフィルタ（$\sigma=3$ フレーム）を使用してクリーニングされる。
• パス2 (Local): ルート相対的な関節オフセットは、急速な肢の動き（キックなど）を保持しつつ単一フレームのジッターを除去するため、より狭いガウスフィルタ（$\sigma=1.5$ フレーム）を用いて独立して平滑化される。

主な貢献とアブレーション結果

本論文は、各コンポーネントの必要性を実証する体系的なアブレーション研究を提示している：

• ファインチューニング戦略:

  • ベースライン (SAM-3D): スコア 1.053。
  • SMPLest-X 事前学習済み: スコア 0.846（ドメインギャップを示す）。
  • ナイーブなファインチューニング: スコア 0.820（グローバルは改善するが、ビューポイントへの過学習によりローカルMPJPEが悪化する）。
  • 足底平面アンカリング: スケルトンをピッチ平面に接地させることで、スコアを 0.714 に低減。
  • フル戦略 (SMART): 検証セットで 0.647 を達成。著者らは、深度監督 ($L_{depth}$) が支配的な要因であることを特定しており、これがない場合、他の拡張を行ってもローカルMPJPEは 0.067 m で停滞する。

• カメラトラッカー:

  • ECCホモグラフィ: 動いているプレイヤーを無視できないため、性能が低い（0.107° の誤差）。
  • Lucas-Kanade (ベースライン): 0.043° の誤差。
  • RAFT-small + MAD: 0.041° の誤差を達成。著者らは、プレイヤーのシルエット上での高密度フローがノイズを導入するが、MADフィルタリングによって効果的に軽減されると述べている。RAFT-large は、計算コストを2倍にしてもさらなる利得は得られなかった。

• 時間的リファイナー:

  • 学習済みのスライディングウィンドウ時間ネットワークは、トレーニング分割におけるローカルMPJPEを減少させたが、トレーニング分布に十分に表現されていない速い動作を過度に平滑化してしまい、コンペティションの性能を低下させた（0.680 対 0.647）。その結果、最終的な提出物ではガウス平滑化のみに依存している。

結果

SMARTは、FIFAのベースラインに対して大幅な改善を示している：

• 検証セット: スコアが 1.053 (ベースライン) から 0.647 (SMART) へと減少。これは 38.6% の改善である。
  • Global MPJPE: 0.602 $\to$ 0.370 m.
  • Local MPJPE: 0.090 $\to$ 0.055 m.
• ホールドアウトテストセット: SMART は 0.593 のスコアを達成。
  • Global MPJPE: 0.324 m.
  • Local MPJPE: 0.054 m.

重要性と限界

本論文は、グローバルな誤差の主なボトルネックはカメラトラッキングであり、特に激しいズームによってピッチ平面の変形が生じるシーケンスにおいて顕著であると主張している。逆に、精緻化されたリフターと足底平面アンカリングが導入されていれば、ローカルな誤差はカメラに依存しない。

著者らは、特定の限界についても謙虚に認めている：

1. ダイビングポーズ: トレーニングデータ（WorldPose）において表現が不足しており、極端な構成への対応や、プレイヤーが空中にある場合の足底平面アンカリングの失敗につながっている。
2. 遮蔽 (Occlusion): SMPLest-X のフレームごとの性質により、遮蔽下では脆弱である。将来的な改善策として、時間的に意識したリフターが示唆されている。
3. 計算コスト: 687M の ViT-H バックボーンが推論コストを支配しており、著者らは ViT-S バックボーンを使用すれば、わずかな精度低下で 4 倍の高速化が可能であると述べている。

本研究は、ドメイン適応型のファインチューニングと、堅牢な高密度オプティカルフロー・トラッキング、および幾何学的な接地（足底平面アンカリング）を組み合わせることが、放送用サッカーのポーズ推定において標準的なベースラインを大幅に上回ることを確立している。