技術サマリー: MonoClub

問題提起

通常の単眼ビデオにおけるゴルフクラブの信頼性の高い観測は、その物理的特性により本質的に困難である。シャフトは細長く、モーションブラーや自己遮蔽（セルフオクルージョン）が発生しやすい構造であり、クラブヘッドは小さく、しばしばぼやけてしまう。独立した物体検出やキーポイント回帰に依存する従来のアプローチは脆弱である。なぜなら、視覚的に目立つ線が背景のものである可能性があり、また、もっともらしい終端が誤ったシャフトと組み合わされる可能性があるからである。さらに、既存のデータセットや手法の多くは、密な幾何学的アノテーションを欠いているか、あるいはクラブをプレイヤーの身体と結合した構成要素としてではなく、孤立した物体として扱っている。本研究が取り組む核心的な課題は、制約のない単一のゴルフスイングビデオ内で、どのようにクラブヘッドとシャフトの証拠を結合させ、一貫した二次元構成を生成するかである。

手法

本論文では、単一のビデオフレームから一貫した2Dクラブ構成（グリップ・アンカー、シャフト中心線、およびクラブヘッドの位置）を推定する、ポーズ誘導型の結合局在化フレームワークであるMonoClubを提案する。本システムは、エンドツーエンドの一括予測ではなく、「提案およびランキング（propose-and-rank）」のワークフロー上で動作する。

1. ポーズ条件付きグリップ・アンカー

システムはまず、プレイヤーの身体ポーズと手の位置を推定する（YOLOv8-Poseを使用し、オプションでMediaPipeを使用）。これにより、ソフト・グリップ・アンカー（$g_t$）と身体スケール因子（$b_t$）が得られる。このアンカーは固定された3D再構成ではなく、シャフトがどこから始まるべきかを制約する2Dの事前情報であり、背景の任意の線がクラブの起点として受理されるのを防ぐ役割を果たす。

2. 候補生成

複数の候補となるクラブ構成が生成される。これらの仮説は、グリップの位置、シャフトの中心線セグメント、およびクラブヘッドの終端で構成される。候補は以下の手法を用いて提案される：

• 前フレームからの先行状態（Prior states）。
• 古典的な幾何学的手がかり（LSD線セグメント、ハフ変換、暗い連結成分）。
• 手のピクセルから放射される放射状のレイ（Ray）。
• 学習されたクラブヘッドの候補。

3. 結合証拠スコアリング

最適な局所検出を選択する代わりに、本システムは、以下の要素を統合した統一関数（$S_{t,k}$）を用いて競合する仮説をスコアリングする：

• シャフト・ストリップ証拠: ポーズ条件付きのTinyUNetが、候補となる線に沿ったシャフトの確率マップを予測する。学習時には、細いシャフトのトポロジー的連続性を確保するために「soft-clDice」損失が使用される。
• クラブヘッド終端証拠: 別のTinyUNetが、候補となるシャフトの遠位終端付近のクラブヘッドマスクを予測する。
• 幾何学的適合性: 身体スケールやグリップ・アンカーに対して物理的に不自然な候補（例：分離したシャフト）にペナルティを与える項。
• 時間的一貫性: （ビームサーチ・ダイナミックプログラミングを介した）オプションの項により、フレーム間での急激で根拠のない状態の変化を抑制し、高速移動中の予測を安定させる。

4. 信頼性ゲートと棄却

極めて重要なコンポーネントは、信頼性ゲート（$q_t$）である。本システムは、視覚的な証拠が曖昧な場合に予測を強制することはない。幾何学的残差、時間的不一致、および候補間の不一致に基づいて信頼性スコアを算出する。

• 受理（Accepted）: 高い候補スコアと高い信頼性。
• 観測のみ（Observation-Only）: 生の候補が表示されるが、そこから派生した結論は導出されない。
• 棄却（Abstain）: モーションブラー、自己遮蔽、またはフレーム外のクラブがある場合、システムは明示的に「測定なし」を報告する。これにより、困難なフレームを単に破棄するのではなく、「可視性」を評価することが可能になる。

主な貢献

1. グリップ・アンカーによる結合定式化: 本論文は、クラブヘッド、シャフト、および可視性を、独立した出力としてではなく、単一の結合推定された構成として扱う。これにより、グリップ領域、シャフトの線、および終端の間の整合性チェックが可能になる。
2. 候補誘導型推論ワークフロー: ポーズのコンテキスト、学習されたシャフト・ストリップ・セグメンテーション、および幾何学的適合性を、統一されたスコアリング関数内で統合している。古典的な手がかりは候補生成のためにのみ使用され、ディープラーニングがランキングのための主要な証拠を提供する。
3. ソースビデオを分離した評価プロトコル: 評価は、ビデオレベルで分割されたデータセット（同じビデオの隣接フレームが異なるスプリットに現れないもの）に対して行われる。これにより、時間的なリークを防ぎ、汎化性能を現実的に評価できる。プロトコルでは、提案の再現率（recall）、セグメンテーション品質、エンドツーエンドの局在化、および可視性F1スコアを95%信頼区間とともに報告する。

実験結果

フレームワークは、60本の単眼ゴルフスイングビデオ（テスト用20本、訓練/検証用40本）からなるカスタムデータセットおよび公開データセットであるGolfClubを用いて評価された。

• エンドツーエンドの局在化: MonoClubは、平均ヘッド誤差（MHE）9.1ピクセル、PCK@10で**93.5%**を達成し、CADDIE（MHE 11.2 px）やRacketVisionといった最先端のベースラインを上回った。
• シャフトの幾何学: 本手法は、シャフト角度誤差3.6°、および終端から中心線までの距離6.7ピクセルを達成した。
• セグメンテーション: クラブヘッド・セグメンテーション・モジュールは、Dice係数0.84、IoU0.73を達成した。
• 候補再現率: 提案生成ステップは、K=5において**96.2%**の高い再現率を達成しており、スコアリング段階に至る前に真のクラブヘッドが見逃されることは稀であることを保証している。
• 効率性: モデルは1,240万個のパラメータを使用し、RTX 4090上で52 FPSで動作し、リアルタイムアプリケーションへの適用が可能である。
• アブレーション研究: ポーズ条件付けを除去するとMHEが68%増加し、結合（coupling）を除去するとシャフト角度の推定が著しく低下した。これは、結合アプローチの必要性を裏付けている。

意義と主張

本論文は、堅牢な二次元ゴルフクラブ観測のための再現可能な基盤を提供することを主張している。その意義は以下の通りである：

• 曖昧さへの耐性: ボディポーズと結合してシャフトとクラブヘッドを扱い、信頼性ゲートを採用することで、本システムは、独立した検出器よりもモーションブラー、自己遮蔽、および背景の混雑を適切に処理できる。
• 明示的な不確実性の処理: 信頼性が低い場合に（ノイズの多いデータを出力するのではなく）予測を控える能力は、コーチングや可視化などのダウンストリームアプリケーションにとって重要な機能である。
• ダウンストリームへの有用性: 主要な貢献は2D観測であるが、本フレームワークはスイングの可視化（例：プロフェッショナルなリファレンスのオーバーレイ）などのダウンストリームタスクをサポートする。

限界と範囲:
著者らは、これが二次元的な手法であることを明示している。単眼深度再構成、3Dバイオメカニカル分析、またはプロフェッショナルなスイングの投影を行うとは主張していない。これらはダウンストリームのアプリケーションとして特定されている。本手法は正確な2Dボディポーズ推定に依存しており、剛体としてのクラブモデルを前提としているため、著しく曲がったシャフトや非標準的なグリップには苦慮する可能性がある。評価は厳密に2D指標に限定されており、示されているプロフェッショナル・リファレンスのオーバーレイは定性的な可視化であり、検証された3D再構成ではない。