技術概要：TT4D – モノキュラー動画からの卓球 4 次元再構成のためのパイプラインとデータセット

1. 問題定義

一般視点のモノキュラー放送動画から、4 次元の卓球試合（カメラパラメータ、3 次元のボール位置、ボールの回転、3 次元の人間メッシュ）を再構成することは、重大な課題を伴います。このスポーツは、高速な動き、小さな物体サイズ、選手による頻繁な遮蔽、そしてモーションブラーが特徴です。

既存の再構成パイプラインにおける主要なボトルネックは時間セグメンテーションです。従来の手法（TT3D、LATTE-MV など）は「従来のパイプライン」に依存しており、まず 2 次元のボール軌跡に基づいて連続動画を個別のショットセグメントに分割し、その後それらのセグメントを 3 次元にリフト（持ち上げ）しようとします。この 2 次元優先のアプローチは脆弱です。2 次元のボール軌跡は遮蔽や誤検出によって頻繁に中断され、セグメンテーションのロジックが破綻します。その結果、遮蔽下では信頼性の高い再構成が失敗し、手動によるセグメンテーションは大規模データセットにはスケーラブルではありません。さらに、既存の手法は、正確な 3 次元の文脈なしにボールの回転やラケットの状態を推論することに苦労しています。

2. 手法：リフトファーストパイプライン

著者らは、パラダイムシフトであるリフトファーストパイプラインを提案します。2 次元の軌跡をまずセグメント化するのではなく、このパイプラインは、分割されていない 2 次元のボール軌跡全体を、時間セグメンテーションを行う前に連続した 3 次元軌道にリフトします。この逆転により、セグメンテーションは曖昧さのない 3 次元ドメインで行われるようになり、2 次元の検出が欠落している場合でも、ヒットやバウンスのイベントを頑健に識別可能になります。

このパイプラインは 4 つの段階で構成されます：

ステージ 1：データ取得と前処理

• クリッピング: 生放送動画は、スコアボード検出（YOLO + PaddleOCR）と 2 次元ボール軌跡の振動分析を用いて、個別のラリーにクリップされます。
• 重複除去: 放送エンコーディングで一般的に発生する重複フレームを検出・除去するために、構造的類似性指標（SSIM）が使用されます。これらは軌道推定を破損させるためです。
• 特徴量抽出: システムは、カメラ較正（未知の焦点距離を持つ Perspective-$n$-Point の求解）、2 次元ボール軌跡（TrackNetV3）、および 3 次元人間メッシュ（4DHumans）を抽出します。

ステージ 2：全シーケンスリフトネットワーク

中核となる技術的貢献は、300 万のラリーからなる大規模な合成データセットで訓練された、トランスフォーマーベースのモデルである全シーケンスリフトネットワークです。孤立したセグメントを処理する先行モデルとは異なり、このネットワークは任意の長さの完全な分割されていないラリーを処理します。

• アーキテクチャ: ベースラインのリフトモデルを基盤とし、タイムスタンプ処理のためにロータリー位置埋め込み（RoPE）を利用します。
• 高密度回転予測: ネットワークは、セグメントベースのモデルで使用される単一の「初期回転」トークンの必要性を排除し、シーケンス全体に対して密なフレームごとの 3 次元回転ベクトルを予測します。
• 補間トークン（MTM）: 遮蔽に対処するため、ネットワークは欠落したボール検出をマスクドトークンモデリングタスクとして扱います。ボールベクトルが欠落している場合でもカメラの文脈（卓のキーポイント）を保持するために**解離コンテキスト埋め込み（DCE）を採用し、補間トークンが有効な検出特徴を希薄化しないようにする遅延アップサンプリングトークンアテンション（DUTA）**メカニズムを用います。

ステージ 3：3 次元ドメイン注釈

連続した 3 次元軌道が再構成されると、単純な 1 次元信号分析を通じて時間セグメンテーションが実行されます：

• ヒットポイント: 3 次元の $x$ 座標におけるピーク/トロフとして特定されます。
• バウンス: $z$ 座標における局所最小値として特定されます。
• ラケット推定: 衝突時のラケットのポーズと速度を推論するために、最適制御問題（OCP）が解かれます。衝突後の軌道（マグヌス効果を含む）をシミュレーションし、観測された 3 次元経路と一致させることで、ボールの動きを生み出したラケットの状態を回復します。

ステージ 4：フィルタリングとキュレーション

パイプラインは以下の方法で品質を担保します：

• 2 次元再投影チェック: 3 次元軌道が厳密な閾値内で元の 2 次元検出に再投影されることを確認します。
• 物理的整合性: 物理ベースの常微分方程式（ODE）を 3 次元軌道にフィットさせます。物理法則からの偏差が大きい点は破棄されます。

3. 主要な貢献

1. リフトファースト再構成パイプライン: 3 次元再構成を脆弱な 2 次元セグメンテーションから分離する新しいパラダイム。遮蔽された分割されていないシーケンスの頑健な処理を可能にします。
2. 全シーケンスリフトネットワーク: 完全なラリーを処理し、密な 3 次元軌道とフレームごとの回転ベクトルを出力する最初の手法。新しい「ステッチ」アルゴリズムによって生成された 300 万ポイントの合成データセットで訓練されています。
3. TT4D データセット: 211,534 個の再構成されたラリーを含む 140 時間以上のマルチモーダルデータセット。高忠実度の 3 次元ボール軌道、人間メッシュ、そして初めてこの規模で高密度な 3 次元回転ベクトルと頑健な 3 次元導出の時間セグメンテーションを特徴としています。
4. ダウンストリームアプリケーション: 論文は、データセットの有用性を以下の点で実証しています：
   • ラケットストローク推定: 衝突時のラケットのポーズと速度を高忠実度で回復。
   • 生成モデリング: 物理的に妥当で時間的に現実的な競争的なラリーを生成するための条件付きフローマッチング（CFM）モデルの訓練。

4. 結果と評価

• 再構成精度: 統合された現実的なベンチマークである TT4DBench において、全シーケンスアプローチは、平均 3 次元軌道誤差（$\Delta \vec{r}^{3D}$）をセグメントベースの 21.71 cm から 18.95 cm に削減しました。
• 頑健性: モデルは、50% のフレームレートの低下や 10% の検出欠落を含む「野外（in-the-wild）」条件下でも、わずかな性能低下のみで強力な性能を維持します。
• 物理的妥当性: 生成および再構成された軌道は、物理ベースの ODE フィットと高い整合性を示します。生成されたラリーの平均 ODE フィット誤差（8.72 cm）は、実データ（10.77 cm）と同等です。
• 効率性: ネットワークは Titan X GPU 上で 1 秒あたり 500 ポイント以上を処理し、最適化ベースの手法に比べて大幅な改善となる、数分で数千試合の再構成を可能にします。
• ラケット再構成: モーションキャプチャのグランドトゥルースに対する検証により、平均方位誤差は $26.4 \pm 4.4^\circ$、速度誤差は $0.58 \pm 0.40$ m/s でした。

5. 意義

本論文は、TT4D とリフトファーストパイプラインがスポーツ再構成のスケーラビリティを根本的に変えることを主張しています。2 次元ベースの時間セグメンテーションの脆弱性を回避することで、この手法は以前は 4 次元分析に使用不可能だった一般視点の放送動画の処理を可能にします。このデータセットは、以下の分野に対する新たな基盤を提供します：

• バーチャルリプレイと選手分析: 大規模で以前は利用不可能だった正確な 3 次元メトリクスを提供。
• ロボット学習: 人間型ロボットのための模倣学習と予期政策に必要なデータを提供。
• 計算スポーツ科学: 高忠実度でボールの力学、回転、および選手の戦略の研究を可能にする。

著者らは、卓球で実証されたものの、この一般的なパイプラインはテニスやバドミントンなどの他の高速スポーツにも拡張可能であると強調しています。TT4D データセットの公開は、これらの分野におけるさらなる研究を触発することを意図しています。