技術要約：入力条件付きスロットクエリを用いた階層型GRUによるボールアクション予測

問題定義

本論文は、サッカーの放送ビデオにおけるボールアクション予測（Ball Action Anticipation）、具体的にはSoccerNet Ball Action Anticipation (BAA) ベンチマークの文脈における課題に取り組んでいる。核心となる課題は、先行する30秒間の観測ウィンドウに基づき、将来の5秒間の予測ウィンドウ内で発生する特定のボール関連のアクションを予測することである。システムは、これらのアクションを10個の異なるクラスに分類し、将来のウィンドウ内における正確な時間的位置を特定しなければならない。評価指標は、6つの時間的許容誤差（1秒から無限大まで）にわたって計算される平均適合率（mAP）である。

手法

提案手法は、局所的な特徴エンコーディング、グローバルな時間的集約、およびクエリベースのデコーディングメカニズムを組み合わせた階層型アーキテクチャを採用している。

1. 特徴抽出

システムは、SoccerNet Ball Action Spottingタスクで事前学習された、InvertedResidual3dブロックとGeMプーリングを備えた凍結されたビデオバックボーン（EfficientNetV2-B0）を利用する。

• 入力構造: 30秒間の観測は、6つの5秒間のウィンドウ（$W=6$）に分割される。
• クリップ表現: 各5秒間のウィンドウ（25 fps）は、さらに$N_c=33$個のクリップに細分化され、1280次元の特徴ベクトル（$F_w \in \mathbb{R}^{33 \times 1280}$）のシーケンスが生成される。

2. 階層型時間エンコーダ

エンコーディングプロセスは2つのレベルで動作する：

• ローカルトランスフォーマー: 共有された2層のpre-LN自己注意（self-attention）トランスフォーマーが、各5秒間のウィンドウを独立して処理する。これは、特徴を$d=256$次元に投影し、学習可能なクリップ位置埋め込みを加えることで、ウィンドウ内の時間的パターンを捉える。正則化のためにStochastic depth (DropPath) が使用される。
• GRUアグリゲーター: 30秒間の全観測にわたる長期依存関係をモデル化するために、エンコードされたウィンドウは適応平均プーリングによって8つのサマリーベクトルに削減され、48ステップ（$T=48$）のシーケンスが作成される。単層のGRUがこのシーケンスを処理し、メモリ状態$H$を生成する。極めて重要な点として、ウィンドウごとに学習可能なパラメータを用いることで、モデルが観測の情報の乏しい初期セグメントに対して一律の重要度重み（$\alpha_w$）を適用することを可能にし、不要なセグメントの重みを下げることができる。

3. 入力条件付きスロットデコーダ

デコーダは、静的な固定クエリを使用する代わりに、$K=4$個の学習可能なスロット埋め込みを利用し、これらは観測コンテキストに基づいて動的に初期化される。

• コンテキスト・シーディング: 各スロットクエリ$q_k$は、GRUメモリ$H$の平均から導出されたコンテキストベクトルに、学習可能な埋め込み$e_k$を加えることで形成される。これにより、スロットは特定の入力シーケンスに合わせてその初期状態を適応させることができる。
• デコーディング: 4層のトランスフォーマーデコーダ（クロスアテンションと自己注意を含む）が、これらのクエリをGRUメモリに対して処理する。
• デカップルされたヘッド: 各スロットは、以下の3つの独立した予測を出力する：
  1. オブジェクト性（Objectness）: スロットが実際のイベントに対応するかどうかを示すバイナリ確率（$p_{obj}$）。
  2. クラス（Class）: 10個のアクションクラスに対するソフトマックス分布。
  3. 時間オフセット（Temporal Offset）: 5秒間のウィンドウ内の正確なタイミングを予測するための32個のビンに対するソフトマックス分布。
     注記：オブジェクト性とクラス予測を分離することで、背景クラスへの崩壊を防いでいる。

4. 学習戦略

学習パイプラインは、クラス不均衡と時間的精度に対処するためにいくつかのメカニメントを組み込んでいる：

• 頻度再重み付けハンガリアンマッチング: 非常に高い分類コストにより、稀なアクションクラスが系統的にマッチングされない問題を解決するため、マッチングコストを逆頻度重み（$w_{cm}$）で除算する。これにより、稀なグランドトゥース・イベントへのスロット割り当てが系統的に促進される。
• ガウスソフトターゲット: 時間オフセットの教師信号として、ハードなone-hotビンではなく、グランドトゥースのビンを中心としたガウスソフトターゲットを使用する。これにより、隣接するエラーよりも時間的に遠いエラーをより厳しく罰し、勾レットを平滑化する。
• クラス不均衡への対処: 重み付きランダムサンプラーにより、稀なクラス（例：TACKLEは40倍多くサンプリングされる）の頻度を大幅に高めている。
• データ拡張: 特徴量のMixUpが適用され、入力特徴量を混合し、ソースサンプルからの損失を組み合わせる。
• 補助ヘッド: 最後のウィンドウにおけるフレームごとのアクション存在を予測する1D-CNNヘッドを提供し、補助的な教師あり学習を行う。

主な貢献

1. 階層型アーキテクチャ: クリップレベルの特徴のためのローカルトランスフォーマーと、グローバルな時間的集約のためのGRUの統合により、モデルは微細な相互作用と長期的なコンテキストの両方を効率的に捉えることができる。
2. 入力条件付きクエリ: GRUのサマリー（式1）によってシードされるスロットクエリの導入は、静的なクエリをコンテキスト依存の初期化に置き換え、静的な埋め込みと比較して検証性能を約0.8 mAP向上させた。
3. 特化した損失とマッチング: 頻度再重み付けハンガリアンマッチングの提案は、アクション予測におけるクラス不均衡問題を直接的にターゲットとしており、最適化中に稀なクラスが無視されないようにする。さらに、時間的なビニングのためのガウスソフトターゲットは、時間予測の滑らかさを向上させる。

結果

本手法は、SoccerNet Ball Action Anticipationベンチマークで評価された：

• パフォーマンス: テストサーバーにおいて17.91% mAP（全許容誤差の平均）を達成した。
• 比較: 提案手法はエンドツーエンドのビデオバックボインのファインチューニングを行っていないにもかかわらず、主催者が提供したFAANTRAベースライン（18.05% mAP）に匹敵する結果となった。
• アブレーションによる洞察:
  • オブジェクト性の閾値（$\tau$）を0.3から0.05に下げると、クリップあたりの予測数が5倍に増加したが、mAPは13.96%に低下した。これは、低信頼度のスロットがノイズの多い出力を生成することを確認している。
  • 入力条件付きクエリメカニズムを取り除いた場合（静的なスロットに戻した場合）、検証mAPは約0.8ポイント低下した。

意義と主張

本論文は、ボールアクション予測における固有のクラス不均衡と時間的精度の要件を効果的に処理する、堅牢でモジュール式のアーキテクチャを提供しているという点で、その重要性を位置づけている。著者らは、ビデオバックボーン全体のファインチューニングに伴う計算コストをかけずに、ブラインド・チャレンジの分割において競争力のあるパフォーマンスを達成したと主張している。本研究は、入力条件付きスロットクエリと頻度認識マッチングが、特に過小評価されているアクションクラスにおいて、予測精度を向上させるための重要な要素であることを示している。結果は、不均衡のための特定の損失修正と組み合わせた、注意深く設計された階層型エンコーダ・デコーダ構造が、この領域において最先端の性能に近づくために十分であることを示唆している。