技術概要：SoccerNet 2026 チャレンジ結果

1. 問題定義とコンテキスト

SoccerNet 2026 チャレンジは、スポーツビデオ理解におけるコンピュータビジョン研究を推進するために設計された、第6回目となる年次のオープンベンチマークの取り組みです。過去のエディションではアクション・スポッティングやカメラキャリブレーションなどのタスクに焦点を当ててきましたが、2026年版では、サッカー放送特有の困難さ（小さく視覚的に類似したプレイヤー、頻繁な遮蔽、長い未トリミングビデオ内での希薄なイベント、急激なカメラの視点変化）に対処するため、5つの異なるビジョンベースのタスクへと範囲を拡大しています。

具体的な5つのチャレンジは以下の通りです：

1. ボールアクション予測 (BAA): 前行の30秒間の観測ウィンドウに基づき、5秒間の将来の窓におけるボール関連のアクションのタイミングとクラスを予測する。
2. プレイヤー中心のボールアクション・スポッティング (PCBAS): ボール関連のアクションを時間的にローカライズおよび分類し、チームの所属と背番号を通じて各アクションを特定のプレイヤーに割り当てる。
3. 新規視点合成 (NVS): マルチビューのサッカーシーンにおいて、未学習のカメラポーズからフォトリアリスティックな画像をレンダリングする。
4. Spiideo SoccerNet Synloc (SSS): 校正済みの静止カメラ画像から、現実世界のピッチ座標におけるアスリートをローカライズする。
5. 視覚的質問応答 (VQA): テキスト、画像、ビデオの入力を用いて、サッカー放送に関する多肢選択式の質問に回答する。

このイニシアチブは、手法間の再現性と比較可能性を確保するために、共有データ、統一された評価プロトコル、および公開ベースラインを提供することを目指しています。

2. 手法とチャレンジの構造

2.1 データとプロトコル

各タスクには、特定のデータセットと評価指標が使用されました：

• BAA: SN-BAAデータセット（イングリッシュ・フットボール・リーグ）を使用。評価は、時間的許容誤差（$\delta \in \{1, 2, 3, 4, 5, \infty\}$）にわたるスコアの平均をとる、予測のための修正平均適合率（mAP）を適用した。
• PCBAS: 8つのアクションクラスを持つFOOTPASSデータセットに基づく。評価には、低い信頼度閾値（$\tau=0.15$）におけるマクロF1スコアを使用し、アクションクラス、チーム、および背番号が$\pm 12$フレーム以内で完全に一致することを要求した。
• NVS: 実写の放送映像からBlenderを用いて生成された合成データセットを使用し、4K画像とCOLMAPカメラパラメータを提供。評価では、SSIMおよびLPIPSに加え、ランキングのためのPSNRを優先した。
• SSS: ピッチの半分をカバーする静止カメラ画像を利用。主要な指標は、実世界の距離許容誤差（$\tau=1$m）に基づいて検出とローカライゼーションの精度を重み付けするmAP-LocSimであった。
• VQA: 14のカテゴリ（テキスト、画像、ビデオ）をカバーするSoccerAgentおよびSoccerBenchに基づく。評価は、500問のチャレンジ分割に対する回答の正確性であった。

2.2 主要な手法的アプローチ

各タスクにおける優勝作品は、いくつかの共通する技術的テーマを示しました：

• 予測 (BAA): 勝者の FAANTRA-WS は、高解像度の時間モデリング（448pフレーム）と2フェーズのウォームスタート・トレーニングレシピを用いて公式のベースラインを適応させた。主な革新には、異なるRegNetYチェックポイントのアシンメトリックなロジット・アンサンブル、および希少なクラスを扱うためのクラス重み付き損失が含まれる。他のチームは、入力解像度の向上や、戦術的コンテキストを抽出するための視覚言語モデル（VLM）の使用によって性能を向上させた。
• スポッティング (PCBAS): 勝者の PAVE は、Track-Aware Action Detection (TAAD) および Denoising Sequence Transduction (DST) フレームワークを強化した。これは、プレイヤーごとのアテンションメカニズムと4つのバリアントの投票アンサンブルを導入した。決定的なのは、「タックル」のような希少なクラスの再現率を維持しつつ、偽陽性を抑制するために合意フィルタリングを採用したことである。
• 新規視点合成 (NVS): 勝者の DENSER は、地上レベルの放送ビューが学習において過小評価されているという、重大な分布のミスマッチに対処した。これは、カメラの高さに基づく損失重み付け（地上ビューに対して最大5倍の重み）や、スケールおよびシフト不変な深度監督、および3モデルのピクセル平均アンサンブルを用いて、EFA-GS（エイリアスフリーのガウス・スプラッティング手法）を拡張したものである。
• Synloc (SSS): 勝者の Boundary-Aware Adaptive Tiling は、トップダウンのフレームワークを利用した。これは、オブジェクトを完全に包含することを保証するために、粗い検出に基づいて固定グリッドのクロップを動的に拡張した。RTMPose-Xを適応させ、骨盤とその接地投影のみを予測するようにし、2つのキーポイント推定器による物理的結合を強制し、決定論的なレイキャスティングを使用して2D投影をメートル単位の世界座標へと持ち上げた。
• VQA: 勝者の Frontier VLMs は、タスク・ルーティングによるエリシテーション・システムを採用した。単一のプロンプトではなく、知識のグラウンディング、視覚的プロンプティング、推論の分解、および時間的理解の4つのパラダイムに質問をルーティングした。Gemini-3.1-Proの推論エンジンを導くために、構造化メタデータ（SoccerAgent/SoccerWiki）と視覚的プロンプト（番号付きのプレイヤーボックス）を活用した。

3. 主要な結果

参加規模は大きく、427チームが5つのタスクに対して1,129件のエントリーを提出した。レビュー済みのテクニカルレポートを提出したチームのみが最終リーダーボードに含まれた。

• ボールアクション予測: トップチーム（FAANTRA-WS）は mAPavg 24.08 を達成し、ベースラインを7.32ポイント上回った。
• プレイヤー中心のボールアクション・スポッティング: トップチーム（FSITAHAKOMPCBAS-1）は Macro F1@0.15 で 58.94 を達成し、ベースラインから12.5ポイントの改善を見せた。「タックル」クラスは、遮蔽と希少性のために最も困難なカテゴリであり続けた。
• 新規視点合成: トップチーム（Sarthi-GameChanger）は PSNR 29.89 を達成し、3DGSベースラインを3.15 dB向上させた。しかし、最良の手法はTriangle Splattingベースラインに対してLPIPSを改善しておらず、PSNRと知覚的品質の間のトレードオフを浮き彫りにした。
• Spiideo SoccerNet Synloc: トップチーム（SELabSoccerSSS-1）は mAP-LocSim 97.67 およびフレーム精度 81.91% を達成し、ベースライン（77.30 mAP-LocSim）を大幅に上回った。
• 視覚的質問応答: トップチーム（vitomeme）は、500問の分割に対して 98.0% の精度を達成し、ランダムなベースラインの25.0%を大きく上回った。

4. 重要性と貢献

本論文は、主に3つの貢献を主張している：

1. ドキュメンテーション: 5つの2026年タスクの定義、データセット、および評価スコアに関する単一のリファレンスを提供する。
2. ベンチマーキング: ホールドアウト分割におけるチャレンジのリーダーボードを提示し、性能を向上させた具体的な設計選択（例：アンサンブル、解像度のスケーリング、タスク・ルーティング）を要約し、主要な提出物のオリジナルの貢献をまとめる。
3. 最先端分析: 再現可能な研究をサポートするために、より豊かなコンテキスト表現、モデルのアンサンブル、およびドメイン構造（例：カメラ幾何学、戦術的特徴）の明示的な使用によって進歩が駆動されていることを指摘し、繰り返される手法的テーマを合成する。

著者らは、これらのチャレンジが、非再現的な評価のリスクを軽減し、大規模な社内データセットを持たないチームの参入障壁を下げたことを強調している。結果は、大きな進展が見られる一方で、遮蔽、希少なアクションクラスの処理、および微細な知覚とマルチモーダルな推論の統合において課題が残っていることを示している。論文は、スポーツビデオ理解における再現可能な研究をサポートするために、オープンなデータセットと標準化されたプロトコルを維持するというSoccerNetイニシアチブのコミットメントを再確認して締めくくられている。