Towards Comprehensive Basketball Understanding

プロのバスケットボールの試合を観戦することは、豊かで層の厚い体験です。何が起きているのかを真に理解するためには、単にボールがコート上を移動する様子を見るだけでは不十分です。関与している特定の選手を認識し、パスが行われた正確な瞬間を追跡し、シュートがどこで打たれたのかを正確に特定し、そしてこれらの視覚的な瞬間を、チームや選手のキャリア、そしてスポーツのルールに関する膨大な事実のライブラリへと結びつけなければなりません。数十年にわたり、コンピュータはこの種の深く統合された理解を行うことに苦労してきました。現代の人工知能は、写真の中の物体を識別したり、画像に関する単純な質問に答えたりすることには非常に長けてきましたが、これらのスキルを組み合わせるよう求められると、しばしば失敗します。選手の顔を認識できても、その選手のキャリア統計を思い出すことができなかったり、シュートが打たれる様子は見えていても、それがコート上の正確にどの位置で行われたのかを言えなかったりすることがあります。この「見る」ことと「理解する」ことの間の溝こそが、北京大学と上海交通大学の研究者による新しい研究が埋めようとしている中心的な課題です。

研究者たちは、まず「BasketballBench」と呼ばれる大規模で厳格なテスト環境を構築することで、この問題にアプローチしました。彼らは2025–2026年シーズンのNBAのデータを収集し、2,500以上のゲームポゼッションのビデオクリップ、530人の現役選手の公式記録、そして数千の構造化されたゲームの詳細を集めました。これらの素材から、異なるタイプの思考を必要とする約8,000の具体的な質問を作成しました。中には、放送画面からスコアを読み取ったり、写真から選手を特定したりといった単純な質問もあります。しかし、他の質問ははるかに複雑で、コンピュータにビデオを視聴させ、誰が特定のプレーを行ったかを判断させ、それが時間的・空間的にどこで行われたかを特定させ、さらにその選手のキャリアに関する特定の事実をデータベースから取得することを要求しました。その目的は、現在の人工知能システムがこれらのタスクを個別に処理できるか、そしてより重要な点として、これらの能力を組み合わせて単一の多段階の問題を解決できるかどうかを確認することでした。

研究者が利用可能な最も高度な汎用人工知能モデルをテストしたところ、結果は示唆に富むものでした。これらの強力なシステムは、単純なタスクにおいては優れた性能を発揮しました。画面からスコアを読み取ったり、背番号を識別したりすることは高い精度で行えました。しかし、ビデオ内の見たものと、ゲームについて知っている知識を結びつける必要がある質問になると、その性能は急激に低下しました。例えば、「シュートを決めた選手を特定し、その選手のキャリア統計を見つける」という問いに対し、モデルはしばしばつまずきました。彼らはアクション（動き）を見ることはできても、そのアクションを正しい人物に結びつけ、正しい情報を引き出すことに苦戦したのです。この研究は、汎用モデルが、視覚的な知覚、空間的な推論、そして事実的な知識を、単一の首尾一貫した回答へと編み上げる能力を自然には備えていないことを示しました。

この限界に対処するため、チームは「BasketballSkills」と呼ばれる新しいシステムを開発しました。単一の巨大なモデルにすべてを一度に行わせるのではなく、彼らは専門家チームのように機能するフレームワークを構築しました。このシステムは、質問を読み取り、それを解決するための特定のツールセットを選択する中央コントローラーを使用します。これらのツールはバスケットボールに特化しています。あるツールは選手とボールを追跡し、別のツールは起きているプレーの種類を特定し、三つ目のツールは背番号を読み取り、四つ目のツールは選手の事実に関する構造化されたデータベースを検索します。コントローラーは推測するのではなく、明確なステップバイステップの手順に従います。もし質問が「特定のプレーの後の選手のシュート成功率」について尋ねている場合、システムはまずビデオを追跡して選手を見つけ、次に背番号を特定し、最後にデータベースに対して統計情報を照会します。システムは次のステップに進む前に各ステップを検証し、最終的な回答を形成する前に集められた証拠が正確であることを確認します。

この新しいアプローチの結果は驚くべきものでした。10種類の異なる質問にわたるテストにおいて、BasketballSkillsシステムは、8つの項目で最高の商用人工知能モデルを上回りました。特に、ビデオクリップから選手を特定してその選手のキャリアデータを取得するといった、複数の能力を組み合わせる必要がある複雑なタスクにおいて卓越した成果を上げました。汎用モデルが視覚的な証拠と事実的な知識を結びつけることにしばしば失敗した一方で、この特化型システムは、これらの異なる能力をうまく構成して正しい結論に到達することに成功しました。この研究は、プロスポーツのような複雑で現実世界の領域においては、今後の道筋は汎用モデルをより大きくすることではなく、特化したスキルを明示的に整理し組み合わせることができるシステムを構築することにある、ということを示唆しています。難しい問題を信頼できるドメイン固有のステップの連鎖へと分解することで、研究者たちは、コンピュータが以前では到達不可能であった深さと正確さを持ってバスケットボールのゲームを理解できることを証明したのです。