Towards Comprehensive Basketball Understanding

Regarder un match de basket-ball professionnel est une expérience riche et complexe. Pour véritablement comprendre ce qui se passe, un spectateur doit faire plus que simplement voir un ballon se déplacer sur un terrain. Il doit reconnaître les joueurs spécifiques impliqués, suivre le moment précis où une passe est effectuée, localiser exactement l'endroit où un tir a été pris, et relier ces moments visuels à une vaste bibliothèque de faits concernant les équipes, la carrière des joueurs et les règles du sport. Pendant des décennies, les ordinateurs ont eu du mal à réaliser ce genre de compréhension profonde et intégrée. Bien que l'intelligence artificielle moderne soit devenue très douée pour identifier des objets sur des photos ou répondre à des questions simples sur des images, elle échoue souvent lorsqu'on lui demande de combiner ces compétences. Elle peut reconnaître le visage d'un joueur mais échouer à se rappeler ses statistiques de carrière, ou elle peut voir un tir être effectué mais être incapable de dire exactement où sur le terrain cela s'est produit. Ce fossé entre voir et comprendre est le défi central qu'une nouvelle étude de chercheurs de l'Université de Pékin et de l'Université Jiao Tong de Shanghai vise à combler.

Les chercheurs ont abordé ce problème en construisant d'abord un terrain d'essai massif et rigoureux appelé BasketballBench. Ils ont rassemblé des données de la saison NBA 2025–2026, collectant plus de 2 500 clips vidéo de possessions de jeu, les registres officiels de 530 joueurs actifs et des milliers de détails structurés de matchs. À partir de ce matériel, ils ont élaboré près de 8 000 questions spécifiques qui exigeaient différents types de réflexion. Certaines questions étaient simples, demandant à un ordinateur de lire le score sur un graphique de diffusion ou d'identifier un joueur à partir d'une photo. D'autres étaient beaucoup plus complexes, exigeant que l'ordinateur regarde une vidéo, détermine qui a réalisé une action spécifique, localise où elle s'est déroulée dans le temps et l'espace, puis récupère un fait précis sur la carrière de ce joueur dans une base de données. L'objectif était de voir si les systèmes d'intelligence artificielle actuels pouvaient gérer ces tâches individuellement et, plus important encore, s'ils pouvaient combiner ces capacités pour résoudre un problème unique à plusieurs étapes.

Lorsque les chercheurs ont testé les modèles d'intelligence artificielle à usage général les plus avancés disponibles, les résultats se sont révélés révélateurs. Ces systèmes puissants performaient bien sur des tâches directes. Ils pouvaient lire le score sur un écran ou identifier un numéro de maillot avec une grande précision. Cependant, leurs performances chutaient radicalement lorsque les questions exigeaient qu'ils lient ce qu'ils voyaient dans la vidéo à ce qu'ils savaient du match. Par exemple, lorsqu'on leur demandait d'identifier le joueur qui avait marqué un panier et de trouver ensuite les statistiques de carrière de ce joueur, les modèles trébuchaient souvent. Ils pouvaient voir l'action, mais ils peinaient à lier cette action à la bonne personne, puis à extraire la bonne information. L'étude a montré que ces modèles généraux ne sont pas naturellement équipés pour tisser ensemble la perception visuelle, le raisonnement spatial et les connaissances factuelles en une réponse unique et cohérente.

Pour remédier à cette limitation, l'équipe a développé un nouveau système appelé BasketballSkills. Au lieu de s'appuyer sur un seul modèle massif pour tout faire à la fois, ils ont construit un cadre qui agit comme une équipe d'experts spécialisés. Ce système utilise un contrôleur central qui lit une question puis sélectionne un ensemble spécifique d'outils pour la résoudre. Ces outils sont spécialisés pour le basket-ball : un outil suit les joueurs et le ballon, un autre identifie le type de jeu en cours, un troisième lit les numéros de maillot, et un quatrième recherche dans une base de données structurée les faits concernant les joueurs. Le contrôleur ne devine pas ; il suit une procédure claire, étape par étape. Si une question porte sur le pourcentage de réussite au tir d'un joueur après une action spécifique, le système suit d'abord la vidéo pour trouver le joueur, identifie ensuite son numéro de maillot, et interroge enfin la base de données pour ses statistiques. Il valide chaque étape avant de passer à la suivante, garantissant que les preuves recueillies sont exactes avant de formuler une réponse finale.

Les résultats de cette nouvelle approche ont été frappants. Lors de tests sur les dix types de questions différents, le système BasketballSkills a surpassé les meilleurs modèles d'intelligence artificielle commerciaux sur huit d'entre eux. Il excellait particulièrement sur les tâches complexes qui nécessitaient de combiner plusieurs capacités, comme identifier un joueur à partir d'un clip vidéo et récupérer ensuite ses données de carrière. Alors que les modèles généraux échouaient souvent à connecter les preuves visuelles aux connaissances factuelles, le système spécialisé a réussi à composer ces différentes capacités pour parvenir à la conclusion correcte. L'étude suggère que pour des domaines réels et complexes comme le sport professionnel, la voie à suivre ne consiste peut-être pas à rendre les modèles généraux plus grands, mais à construire des systèmes capables d'organiser et de combiner explicitement des compétences spécialisées. En décomposant un problème difficile en une séquence d'étapes fiables et spécifiques à un domaine, les chercheurs ont démontré que les ordinateurs peuvent apprendre à comprendre le jeu du basket-ball avec une profondeur et une précision qui étaient auparavant hors de portée.