Towards Comprehensive Basketball Understanding

Assistir a um jogo de basquetebol profissional é uma experiência rica e multifacetada. Para compreender verdadeiramente o que está a acontecer, um espectador deve fazer mais do que simplesmente ver uma bola a mover-se através de um campo. É necessário reconhecer os jogadores específicos envolvidos, acompanhar o momento preciso em que um passe é feito, localizar exatamente onde um lançamento foi efetuado e ligar estes momentos visuais a uma vasta biblioteca de factos sobre as equipas, as carreiras dos jogadores e as regras do desporto. Durante décadas, os computadores lutaram para realizar este tipo de compreensão profunda e integrada. Embora a inteligência artificial moderna se tenha tornado bastante boa a identificar objetos em fotografias ou a responder a perguntas simples sobre imagens, muitas vezes falha quando lhe é pedido para combinar estas competências. Pode reconhecer o rosto de um jogador, mas falhar ao recordar as estatísticas da sua carreira, ou pode ver um lançamento a ser efetuado, mas ser incapaz de dizer exatamente onde no campo aconteceu. Este fosso entre ver e compreender é o desafio central que um novo estudo de investigadores da Universidade de Pequim e da Universidade de Jiao Tong de Xangai visa colmatar.

Os investigadores abordaram este problema construindo primeiro um campo de testes massivo e rigoroso chamado BasketballBench. Eles recolheram dados da temporada 2025–2026 da NBA, reunindo mais de 2.500 clipes de vídeo de posses de jogo, registos oficiais de 530 jogadores ativos e milhares de detalhes estruturados de jogos. A partir deste material, elaboraram quase 8.000 perguntas específicas que exigiam diferentes tipos de raciocínio. Algumas perguntas eram simples, pedindo a um computador para ler o marcador de um gráfico de transmissão ou identificar um jogador a partir de uma fotografia. Outras eram muito mais complexas, exigindo que o computador assistisse a um vídeo, percebesse quem fez uma jogada específica, localizasse onde ela ocorreu no tempo e no espaço e, em seguida, recuperasse um facto específico sobre a carreira desse jogador de uma base de dados. O objetivo era verificar se os sistemas atuais de inteligência artificial conseguiam lidar com estas tarefas individualmente e, mais importante, se conseguiam combinar estas capacidades para resolver um único problema de múltiplos passos.

Quando os investigadores testaram os modelos de inteligência artificial de uso geral mais avançados disponíveis, os resultados foram reveladores. Estes sistemas poderosos tiveram um bom desempenho em tarefas diretas. Conseguem ler o marcador de um ecrã ou identificar um número de camisola com elevada precisão. No entanto, o seu desempenho caiu drasticamente quando as perguntas exigiam que ligassem o que viam no vídeo ao que sabiam sobre o jogo. Por exemplo, ao identificar o jogador que fez um lançamento e depois encontrar as estatísticas da carreira desse jogador, os modelos frequentemente tropeçavam. Eles conseguiam ver a ação, mas tinham dificuldade em associar essa ação à pessoa correta e, em seguida, extrair a informação certa. O estudo mostrou que estes modelos gerais não estão naturalmente equipados para tecer a percepção visual, o raciocamento espacial e o conhecimento factual numa resposta única e coerente.

Para abordar esta limitação, a equipa desenvolveu um novo sistema chamado BasketballSkills. Em vez de depender de um único modelo massivo para fazer tudo ao mesmo tempo, eles construíram um framework que atua como uma equipa especializada de especialistas. Este sistema utiliza um controlador central que lê uma pergunta e seleciona, então, um conjunto específico de ferramentas para a resolver. Estas ferramentas são especializadas em basquetebol: uma ferramenta rastreia jogadores e a bola, outra identifica o tipo de jogada que está a acontecer, uma terceira lê os números das camisolas e uma quarta pesquisa numa base de dados estruturada de factos de jogadores. O controlador não adivinha; ele segue um procedimento claro e passo a passo. Se uma pergunta questiona sobre a percentagem de lançamentos de um jogador após uma jogada específica, o sistema primeiro rastreia o vídeo para encontrar o jogador, depois identifica o seu número de camisola e, finalmente, consulta a base de dados para obter as suas estatísticas. O sistema valida cada passo antes de passar ao seguinte, garantindo que a evidência recolhida é precisa antes de formar uma resposta final.

Os resultados desta nova abordagem foram impressionantes. Em testes através dos dez diferentes tipos de perguntas, o sistema BasketballSkills superou os melhores modelos de inteligência artificial comerciais em oito deles. Destacou-se particularmente nas tarefas complexas que exigiam a combinação de múltiplas capacidades, como identificar um jogador a partir de um clipe de vídeo e, em seguida, recuperar os seus dados de carreira. Enquanto os modelos gerais falhavam frequentemente em conectar a evidência visual ao conhecimento factual, o sistema especializado conseguiu compor estas diferentes capacidades para chegar à conclusão correta. O estudo sugere que, para domínios complexos do mundo real como o desporto profissional, o caminho a seguir pode não ser tornar os modelos gerais maiores, mas sim construir sistemas que possam organizar e combinar explicitamente competências especializadas. Ao decompor um problema difícil numa sequência de passos fiáveis e específicos do domínio, os investigadores demonstraram que os computadores podem ser ensinados a compreender o jogo do basquetebol com uma profundidade e precisão que anteriormente estavam fora de alcance.