Towards Comprehensive Basketball Understanding

Ver un partido de baloncesto profesional es una experiencia rica y estratificada. Para comprender verdaderamente lo que está sucediendo, un espectador debe hacer más que simplemente ver una pelota moverse por una cancha. Uno debe reconocer a los jugadores específicos involucrados, rastrear el momento preciso en que se realiza un pase, localizar exactamente dónde se realizó un tiro y conectar estos momentos visuales con una vasta biblioteca de datos sobre los equipos, las carreras de los jugadores y las reglas del deporte. Durante décadas, las computadoras han luchado por realizar este tipo de comprensión profunda e integrada. Si bien la inteligencia artificial moderna se ha vuelto bastante buena identificando objetos en fotos o respondiendo preguntas sencillas sobre imágenes, a menudo falla cuando se le pide combinar estas habilidades. Puede que reconozca el rostro de un jugador, pero no logre recordar sus estadísticas de carrera, o puede que vea un tiro siendo realizado, pero sea incapaz de decir exactamente dónde ocurrió en la cancha. Esta brecha entre ver y comprender es el desafío central que un nuevo estudio de investigadores de la Universidad de Pekín y la Universidad Jiao Tong de Shanghái pretende cerrar.

Los investigadores abordaron este problema construyendo primero un campo de pruebas masivo y riguroso llamado BasketballBench. Recopilaron datos de la temporada 2025–2026 de la NBA, reuniendo más de 2,500 clips de video de posesiones de juego, registros oficiales de 530 jugadores activos y miles de detalles estructurados del juego. A partir de este material, elaboraron casi 8,000 preguntas específicas que requerían diferentes tipos de pensamiento. Algunas preguntas eran simples, pidiendo a una computadora leer el marcador de un gráfico de transmisión o identificar a un jugador de una foto. Otras eran mucho más complejas, exigiendo que la computadora viera un video, determinara quién realizó una jugada específica, localizara dónde ocurrió en tiempo y espacio, y luego recuperara un dato específico sobre la carrera de ese jugador de una base de datos. El objetivo era ver si los sistemas actuales de inteligencia artificial podían manejar estas tareas individualmente y, lo que es más importante, si podían combinar estas habilidades para resolver un único problema de varios pasos.

Cuando los investigadores probaron los modelos de inteligencia artificial de propósito general más avanzados disponibles, los resultados fueron reveladores. Estos poderosos sistemas funcionaban bien en tareas sencillas. Podían leer el marcador de una pantalla o identificar un número de camiseta con alta precisión. Sin embargo, su rendimiento cayó drásticamente cuando las preguntas requerían que vincularan lo que veían en el video con lo que sabían sobre el juego. Por ejemplo, al pedirles que identificaran al jugador que realizó un tiro y luego buscaran las estadísticas de su carrera, los modelos solían fallar. Podían ver la acción, pero tenían dificultades para vincular esa acción con la persona correcta y luego extraer la información adecuada. El estudio demostró que estos modelos generales no están equipados naturalmente para entrelazar la percepción visual, el razonamiento espacial y el conocimiento factual en una respuesta única y coherente.

Para abordar esta limitación, el equipo desarrolló un nuevo sistema llamado BasketballSkills. En lugar de depender de un único modelo masivo para hacerlo todo a la vez, construyeron un marco de trabajo que actúa como un equipo especializado de expertos. Este sistema utiliza un controlador central que lee una pregunta y luego selecciona un conjunto específico de herramientas para resolverla. Estas herramientas están especializadas en el baloncesto: una herramienta rastrea a los jugadores y el balón, otra identifica el tipo de jugada que está ocur 아닌, una tercera lee los números de las camisetas y una cuarta busca en una base de datos estructurada de datos de jugadores. El controlador no adivina; sigue un procedimiento claro y paso a paso. Si una pregunta pregunta por el porcentaje de tiro de un jugador después de una jugada específica, el sistema primero rastrea el video para encontrar al jugador, luego identifica su número de camiseta y finalmente consulta la base de datos para obtener sus estadísticas. Valida cada paso antes de pasar al siguiente, asegurando que la evidencia recopilada sea precisa antes de formar una respuesta final.

Los resultados de este nuevo enfoque fueron sorprendentes. En pruebas a través de los diez tipos diferentes de preguntas, el sistema BasketballSkills superó a los mejores modelos de inteligencia artificial comerciales en ocho de ellas. Sobresalió particularmente en las tareas complejas que requerían combinar múltiples habilidades, como identificar a un jugador a partir de un clip de video y luego recuperar sus datos de carrera. Mientras que los modelos generales a menudo fallaban al conectar la evidencia visual con el conocimiento factual, el sistema especializado logró componer estas diferentes capacidades para alcanzar la conclusión correcta. El estudio sugiere que, para dominios complejos del mundo real como los deportes profesionales, el camino a seguir puede no ser hacer los modelos generales más grandes, sino construir sistemas que puedan organizar y combinar explícitamente habilidades especializadas. Al desglosar un problema difícil en una secuencia de pasos fiables y específicos del dominio, los investigadores demostraron que las computadoras pueden ser enseñadas a entender el juego del baloncesto con una profundidad y precisión que antes estaban fuera de su alcance.