Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports

Este trabajo presenta CourtSI, el primer conjunto de datos a gran escala y su correspondiente benchmark para evaluar y mejorar la inteligencia espacial de los modelos de visión y lenguaje en escenarios deportivos, demostrando que el ajuste fino en este dominio cierra la brecha de rendimiento humano-AI y mejora la capacidad de generalización de los modelos.

Lo esencial

¡Imagina que entrenar a una Inteligencia Artificial (IA) para entender el mundo es como enseñar a un niño a jugar al fútbol!

Hasta ahora, la mayoría de los "niños" (las IAs) han aprendido a jugar en un patio de juegos estático, donde las cosas no se mueven y las distancias son fijas. Pero el mundo real, y especialmente los deportes, son caóticos: las personas corren, saltan, giran y la pelota vuela a velocidades increíbles.

Este paper presenta CourtSI, una nueva herramienta diseñada para entrenar a las IAs en el "campo de batalla" real: los deportes de red (tenis, bádminton y tenis de mesa).

Aquí tienes la explicación sencilla, usando analogías:

1. El Problema: La IA es mala calculando distancias

Actualmente, las IAs son muy buenas describiendo lo que ven ("¡Ahí hay un jugador!"), pero son terribles calculando dónde están las cosas en el espacio 3D.

• La analogía: Es como si le mostraras una foto de un partido de tenis a un niño y le preguntaras: "¿A cuántos metros está la pelota del jugador?". El niño podría adivinar, pero si no tiene una regla invisible en su mente, se equivoca. Las Iams actuales fallan mucho en esto porque han sido entrenadas con fotos de objetos quietos, no con gente corriendo.

2. La Solución: El "Árbitro Digital" (CourtSI)

Los autores crearon un dataset gigante (llamado CourtSI) con más de 1 millón de preguntas y respuestas.

• Cómo lo hicieron: Imagina que tienes una cancha de tenis perfecta. Sabes exactamente cuánto mide la red, dónde están las líneas y la altura del poste.
• La magia: Usaron estas medidas fijas como una "regla maestra". Crearon un sistema automático que toma una foto del partido, identifica la cancha y, basándose en las líneas conocidas, reconstruye el mundo en 3D.
  • Si la pelota está en el aire, el sistema calcula su altura exacta.
  • Si un jugador salta, el sistema sabe a qué distancia está de la red.
• El resultado: Tienen un "árbitro digital" que nunca se equivoca en las medidas. Con este árbitro, generaron millones de preguntas como: "¿Quién está más cerca de la pelota?" o "¿A cuántos metros está el pie del jugador de la línea?".

3. El Examen: CourtSI-Bench

Para ver si las IAs realmente aprendieron, crearon un examen difícil llamado CourtSI-Bench con casi 4,000 preguntas.

• La prueba: Pusieron a 25 de las IAs más inteligentes del mundo (como GPT-5, Gemini, etc.) a resolver este examen.
• El resultado: ¡Fue un desastre! Incluso las IAs más potentes fallaron estrepitosamente, especialmente en medir distancias.
  • La analogía: Es como poner a un campeón de ajedrez a jugar fútbol sin haber visto nunca un balón. Saben las reglas, pero no tienen el "ojo" para el espacio.
  • La brecha: Hubo una gran diferencia entre lo que hacen los humanos (que ven la profundidad naturalmente) y lo que hacen las máquinas.

4. La Lección: Entrenar a la IA

Los autores tomaron una IA (Qwen3-VL) y la entrenaron específicamente con sus datos de deportes.

• El cambio: Después de este entrenamiento, la IA mejoró su puntuación en un 23.5%. ¡De repente, empezó a entender el espacio!
• La prueba de fuego: Le mostraron un deporte que nunca había visto antes (el pickleball, similar al tenis pero en una cancha más pequeña). ¡La IA funcionó bien! Esto significa que no solo memorizó las fotos, sino que aprendió a pensar en 3D.

5. El Futuro: Comentaristas Deportivos Superpoderosos

Finalmente, probaron si esta IA podía hacer algo más útil: comentar partidos.

• Antes: Un comentarista IA decía: "El jugador golpea la pelota".
• Después (con CourtSI): El mismo IA dice: "¡El jugador salta con una potencia increíble! La pelota está a solo 2 metros de su raqueta y viaja a una velocidad que la llevará a caer justo detrás de la línea de fondo".
• El impacto: La IA ahora puede "ver" el juego como un humano, dando detalles precisos sobre distancias y posiciones, lo que hace que los comentarios sean mucho más emocionantes y realistas.

En resumen

Este paper nos dice que para que las IAs sean verdaderamente inteligentes y puedan interactuar con el mundo real, no basta con que "vean" imágenes; necesitan entender la geometría y la profundidad del espacio. Los deportes son el gimnasio perfecto para entrenar esta habilidad, y CourtSI es el entrenador personal que está enseñando a las máquinas a no perderse en el campo de juego.

Resumen técnico

Resumen Técnico: CourtSI y CourtSI-Bench

1. El Problema

A pesar de los avances recientes en Modelos de Lenguaje y Visión (VLMs) en la comprensión semántica y el razonamiento visual 2D, existe una brecha significativa en su capacidad para percibir y razonar sobre el mundo 3D, especialmente en entornos dinámicos.

• Limitaciones actuales: Los benchmarks existentes de inteligencia espacial se centran principalmente en escenas estáticas y objetos rígidos (como muebles en interiores), ignorando a los humanos, que son sujetos no rígidos con deformaciones complejas y restricciones articulares.
• El desafío deportivo: Los deportes de red (bádminton, tenis, tenis de mesa) presentan un escenario ideal pero extremadamente difícil para probar la inteligencia espacial debido a la alta intensidad del movimiento humano, las interacciones dinámicas de objetos (pelotas) y la necesidad de razonamiento métrico preciso en tiempo real.
• Falta de datos: No existía un dataset a gran escala diseñado específicamente para evaluar el razonamiento espacial métrico y centrado en humanos en el contexto deportivo.

2. Metodología

Los autores proponen una solución integral compuesta por un motor de datos semi-automático, un dataset masivo y un benchmark de evaluación riguroso.

A. Motor de Datos Semi-Automático (Reconstrucción 3D)
Para generar datos a escala, desarrollaron un pipeline que reconstruye escenas deportivas 3D a partir de imágenes monoculares de transmisión:

1. Anclaje Geométrico: Aprovechan la geometría fija y las dimensiones métricas conocidas de las canchas deportivas.
2. Calibración de Cámara: Utilizan anotaciones manuales de puntos clave de la cancha (esquinas, red) para resolver el problema Perspective-n-Point (PnP), obteniendo parámetros intrínsecos y extrínsecos de la cámara con precisión métrica.
3. Recuperación de Jugadores: Emplean PromptHMR para recuperar mallas humanas (SMPL-X) en coordenadas de la cámara. Para corregir errores de profundidad comunes en estos modelos, los anotadores ajustan manualmente la altura del vértice más bajo de la malla (pies) y reescalan la malla mediante una transformación de similitud.
4. Localización de Pelotas: Dado que los modelos de profundidad fallan con objetos pequeños, convierten la estimación de profundidad en una proyección sobre el plano del suelo. Los anotadores marcan la posición 2D de la pelota y su proyección en el suelo, permitiendo calcular la profundidad analíticamente.
5. Resultado: Un sistema que logra una precisión a nivel de centímetros (error de ~2% en focalización y errores de localización de ~9-23 cm).

B. Dataset CourtSI

• Escala: Más de 1 millón de pares de preguntas y respuestas (QA) generados a partir de 52,481 imágenes de 1,057 escenas únicas.
• Fuentes: Basado en RacketVision, cubriendo bádminton, tenis y tenis de mesa.
• Taxonomía: Las preguntas se organizan en cuatro categorías principales:
  1. Conteo Espacial: Número de jugadores o pelotas visibles.
  2. Medición de Distancia: Distancias euclidianas 3D, alturas y distancias perpendiculares.
  3. Localización: Coordenadas 3D específicas (ej. pie izquierdo de un jugador).
  4. Razonamiento Relacional: Relaciones espaciales (ej. "¿Quién está más cerca de la pelota?", "¿A la izquierda o derecha desde la perspectiva del jugador?").

C. Benchmark CourtSI-Bench

• Un conjunto de evaluación de alta calidad con 3,686 pares QA verificados manualmente por humanos para asegurar la precisión de las respuestas y la calidad de la reconstrucción 3D.
• Diseñado para evitar fugas de información (sin superposición de escenas con el dataset de entrenamiento).

3. Contribuciones Clave

1. CourtSI y CourtSI-Bench: El primer dataset y benchmark a gran escala dedicado a la inteligencia espacial en deportes, estableciendo un nuevo estándar para el razonamiento espacial centrado en humanos más allá de los objetos estáticos.
2. Motor de Reconstrucción: Un pipeline semi-automático innovador que utiliza la geometría de la cancha como ancla métrica para recuperar estados 3D precisos a partir de videos de transmisión, permitiendo la curación escalable de datos.
3. Evaluación Exhaustiva: Un análisis de 25 VLMs de última generación (propietarios y de código abierto), revelando brechas críticas en el rendimiento actual.
4. Validación de Transferencia: Demostración de que el ajuste fino (Fine-Tuning) en CourtSI mejora no solo el rendimiento en el deporte entrenado, sino también la generalización a deportes no vistos (CourtSI-Ext, usando pickleball) y la generación de comentarios deportivos conscientes del espacio.

4. Resultados Principales

• Brecha Humano-AI: Incluso los modelos más avanzados (como GPT-5.2 y Gemini-3-Pro) muestran un rendimiento significativamente inferior al humano, especialmente en tareas de medición de distancia y localización. Los modelos propietarios a menudo fallan en seguir instrucciones de formato estricto sin post-procesamiento.
• Fallo en Generalización: Los modelos pre-entrenados en benchmarks de inteligencia espacial existentes (como SpaceR o VST) no generalizan bien a CourtSI-Bench, lo que indica que los desafíos de los escenarios deportivos dinámicos no están capturados por los datos actuales.
• Impacto del Ajuste Fino (SFT):
  • Al ajustar fino el modelo Qwen3-VL-8B en CourtSI, se logró una mejora de 23.5 puntos porcentuales en la precisión general en CourtSI-Bench.
  • La mejora fue particularmente notable en la tarea de medición de distancia (+25 puntos).
• Generalización Cross-Deporte: El modelo ajustado en CourtSI demostró una capacidad de generalización sólida al evaluarse en CourtSI-Ext (pickleball), un deporte no visto durante el entrenamiento, superando a las líneas base no ajustadas.
• Generación de Comentarios: En una tarea de generación de comentarios deportivos, el modelo ajustado integró relaciones espaciales métricas (distancias exactas) de manera coherente y natural, mejorando la "conciencia espacial" sin sacrificar la calidad lingüística.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Expande los límites de la IA: Demuestra que la inteligencia espacial para la interacción con el mundo físico requiere ir más allá de objetos estáticos y abordar la complejidad del movimiento humano y las interacciones dinámicas.
• Herramienta de Evaluación: Proporciona un "banco de pruebas" riguroso para medir y mejorar las capacidades de razonamiento 3D de los VLMs, exponiendo sus limitaciones actuales en la estimación de distancias y la orientación.
• Aplicaciones Prácticas: Abre la puerta a aplicaciones reales como sistemas de análisis deportivo automatizado, generación de comentarios enriquecidos con datos métricos y asistencia para la toma de decisiones en tiempo real.
• Metodología Escalable: La técnica de usar geometría conocida (canchas) para calibrar cámaras y reconstruir escenas 3D ofrece una vía escalable para crear datasets de alta calidad en otros dominios estructurados.

En conclusión, CourtSI establece un nuevo paradigma para la evaluación y mejora de la inteligencia espacial en VLMs, demostrando que el entrenamiento en escenarios deportivos dinámicos es una vía viable y necesaria para avanzar hacia una inteligencia artificial más capaz de interactuar con el mundo físico.