AI Driven Soccer Analysis Using Computer Vision

Este trabajo propone un sistema de análisis de fútbol impulsado por visión por computadora que combina detección y seguimiento de jugadores, modelos de puntos clave y homografía para transformar las coordenadas de la cámara a un plano de campo real y generar métricas tácticas precisas.

Lo esencial

¡Hola! Imagina que tienes un partido de fútbol grabado en video, pero solo tienes una cámara en las gradas. ¿Cómo podrías saber exactamente a qué velocidad corrió un jugador, cuántos metros recorrió o cómo se movió todo el equipo, sin tener sensores costosos en sus camisetas?

Este es el problema que resolvieron Adrian, Tanner, Jonathan y Yiyang, estudiantes de la Universidad de Ingeniería de Milwaukee (MSOE). Crearon un "traductor mágico" hecho de Inteligencia Artificial que convierte un video normal en un mapa táctico en vivo.

Aquí te explico cómo funciona su sistema, usando analogías sencillas:

1. El Detective que no se cansa (Detección de Jugadores)

Imagina que tienes que encontrar a 22 jugadores en un video de 90 minutos. Hacerlo a mano es agotador.

• Lo que hicieron: Usaron un "detective" de IA llamado YOLO (que significa "Solo Miras Una Vez"). Este detective es muy rápido: escanea el primer fotograma del video y grita: "¡Ahí hay un jugador!".
• El truco: Una vez que el detective encuentra al jugador, le pasa la antorcha a un asistente súper preciso llamado SAM2.
• La analogía: Piensa en YOLO como quien señala con el dedo: "¡Ese es!". SAM2 es como un pintor experto que toma ese dedo y pinta un contorno perfecto alrededor del jugador, como si fuera un recorte de revista. Además, SAM2 tiene una "memoria" increíble; si un jugador se esconde detrás de otro (ocultación) o sale un momento del encuadre, SAM2 sabe que es el mismo tipo y lo sigue sin perderlo de vista.

2. El Traductor de Perspectivas (Puntos Clave y Homografía)

El video se ve desde arriba y de lado (como lo ven los espectadores), pero para medir distancias reales, necesitamos verlo como si estuviéramos en el cielo (vista aérea).

• El problema: Una cancha vista desde una cámara inclinada se ve deformada. Las líneas no son rectas y las distancias parecen falsas.
• La solución: Entrenaron a una pequeña IA (una red neuronal) para que actúe como un arquitecto. Esta IA busca puntos fijos en el campo: el centro del círculo, las esquinas del área, las líneas de banda.
• La analogía: Imagina que tienes una foto de una mesa vista desde un ángulo raro. Si marcas las cuatro esquinas de la mesa, puedes "estirar" la foto digitalmente hasta que la mesa se vea plana y perfecta. A esto se le llama homografía. El sistema toma las coordenadas de los jugadores en el video deformado y las "estira" matemáticamente para ponerlos en un mapa 2D perfecto, como si fuera un videojuego de estrategia.

3. El Organizador de Equipos (Clasificación por Colores)

Una vez que tienen a los jugadores en el mapa, necesitan saber quién es de qué equipo.

• La solución: En lugar de pedirles a los jugadores que se pongan una etiqueta, el sistema usa un truco de colores. Mira la camiseta de cada jugador en el recorte que hizo SAM2.
• La analogía: Es como tener dos canastas de pelotas de colores. El sistema toma todas las pelotas rojas y las mete en una canasta (Equipo A) y todas las azules en otra (Equipo B). Usa un algoritmo de "agrupamiento" (clustering) para separar automáticamente a los dos equipos basándose en el color de sus camisetas, sin necesidad de que nadie les diga quién es quién.

4. El Resultado: Un Laboratorio de Datos

Al final, todo este proceso convierte un video aburrido en un tablero de control en tiempo real.

• Qué logran: Ahora pueden calcular la velocidad real de un jugador, la distancia exacta que corrió, crear mapas de calor (para ver dónde se mueve más el equipo) y analizar tácticas.
• Por qué es importante: Antes, solo los equipos profesionales con millones de dólares podían tener estos datos. Este sistema permite que cualquier equipo, incluso el de una universidad pequeña, tenga acceso a estadísticas de élite usando solo una cámara de video.

En resumen

Ellos crearon un sistema que actúa como un ojo mágico:

1. Ve a los jugadores (YOLO).
2. Recorta sus siluetas perfectamente (SAM2).
3. Aplana la perspectiva del video para medir distancias reales (Homografía).
4. Agrupa a los equipos por el color de sus camisetas (Clustering).

Todo esto se hace automáticamente, transformando un simple video de fútbol en una mina de oro de datos para mejorar el juego. ¡Es como darle superpoderes de análisis a cualquier entrenador que tenga una cámara!

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "AI Driven Soccer Analysis Using Computer Vision" en español, estructurado según los puntos solicitados.

Resumen Técnico: Análisis de Fútbol Impulsado por IA mediante Visión por Computadora

1. Planteamiento del Problema

El análisis deportivo es fundamental para mejorar el rendimiento de los equipos, pero las soluciones actuales de seguimiento de jugadores suelen depender de sensores costosos (GPS, acelerómetros) o de grandes conjuntos de datos etiquetados manualmente, lo que las hace inaccesibles para equipos con recursos limitados.
El problema central abordado en este trabajo es la falta de sistemas escalables y económicos que puedan extraer estadísticas tácticas precisas (velocidad, distancia recorrida, posicionamiento) utilizando únicamente datos de video crudos y sin etiquetar. Además, existe el desafío de transformar las coordenadas de la perspectiva de la cámara (2D en pantalla) a coordenadas del mundo real (2D en el campo) para calcular métricas físicas reales, especialmente cuando la cámara tiene movimiento, zoom o ángulos no estándar.

2. Metodología

Los autores proponen un sistema de visión por computadora modular que integra cuatro componentes principales para procesar el video de los partidos:

• Detección y Seguimiento de Jugadores:

  • Se utiliza un modelo de Detección de Objetos (evaluando YOLOv5, YOLOv8, YOLOv11 y Faster R-CNN) para identificar jugadores en el primer cuadro (frame) y generar cajas delimitadoras.
  • Estas cajas se utilizan como "prompts" para SAM2 (Segment Anything Model 2). SAM2 segmenta a los jugadores y realiza el seguimiento a lo largo del video utilizando su mecanismo de memoria, lo que permite mantener la identidad de los jugadores incluso ante oclusiones, cambios de iluminación o salidas parciales del encuadre.
  • Esta combinación reduce la sobrecarga computacional al no requerir detección en cada cuadro, solo en la inicialización.

• Detección de Puntos Clave del Campo (Keypoint Detection):

  • Se entrenó una Red Neuronal Convolucional (CNN) personalizada para identificar puntos estructurales del campo (líneas de fondo, círculo central, área, etc.).
  • El modelo predice la visibilidad y las coordenadas normalizadas de 12 puntos clave predefinidos.
  • Se aplicó un preprocesamiento (umbralización y dilatación) para resaltar las líneas blancas del campo y aumentación de datos (volteo horizontal) para mejorar la robustez.

• Homografía y Mapeo al Mundo Real:

  • Utilizando los puntos clave detectados y las dimensiones oficiales de un campo de fútbol NCAA, se calcula una matriz de homografía.
  • Se empleó el algoritmo Transformación Lineal Directa (DLT) para mapear las coordenadas de la perspectiva de la cámara a un plano 2D superior (vista cenital). Esto permite convertir píxeles del video en metros reales.

• Clasificación de Equipos:

  • Se utiliza un enfoque de agrupamiento (clustering) no supervisado basado en el color. Se extrae el color promedio (RGB) de una pequeña región dentro de la caja delimitadora de cada jugador y se aplica el algoritmo K-Means (con $k=2$) para separar automáticamente a los jugadores en dos equipos distintos.

3. Contribuciones Clave

• Sistema de Datos No Etiquetados: Demostración de un pipeline automatizado capaz de generar insights a partir de video crudo sin necesidad de un conjunto de datos de entrenamiento masivo y etiquetado manualmente para la detección de jugadores.
• Integración SAM2 + Detección Clásica: Validación de que combinar detectores rápidos (YOLO) con modelos de segmentación de memoria (SAM2) ofrece un seguimiento más robusto y preciso que los métodos tradicionales como DeepSORT, especialmente en condiciones adversas.
• Pipeline End-to-End Económico: Creación de una solución completa que va desde el video en bruto hasta estadísticas tácticas (mapas de calor, velocidad, distancia) utilizando hardware estándar (cámara BePro elevada) y modelos preentrenados.
• Adaptabilidad: El sistema está diseñado para funcionar sin sensores adicionales, haciendo la analítica avanzada accesible para equipos universitarios o amateurs.

4. Resultados

• Detección de Jugadores:

  • Se evaluaron cuatro modelos. YOLOv5x fue seleccionado como el mejor equilibrio, logrando un F1-Score de 0.8451, con una precisión de 0.8963 y un recall de 0.7995. Superó a Faster R-CNN y a las versiones más nuevas de YOLO en el equilibrio general necesario para la inicialización de SAM2.
  • El sistema logró identificar y rastrear correctamente 17 de 22 jugadores en una prueba inicial sin ajuste fino (fine-tuning).

• Predicción de Puntos Clave:

  • El modelo CNN alcanzó una precisión de visibilidad del 97.18% en el conjunto de prueba.
  • El Error Absoluto Medio (MAE) en la localización de coordenadas fue de 0.0138 en coordenadas normalizadas (aprox. 7.65 píxeles), lo que indica una alta precisión en la identificación de las líneas del campo.

• Análisis del Sistema Completo:

  • El error de proyección al transformar las coordenadas al mundo real fue de 0.499 metros en promedio.
  • El error de distancia calculado para los puntos reales fue de 0.225 metros (ground truth) y 0.26 metros (predicción).
  • Limitaciones detectadas: El sistema aún comete errores en la clasificación de equipos cuando hay reflejos (glare) o sombras fuertes, y puede confundir a jugadores con árbitros o asistentes (falsos positivos).

5. Significado e Impacto

Este trabajo representa un paso significativo hacia la democratización del análisis deportivo de alto nivel. Al eliminar la dependencia de sensores costosos y de grandes bases de datos etiquetadas, el sistema permite que equipos con recursos limitados (como el equipo de la MSOE) obtengan métricas tácticas avanzadas.
La capacidad de transformar video de una sola cámara en datos de rendimiento cuantitativos (velocidad, distancia, posicionamiento) abre nuevas posibilidades para el entrenamiento y la estrategia. Aunque el sistema requiere mejoras en la re-identificación de jugadores que salen y entran del encuadre y en la generalización a diferentes campos de juego, demuestra la viabilidad de crear sistemas de análisis deportivos automatizados, escalables y basados puramente en visión por computadora.