AI Driven Soccer Analysis Using Computer Vision

Cet article propose un système d'analyse soccer piloté par l'IA qui combine la détection d'objets, la segmentation SAM2 et la transformation par homographie pour convertir les données vidéo en coordonnées terrain réelles, permettant ainsi de générer des indicateurs tactiques précis comme la vitesse des joueurs et les cartes de chaleur.

L'essentiel

🎬 Le Concept : Transformer une vidéo en "Tableau de Bord Magique"

Imaginez que vous regardez un match de football à la télé. Vous voyez les joueurs courir, mais vous ne savez pas exactement à quelle vitesse ils vont, combien de kilomètres ils ont parcourus, ou comment l'équipe se positionne par rapport au terrain.

Les équipes professionnelles ont des capteurs coûteux (comme des puces GPS dans les maillots) pour mesurer tout cela. Mais les équipes amateurs ou universitaires ? Elles n'ont souvent qu'une simple caméra.

Le défi de l'équipe de l'Université MSOE était de créer un "super-héros numérique" capable de transformer une simple vidéo de match en données précises, sans aucun capteur sur les joueurs. C'est comme si on prenait un dessin animé et qu'on lui donnait la capacité de mesurer la réalité.

🛠️ Comment ça marche ? (Les 4 Ingénieurs du Système)

Pour y arriver, les chercheurs ont assemblé quatre outils intelligents, un peu comme une équipe de construction :

1. Le Détective (Détection des joueurs)

D'abord, il faut repérer les joueurs dans la vidéo. L'équipe a testé plusieurs "détecteurs" (des modèles d'intelligence artificielle comme YOLO et Faster R-CNN).

• L'analogie : Imaginez un détective qui regarde une photo de foule et pointe du doigt : "Là, c'est un joueur ! Là, c'est un autre !"
• Le résultat : Ils ont choisi le meilleur détective (YOLOv5) qui est très rapide et précis pour trouver les joueurs, même s'ils sont loin ou cachés par d'autres.

2. Le Suiveur de Pas (SAM2 - Segmentation)

Une fois le joueur trouvé, il faut le suivre tout au long du match, même s'il se fait bousculer ou qu'il sort du cadre.

• L'analogie : Si le détective est celui qui repère le voleur, ce deuxième outil est le chien de police qui colle au voleur. Peu importe si le voleur traverse une ruelle sombre ou se cache derrière un camion, le chien reste collé à lui.
• La magie : Ce système (appelé SAM2) "découpe" le joueur pixel par pixel. Il ne suit pas juste un carré autour du joueur, mais sa forme exacte. Cela permet de savoir exactement où il est, même s'il est partiellement caché.

3. L'Architecte (Détection des points clés du terrain)

Pour savoir combien de mètres un joueur a couru, il faut savoir où il est réellement sur le terrain, pas juste sur l'écran de la caméra (qui est en perspective).

• L'analogie : Imaginez que vous regardez un terrain de football depuis un avion. Les lignes semblent courbes et les buts sont petits. L'Architecte est un expert qui regarde la vidéo et dit : "Ah, cette ligne blanche correspond au centre du terrain, et ce point correspond au coin du but."
• Le travail : Un petit cerveau artificiel (un réseau de neurones) a appris à reconnaître ces lignes et ces intersections, même s'il pleut ou qu'il y a des reflets.

4. Le Traducteur de Perspective (Homographie)

C'est l'étape finale qui relie tout.

• L'analogie : C'est comme prendre une photo prise en oblique d'un tapis de sol et utiliser un logiciel pour la "redresser" virtuellement pour qu'elle ressemble à une vue de dessus parfaite, comme si vous regardiez le match depuis un drone.
• Le résultat : Grâce à cette transformation mathématique, le système convertit les pixels de la vidéo en mètres réels. S'il voit un joueur bouger de 50 pixels sur l'écran, le système sait que cela équivaut à 5 mètres sur le terrain.

🎨 La Petite Touche Finale : Qui joue pour quelle équipe ?

Une fois que le système suit tous les joueurs, il doit savoir qui est dans quelle équipe.

• L'astuce : Au lieu de demander à un humain de dire "ce joueur est en rouge", le système regarde simplement la couleur du maillot. Il groupe les joueurs qui ont des couleurs similaires (comme si on triait des bonbons par couleur). C'est une méthode simple et efficace pour séparer les deux équipes automatiquement.

📊 Ce que ça donne au final ?

Grâce à ce système, les entraîneurs peuvent maintenant voir :

• La vitesse exacte de chaque joueur.
• La distance totale parcourue.
• Des cartes de chaleur (montrant où l'équipe joue le plus).
• Des statistiques tactiques complexes.

Tout cela, uniquement à partir d'une vidéo, sans aucun équipement coûteux sur les joueurs.

🚧 Les petits défauts (Pour être honnête)

Le système n'est pas encore parfait, comme un prototype de voiture de course :

• Parfois, il confond un arbitre ou un ballon avec un joueur.
• S'il y a un reflet de soleil trop fort sur le terrain, il peut se tromper sur l'équipe d'un joueur (il pense qu'il est dans l'équipe adverse).
• Il a été entraîné principalement sur le terrain de l'université, donc il faut l'entraîner un peu plus pour qu'il fonctionne aussi bien sur n'importe quel terrain ailleurs.

🌟 En résumé

Cette équipe a réussi à créer un outil qui rend la technologie de pointe accessible à tous. C'est comme donner des lunettes de super-vision à n'importe quel club de football, permettant de transformer de simples images en données précieuses pour améliorer le jeu, sans dépenser des fortunes en capteurs. C'est l'avenir du sport à portée de main !

Résumé technique

Titre : Analyse Soccer Pilotée par l'IA utilisant la Vision par Ordinateur

Auteurs : Adrian Manchado, Tanner Cellio, Jonathan Keane, Yiyang Wang (Milwaukee School of Engineering)

---

1. Problématique

L'analyse sportive est cruciale pour optimiser la performance des équipes, mais les solutions professionnelles reposent souvent sur des capteurs coûteux (GPS, accéléromètres) ou des systèmes de suivi complexes. La plupart des équipes, notamment au niveau universitaire, ne disposent que de vidéos de matchs enregistrées par une caméra standard.
Le défi principal réside dans la transformation de ces données vidéo brutes et non étiquetées en statistiques actionnables (vitesse, distance parcourue, tactique). Cela nécessite :

• De détecter et suivre les joueurs avec précision.
• De mapper les coordonnées 2D de l'image (vue caméra) vers les coordonnées réelles du terrain (vue de dessus) en utilisant les dimensions connues du terrain.
• De le faire sans données d'entraînement étiquetées spécifiques, en s'adaptant à des conditions variables (lumière, pluie, angles de caméra).

2. Méthodologie

Les auteurs proposent un pipeline complet de vision par ordinateur composé de quatre étapes clés :

A. Détection et Suivi des Joueurs

• Approche Hybride : Le système combine un modèle de détection d'objets (pour l'initialisation) et le modèle SAM2 (Segment Anything Model 2) pour le suivi temporel.
• Fonctionnement :
  1. Un détecteur d'objets (YOLO ou Faster R-CNN) identifie les joueurs sur la première image et génère des boîtes englobantes.
  2. Les centres de ces boîtes servent de "prompts" à SAM2.
  3. SAM2 segmente les joueurs et les suit à travers les frames suivantes en utilisant son mécanisme de mémoire, assurant la cohérence de l'identité (ID unique) même en cas d'occlusion ou de sortie partielle du cadre.
• Avantage : Cette méthode réduit la charge computationnelle par rapport aux trackers traditionnels (comme DeepSORT) car la détection n'est nécessaire qu'une seule fois par séquence, tandis que SAM2 gère le suivi pixel par pixel.

B. Détection des Points Clés du Terrain (Keypoints)

• Objectif : Identifier des points de référence structurels (lignes de but, cercle central, etc.) pour calculer l'homographie.
• Modèle : Un réseau de neurones convolutifs (CNN) personnalisé entraîné sur un petit jeu de données annoté manuellement (146 images).
• Prétraitement : Filtrage par seuillage pour isoler les lignes blanches, dilatation morphologique, et normalisation.
• Sortie : Le modèle prédit la visibilité (0 ou 1) et les coordonnées normalisées (x, y) de 12 points clés. Une fonction de perte personnalisée ignore les points non visibles (occlusion) lors du calcul de l'erreur.

C. Homographie et Transformation Géométrique

• Principe : Transformation des coordonnées de la caméra vers un plan 2D du terrain réel.
• Méthode : Utilisation de l'algorithme DLT (Direct Linear Transformation) pour calculer la matrice d'homographie en reliant les points clés prédits aux dimensions réelles du terrain (basées sur les règles NCAA et Google Maps).
• Résultat : Conversion des masques de segmentation des joueurs (SAM2) en coordonnées mondiales réelles, permettant le calcul de distances et de vitesses.

D. Classification des Équipes

• Technique : Clustering non supervisé (K-Means, k=2).
• Processus : Extraction de la couleur moyenne (espace RGB) dans une petite zone centrée sur la boîte englobante de chaque joueur. Les joueurs sont regroupés en deux équipes basées sur la similarité de leurs maillots, sans nécessiter d'étiquetage manuel des équipes.

3. Contributions Clés

1. Système "Data-Free" : Démonstration qu'il est possible de créer un système d'analyse automatisé à partir de données brutes et non étiquetées, sans prétraitement lourd ni collecte massive de données annotées.
2. Intégration SAM2 pour le Suivi : Utilisation innovante de SAM2 couplé à des détecteurs YOLO pour un suivi robuste et précis, surpassant les méthodes de suivi traditionnelles dans des conditions complexes.
3. Pipeline End-to-End : Création d'un flux de travail complet allant de la vidéo brute à la représentation 2D du terrain avec des métriques tactiques (cartes de chaleur, distances, vitesses).
4. Accessibilité : Une solution peu coûteuse et évoluable pour les équipes disposant de ressources limitées (une seule caméra suffit).

4. Résultats

Performance de la Détection (Object Detection)

Quatre modèles ont été comparés pour servir de prompts à SAM2 : Faster R-CNN, YOLOv5x, YOLOv8x, et YOLOv11x.

• Meilleur modèle : YOLOv5x a été sélectionné pour son meilleur équilibre entre précision et rappel.
  • F1-Score : 0,8451 (le plus élevé).
  • Rappel (Recall) : 0,7995 (crucial pour ne pas manquer de joueurs).
  • Précision : 0,8963.
  • IoU (Intersection over Union) : 0,7644.
• YOLOv5x a permis d'identifier 17 joueurs sur 22 sans fine-tuning, avec un suivi réussi via SAM2.

Performance de la Détection des Points Clés

• Précision de visibilité : 99,89 % sur l'ensemble d'entraînement et 97,18 % sur l'ensemble de validation.
• Erreur de localisation (MAE) : 0,0138 en coordonnées normalisées (soit environ 7,65 pixels d'erreur sur l'image de validation).

Performance Globale (Homographie)

• Erreur de projection : L'erreur moyenne de projection des points transformés est de 0,499 mètres.
• Précision des distances : L'erreur MAE sur les points réels est de 0,225 mètre (ground truth) et 0,26 mètre pour les points prédits.

Limitations Observées

• Faux positifs (ex: arbitres, ballboys détectés comme joueurs).
• Erreurs de clustering des équipes dues aux reflets (glare) ou aux ombres.
• Précision imparfaite de la détection des points clés dans certaines conditions, affectant légèrement la géométrie finale.

5. Signification et Perspectives

Ce travail ouvre la voie à une analyse sportive démocratisée. En prouvant qu'une IA peut extraire des données tactiques complexes à partir d'une simple vidéo de match, le système offre un outil puissant pour les entraîneurs universitaires ou amateurs.

Travaux futurs envisagés :

• Re-identification (Re-ID) : Améliorer le suivi des joueurs qui sortent et rentrent du cadre pour permettre une analyse statistique au niveau individuel sur tout le match.
• Généralisation : Entraîner le modèle de détection de points clés sur des données provenant de différents terrains et angles de caméra pour éviter le surapprentissage (overfitting) au terrain MSOE.
• Détection du ballon : Intégrer le suivi du ballon pour analyser le flux de jeu réel.

En conclusion, ce projet démontre la viabilité d'une approche modulaire combinant des modèles fondationnels (SAM2, YOLO) et des techniques géométriques classiques (homographie) pour transformer la vidéo brute en intelligence sportive actionnable.