AI Driven Soccer Analysis Using Computer Vision

Questo paper propone un sistema di analisi calcistica basato sulla visione artificiale che combina rilevamento e tracciamento degli oggetti, segmentazione con SAM2 e trasformazione omonografica per convertire le coordinate video in dati reali, consentendo di calcolare metriche tattiche avanzate come velocità, distanza percorsa e mappe di calore per supportare le decisioni degli allenatori.

L'essenziale

Immagina di essere un allenatore di calcio che guarda una partita registrata. Vuoi sapere: "Quanto ha corso Marco?", "Dove si è posizionato il difensore?", "Quanti metri ha coperto la squadra?". Normalmente, per avere questi dati, servono costosi sensori GPS sugli atleti o telecamere speciali. Ma cosa succede se hai solo un normale video della partita, girato da una telecamera fissa in tribuna?

Questo è il problema che quattro studenti del Milwaukee School of Engineering hanno risolto con il loro progetto: "Analisi del calcio guidata dall'IA".

Ecco come funziona il loro sistema, spiegato come se fosse una ricetta magica per trasformare un video normale in una mappa tattica intelligente.

1. Il Problema: La Telecamera è "Ingenua"

Pensa alla telecamera come a un osservatore che guarda il campo da un'angolazione strana. Se vedi un giocatore che corre, sulla telecamera sembra piccolo o grande a seconda di quanto è vicino all'obiettivo. Non sai quanto è veloce davvero o quanti metri ha fatto, perché non sai la scala reale. Inoltre, la telecamera non sa chi è chi: per lei, tutti sono solo "oggetti che si muovono".

2. La Soluzione: Un Team di "Super-Assistenti"

Gli studenti hanno creato un sistema che usa l'Intelligenza Artificiale come un team di assistenti, ognuno con un compito specifico:

A. Il Cacciatore di Giocatori (Rilevamento Oggetti)

Prima di tutto, serve qualcuno che dica: "Ehi, lì c'è un giocatore!".
Hanno usato modelli famosi come YOLO (che sta per "You Only Look Once", ovvero "Guardi solo una volta"). Immagina YOLO come un cacciatore velocissimo che scansiona il video e disegna un rettangolo intorno a ogni giocatore che vede.

• La sfida: Quale cacciatore è il migliore? Hanno provato diversi modelli (YOLOv5, v8, v11 e un altro chiamato Faster R-CNN) e hanno scoperto che YOLOv5 era il più equilibrato: non ne perdeva molti e non sbagliava spesso a dire che un oggetto era un giocatore quando non lo era.

B. Il Seguitore Incollato (SAM2 - Segment Anything)

Una volta che YOLO ha trovato il giocatore, il sistema deve seguirlo per tutto il video, anche se si nasconde dietro un altro giocatore o se la telecamera si muove.
Qui entra in gioco SAM2 (Segment Anything Model 2).

• L'analogia: Immagina di avere un pennarello magico. YOLO ti dice "Disegna qui", e SAM2 prende quel punto e colora esattamente la forma del giocatore, pixel per pixel, come se lo stessi ritagliando con le forbici dal video.
• Il superpotere: SAM2 ha una "memoria". Anche se il giocatore esce dallo schermo per un secondo e poi rientra, SAM2 ricorda chi era e continua a seguirlo con lo stesso nome. È come se avesse un adesivo invisibile sulla schiena che non si stacca mai.

C. L'Architetto della Mappa (Punti Chiave e Omografia)

Ora abbiamo i giocatori tracciati, ma sono ancora "appiccicati" alla telecamera. Dobbiamo spostarli su una mappa piatta, come se guardassimo la partita dall'alto (come fanno i commentatori TV).

• Il trucco: Il sistema cerca punti fissi sul campo: il centro del campo, le linee di porta, l'area di rigore.
• L'addestramento: Hanno insegnato a una piccola intelligenza artificiale (una rete neurale) a riconoscere questi punti, anche se c'è il sole che abbaglia o è nuvoloso.
• La magia dell'Omografia: Una volta trovati questi punti, il sistema usa un trucco matematico chiamato omografia. Immagina di prendere una foto storta di un tavolo e di "stirarla" digitalmente finché non diventa perfettamente piatta e in scala. Il sistema fa lo stesso con il video: trasforma la visione distorta della telecamera in una mappa 2D perfetta, dove 10 pixel equivalgono esattamente a 1 metro reale.

D. Il Giudice delle Maglie (Clustering)

Come fa il sistema a sapere chi è della squadra "Rosso" e chi della squadra "Blu"?
Non serve che gli studenti dicano "Questo è il numero 10". Il sistema guarda i colori delle maglie dentro i rettangoli disegnati. Usa un algoritmo di raggruppamento (clustering) che dice: "Tutti quelli con il colore simile sono nella stessa squadra". È come se il sistema organizzasse una festa e separasse automaticamente gli ospiti in due gruppi basandosi solo sul colore dei loro vestiti.

3. Il Risultato: Dalla Telecamera alla Tattica

Mettendo tutto insieme, il sistema prende un video grezzo e produce:

• Una mappa 2D in tempo reale con i puntini che rappresentano i giocatori.
• Statistiche reali: "Il giocatore X ha corso 8 km", "La squadra ha coperto 120 metri in attacco".
• Mappe di calore: per vedere dove la squadra si muove di più.

Perché è importante?

Fino a oggi, solo le squadre ricche potevano permettersi sensori costosi per avere questi dati. Questo sistema è come un superpotere gratuito: basta una telecamera e un computer. Permette a squadre amatoriali o universitarie (come quella del MSOE per cui è stato fatto) di analizzare le partite con la stessa precisione dei professionisti, aiutando gli allenatori a prendere decisioni migliori basate sui dati reali.

In sintesi: hanno insegnato al computer a vedere i giocatori, a ricordare chi sono, a capire la geometria del campo e a calcolare la realtà, tutto partendo da un semplice video.

Sommario tecnico

Titolo: Analisi Calcistica Guidata dall'AI tramite Visione Artificiale

1. Il Problema

L'analisi sportiva è fondamentale per migliorare le prestazioni delle squadre e le decisioni tattiche. Tuttavia, mentre i team professionisti possono investire in costosi sensori e tecnologie di tracciamento, molte squadre (come quella universitaria MSOE coinvolta nello studio) dispongono solo di telecamere per registrare le partite.
La sfida principale risiede nel trasformare dati video grezzi e non etichettati in statistiche quantitative precise (come velocità, distanza percorsa e posizionamento tattico). Per farlo, è necessario:

• Rilevare e tracciare i giocatori in modo robusto (superando occlusioni, variazioni di luce e movimento della telecamera).
• Mappare le coordinate 2D della telecamera su un piano reale del campo di gioco (trasformazione prospettica) per calcolare distanze fisiche reali.
• Classificare automaticamente i giocatori nelle rispettive squadre senza annotazioni manuali.

2. Metodologia

Gli autori hanno sviluppato un sistema end-to-end che combina modelli di rilevamento oggetti, segmentazione, rilevamento di punti chiave e omografia. Il flusso di lavoro si articola in quattro componenti principali:

• Rilevamento e Tracciamento Giocatori (Object Detection + Tracking):

  • Viene utilizzato un modello di rilevamento oggetti (valutati: YOLOv5, YOLOv8, YOLOv11, Faster R-CNN) solo sul primo frame per identificare i giocatori e generare bounding box.
  • Le coordinate centrali di queste box fungono da prompt per SAM2 (Segment Anything Model 2). SAM2, grazie alla sua architettura transformer con memoria in streaming, segmenta e traccia i giocatori attraverso i frame successivi, assegnando ID univoci e gestendo occlusioni e uscite dal campo. Questo riduce il costo computazionale rispetto al tracciamento continuo con YOLO e migliora la precisione rispetto a metodi come DeepSORT.

• Rilevamento Punti Chiave del Campo (Keypoint Detection):

  • Per allineare la prospettiva della telecamera al campo reale, è stato addestrato un modello CNN personalizzato su un piccolo dataset di 146 frame annotati manualmente.
  • Il modello prevede la visibilità e la posizione normalizzata di 12 punti chiave strutturali del campo (es. cerchi di rigore, linee di metà campo).
  • L'architettura utilizza una funzione di perdita personalizzata che calcola l'errore solo sui punti visibili, ignorando quelli fuori campo.

• Omografia e Mappatura:

  • Utilizzando i punti chiave previsti e le dimensioni reali del campo (basate su regole NCAA e Google Maps), viene calcolato un matrice di omografia tramite l'algoritmo DLT (Direct Linear Transformation).
  • Questa matrice trasforma le coordinate dei giocatori dalla prospettiva della telecamera a una vista dall'alto (2D), permettendo il calcolo di metriche reali (metri percorsi, velocità).

• Classificazione delle Squadre (Clustering):

  • Per distinguere le squadre senza supervisione, il sistema estrae il colore medio (RGB) da una piccola patch centrata sul bounding box di ogni giocatore.
  • Viene applicato l'algoritmo di K-Means (k=2) per raggruppare i giocatori in base alla similarità cromatica, assegnando automaticamente i giocatori alle rispettive squadre.

3. Risultati

Lo studio è stato condotto su footage di 10 partite della stagione 2024 del MSOE Men's Soccer, in diverse condizioni meteorologiche e di illuminazione.

• Performance del Rilevamento:
  • Tra i modelli testati, YOLOv5x ha ottenuto le migliori prestazioni complessive con un F1-score di 0.8451, bilanciando efficacemente precisione (0.8963) e recall (0.7995).
  • Tutti i modelli YOLO hanno superato Faster R-CNN. YOLOv5x ha permesso di identificare 17 su 22 giocatori senza fine-tuning, fornendo prompt efficaci per SAM2.
• Performance del Modello di Punti Chiave:
  • Il modello CNN ha raggiunto un'accuratezza di visibilità del 97.18% sul set di test.
  • L'errore medio assoluto (MAE) nella localizzazione è stato di 0.0138 in coordinate normalizzate (circa 7.65 pixel), dimostrando una buona capacità di generalizzazione.
• Analisi del Sistema Completo:
  • L'errore di proiezione medio tra i punti trasformati e la realtà è stato di 0.499 metri.
  • Limiti attuali: Il sistema soffre ancora di falsi positivi (es. arbitri o pallinari rilevati come giocatori) e errori di clustering quando i colori delle maglie sono influenzati da riflessi o ombre.

4. Contributi Chiave

1. Pipeline Automatizzata su Dati Non Etichettati: Dimostrazione che è possibile costruire un sistema di analisi sportiva robusto partendo da dati grezzi, senza dataset pre-etichettati complessi, sfruttando modelli foundation pre-addestrati (SAM2, YOLO).
2. Integrazione SAM2 per il Tracciamento: L'uso innovativo di SAM2 come motore di tracciamento guidato da un singolo rilevamento iniziale, offrendo una segmentazione pixel-perfect e una gestione superiore delle occlusioni rispetto ai tracker tradizionali.
3. Soluzione Low-Cost e Scalabile: Il sistema offre un'alternativa accessibile alle tecnologie di tracciamento professionale, rendendo l'analisi tattica avanzata disponibile per squadre con risorse limitate.
4. Dataset e Metodologia: Creazione di un dataset di ground truth per i punti chiave del campo e valutazione comparativa di diversi modelli di detection in contesti calcistici reali.

5. Significato e Impatto

Questo lavoro apre la strada a soluzioni di analisi sportiva più flessibili e scalabili. La capacità di derivare statistiche tattiche (mappe di calore, velocità, distanze) da semplici registrazioni video rende la tecnologia accessibile a club amatoriali e universitari. Sebbene siano necessari miglioramenti futuri (come il re-identificazione dei giocatori che rientrano nel campo e la generalizzazione su campi diversi), il sistema dimostra la fattibilità di un'analisi automatizzata basata esclusivamente sulla visione artificiale, trasformando il video grezzo in dati azionabili per allenatori e giocatori.