A Computer Vision Framework for Multi-Class Detection and Tracking in Soccer Broadcast Footage

Questo articolo presenta un framework di visione artificiale basato su una singola telecamera che, utilizzando YOLO e ByteTrack, estrae dati di tracciamento multi-classe da riprese televisive di calcio, offrendo alle squadre con budget limitato un'alternativa economica ai costosi sistemi di tracciamento dedicati.

L'essenziale

🎥 L'Obiettivo: Trasformare la TV in un "Occhio Magico"

Immagina che le squadre di calcio professionistiche siano come cacciatori con telescopi costosi e GPS. Hanno sistemi avanzati che tracciano ogni movimento dei giocatori, ma questi strumenti costano una fortuna. Le squadre piccole, le scuole o i club dilettantistici sono come cacciatori con un binocolo rotto: non hanno i dati per capire chi è bravo e chi no.

L'autore di questo studio si è chiesto: "E se potessimo usare la telecamera normale della TV, quella che abbiamo tutti in casa, per ottenere gli stessi dati?"

L'idea è costruire un "Occhio Magico" (un'intelligenza artificiale) capace di guardare una partita in TV e dire: "Ehi, quello è il portiere, quello è l'arbitro, e quella è la palla!", tutto senza bisogno di costosi sensori sul campo.

🤖 Come Funziona la "Magia" (Il Metodo)

Il sistema usato in questo studio è come un cucina robotica molto veloce che prepara un piatto complesso in tre fasi:

1. Lo Chef che vede (YOLO):
   Prima di tutto, c'è un "chef" chiamato YOLO (che sta per You Only Look Once). È un'intelligenza artificiale super veloce che guarda ogni fotogramma della partita. Il suo compito è individuare chi c'è sullo schermo: giocatori, portieri, arbitri e la palla.

   • Il trucco: Per vedere bene la palla (che è piccola e veloce come un'ape), lo chef ha bisogno di guardare da vicino. Quindi, invece di guardare la TV a risoluzione normale, l'AI ingrandisce l'immagine (come se usasse un microscopio digitale) per non perdere nemmeno un dettaglio.

2. Il Fotografo che riconosce (CLIP):
   Una volta che lo chef ha trovato le persone, un "fotografo" chiamato CLIP scatta una foto mentale a ogni giocatore. Non guarda solo la forma, ma analizza i colori della maglia. È come se l'AI dicesse: "Quello ha la maglia rossa, quello la blu". Questo aiuta a capire chi sta dalla stessa parte.

3. Il Regista che tiene il conto (ByteTrack):
   Infine, arriva il "regista" chiamato ByteTrack. Il suo lavoro è assicurarsi che, quando un giocatore esce dallo schermo e poi rientra, l'AI non pensi che sia una persona nuova. È come un maestro di scuola che tiene il registro: "Quello è Marco, è uscito per un attimo, ma è sempre Marco". In questo modo, l'AI può seguire il movimento di ogni giocatore per tutta la partita.

📊 Cosa Hanno Scoperto? (I Risultati)

Il sistema ha funzionato molto bene, ma non è perfetto. Ecco il riassunto:

• I Giocatori e gli Arbitri: L'AI è un campione olimpico nel riconoscere i giocatori. Li vede quasi sempre (99% di successo) e li segue bene, anche quando sono tutti ammassati in mezzo al campo. Riconosce anche gli arbitri, che sono più rari ma hanno divise diverse.
• I Portieri: Funziona bene anche per loro, perché stanno fermi vicino alla porta e hanno divise coloratissime.
• La Palla: Qui c'è il tallone d'Achille. L'AI è bravissima a dire "Se vedo la palla, è davvero la palla" (alta precisione), ma spesso non la vede affatto quando è nascosta tra le gambe di due giocatori o quando vola via velocissima (bassa "recall"). È come cercare di prendere una mosca in una stanza buia: se la vedi, la prendi, ma spesso ti sfugge.

🚧 I Limiti e il Futuro

Nonostante i successi, ci sono ancora alcuni ostacoli:

1. La Palla Sfuggente: Come detto, la palla è difficile. A volte l'AI confonde la palla con la testa calva di un giocatore o con un pezzo di erba.
2. Il Cambio di Identità: A volte, se un giocatore esce dallo schermo e rientra, l'AI potrebbe dargli un nuovo nome (es. da "Marco" a "Luigi"). Per un'analisi seria, vorremmo che sapesse che è sempre lo stesso Marco.
3. Solo Telecamere TV: Il sistema è stato addestrato guardando solo le riprese TV. Se provassimo a farlo guardare a una telecamera dal cielo (drone) o dal bordo campo, si confonderebbe, perché l'angolo di visione è troppo diverso.

💡 Perché è Importante?

Questo studio è come dare un'auto sportiva a chi ha solo una bicicletta.

Prima, solo le squadre ricche potevano avere dati precisi sui giocatori. Ora, grazie a questo sistema, anche una scuola di calcio o una squadra amatoriale può guardare la registrazione della loro partita su YouTube o dalla TV e ottenere dati utili: "Quanto corre il nostro attaccante?", "Dove si posiziona il portiere?".

Non serve più spendere milioni in sensori GPS. Basta un computer e un po' di intelligenza artificiale. Questo rende l'analisi sportiva democratica, permettendo a chiunque di migliorare il proprio gioco basandosi sui dati, non solo sull'occhio del allenatore.

In sintesi: L'AI è diventata un ottimo "spione" per seguire i giocatori in TV, ma deve ancora imparare a non perdere di vista la palla!

Sommario tecnico

Titolo del Paper

Un Framework di Visione Artificiale per il Rilevamento e il Tracciamento Multi-Classe nelle Riprese Televisive del Calcio

---

1. Il Problema

L'analisi sportiva di alto livello è attualmente dominata dai club professionistici che dispongono di costosi sistemi multi-camera o di tracciamento GPS, offrendo loro un vantaggio competitivo significativo. Le squadre con budget ridotti (collegi, accademie, club amatoriali) non possono accedere a questi dati.
Il paper si pone la domanda fondamentale: è possibile estrarre dati affidabili direttamente dalle normali riprese televisive (broadcast) utilizzando una singola telecamera? L'obiettivo è sviluppare un pipeline end-to-end in grado di rilevare e tracciare giocatori, portieri, arbitri e il pallone senza l'ausilio di hardware specializzato, democratizzando così l'accesso all'analisi dati basata sull'AI.

2. Metodologia

Il sistema proposto è un pipeline di visione artificiale composto da diverse fasi integrate:

• Input e Preprocessing:

  • Il video di input (ripreso da broadcast) viene scomposto in singoli frame.
  • Per ridurre i costi computazionali mantenendo la continuità temporale, i frame vengono campionati con un stride di 30 (circa 1 frame al secondo).
  • Le immagini vengono ridimensionate a 1280x1280 pixel (risoluzione superiore al default di YOLO) per preservare dettagli fini, cruciali per il rilevamento di oggetti piccoli come il pallone.
  • Vengono applicate tecniche di aumento dei dati (flipping orizzontale, rotazione, variazioni di luminosità) per migliorare la robustezza.

• Rilevamento (Object Detection):

  • Viene utilizzato il modello YOLOv8s (You Only Look Once versione 8, small), scelto per il suo equilibrio tra efficienza computazionale e prestazioni.
  • Il modello è stato fine-tuned su pesi pre-addestrati utilizzando l'ottimizzatore AdamW.
  • La risoluzione di input elevata (1280x1280) è stata fondamentale per migliorare la visibilità del pallone.
  • Le classi rilevate sono: Giocatori, Portieri, Arbitri e Pallone.

• Tracciamento e Identità (Tracking):

  • Per mantenere l'identità degli oggetti tra i frame, viene utilizzato l'algoritmo ByteTrack, noto per la sua robustezza nell'associazione delle rilevazioni in condizioni di occlusione e movimento della camera.
  • Vengono assegnati ID univoci temporanei a ogni entità tracciata.

• Analisi dell'Aspetto e Clustering:

  • Le regioni rilevate (bounding box) vengono ritagliate e codificate utilizzando l'encoder CLIP per ottenere embedding di aspetto (dimensione 512).
  • Gli embedding ad alta dimensionalità vengono proiettati in uno spazio latente tridimensionale tramite UMAP.
  • Viene applicato l'algoritmo di clustering K-Means per segmentare i giocatori nelle rispettive squadre basandosi sui colori delle maglie.

3. Contributi Chiave

Rispetto alla ricerca precedente, questo studio offre i seguenti contributi originali:

1. Valutazione Empirica Specifica per Classe: A differenza di studi precedenti che trattano gli oggetti in modo uniforme, questo lavoro analizza le prestazioni separatamente per ogni classe (giocatori, portieri, arbitri, pallone), fornendo una baseline granulare.
2. Applicazione di YOLOv8 nel Calcio: È uno dei primi studi a valutare YOLOv8 su footage calcistico broadcast, superando architetture più vecchie come Faster R-CNN o CenterTrack in termini di velocità e accuratezza.
3. Pipeline End-to-End Accessibile: Dimostra la fattibilità di un sistema completo che va dal rilevamento al tracciamento e al clustering delle squadre, utilizzabile con risorse hardware limitate (CPU/GPU consumer).

4. Risultati

I risultati sperimentali sono stati valutati su un dataset personalizzato (Roboflow) contenente footage della Bundesliga tedesca, NCAA e UPSL. Le metriche principali sono Precisione, Recall e mAP (Mean Average Precision).

• Prestazioni Generali:

  • mAP@0.5 complessiva: 0.871.
  • Precisione: 0.884 | Recall: 0.828.

• Prestazioni per Classe:

  • Giocatori: Eccellenti prestazioni (Precisione 0.957, Recall 0.978, mAP50 0.993). Il modello rileva quasi perfettamente i giocatori in formazioni dense e a diverse distanze.
  • Arbitri: Ottime prestazioni (mAP50 0.946, Recall 0.925), grazie alle uniformi distintive.
  • Portieri: Prestazioni molto solide (mAP50 0.931, Recall 0.897), nonostante le poche istanze nel dataset.
  • Pallone: Rappresenta la sfida principale. Sebbene la Precisione sia alta (0.914), la Recall è bassa (0.511) e il mAP50-95 scende a 0.296. Il modello rileva correttamente il pallone quando lo vede, ma fallisce spesso nel trovarlo a causa delle sue dimensioni ridotte, della velocità e delle frequenti occlusioni (es. piedi dei giocatori).

5. Limitazioni e Sfide Future

Il paper identifica chiaramente alcuni limiti attuali:

• Rilevamento del Pallone: Difficile in scene affollate o con angoli di camera che lo oscurano.
• Identità Persistenti: Gli ID assegnati da ByteTrack sono casuali e si resettano quando un giocatore esce e rientra nel frame, rendendo difficile il tracciamento statistico a lungo termine di singoli atleti.
• Generalizzazione degli Angoli: Il modello è addestrato solo su footage broadcast e fatica con angolazioni tattiche elevate, riprese a mano o droni.
• Classificazione delle Squadre: Il clustering basato su CLIP/K-Means può fallire sotto luce diretta o con maglie scure, portando a un'inversione delle identità delle squadre tra i frame.

6. Significato e Impatto

Questo studio dimostra che l'Intelligenza Artificiale può estrarre informazioni spaziali significative dai video di partita utilizzando una singola telecamera, riducendo la dipendenza da costosi sistemi multi-camera.

• Democratizzazione: Offre a college, accademie e club amatoriali un metodo scalabile ed economico per l'analisi delle prestazioni e lo scouting, livelli di analisi precedentemente riservati ai club professionistici.
• Validazione Scientifica: Fornisce una baseline empirica per l'uso di moderni detector (YOLOv8) nello sport, evidenziando sia i successi (tracciamento giocatori/arbitri) che le aree di miglioramento (pallone e ID persistenti).

In conclusione, sebbene il rilevamento del pallone e il tracciamento a lungo termine richiedano ulteriori ricerche, il framework proposto rappresenta un passo fondamentale verso l'analisi calcistica basata sui dati accessibile a tutti.