Velocity and stroke rate reconstruction of canoe sprint team boats based on panned and zoomed video recordings

Questo studio presenta un framework automatizzato basato su video che, utilizzando tecniche di deep learning come YOLOv8 e U-net, ricostruisce con alta precisione velocità e frequenza di remata di canoe da sprint di varie configurazioni, offrendo un'alternativa affidabile al GPS per l'analisi delle prestazioni senza necessità di sensori a bordo.

L'essenziale

Immagina di essere un allenatore di canoa che guarda una gara dal bordo della pista. Vedi le barche sfrecciare, ma non hai un computer magico che ti dice esattamente a che velocità vanno o quanti remate fanno i atleti ogni secondo. Di solito, per avere questi dati, dovresti attaccare sensori costosi e ingombranti direttamente sulle barche, il che è difficile da organizzare e a volte vietato dalle regole.

Questo articolo presenta una soluzione geniale: trasformare un semplice video girato da terra in un laboratorio di dati di precisione, senza toccare le barche.

Ecco come funziona, spiegato con parole semplici e qualche analogia divertente:

1. Il Problema: Guardare da un'angolazione storta

Quando un telecronista o un allenatore gira una gara, la telecamera si muove (panneggia) e fa lo zoom per seguire le barche. Questo crea un effetto "storto": la barca che è vicina sembra enorme, quella lontana sembra minuscola. Ricalcolare la velocità reale guardando un video del genere è come cercare di misurare la lunghezza di un treno guardandolo attraverso un cannocchiale mentre corri lungo i binari: è un incubo matematico.

2. La Soluzione: La "Mappa Magica" (Geometria della Scena)

Gli autori hanno creato un software che fa da "traduttore" tra il video e il mondo reale.

• I Riferimenti: Immagina che il canale di canoa sia una griglia gigante con dei pali (le boe) che segnano le corsie. Il software riconosce questi pali nel video.
• La Mappa: Usando questi pali come punti di riferimento fissi, il software disegna una "mappa virtuale" sopra il video. Ogni volta che la barca si muove nel video, il software sa esattamente quanti metri ha percorso nel mondo reale, anche se la telecamera si muove o fa lo zoom. È come se il software avesse una vista a raggio X che vede la griglia sotto l'acqua.

3. Il Trucco per le Barche con Più Persone (Le Barche a Squadra)

Nelle gare a una sola persona (K1 o C1), è facile: il software guarda dove sta la persona e immagina che la barca sia lì. Ma nelle gare a due o quattro persone (K2, K4, C2), le persone si sovrappongono e si muovono. È come cercare di trovare la punta di un'auto guardando solo i passeggeri seduti dentro: è confuso!

• L'Intelligenza Artificiale "Occhio di Falco": Per risolvere questo, hanno addestrato un'intelligenza artificiale (una rete neurale chiamata U-Net) a riconoscere esattamente la punta della barca.
• La Calibrazione: Invece di dire "la punta è sempre a 2 metri di distanza dal primo rematore" (come facevano prima), il software "impara" per ogni singola barca e ogni gara quanto dista la punta dai rematori. È come se il software facesse una "misurazione rapida" all'inizio della gara per ogni barca specifica.

4. Quando il Video si "Inganna" (Tracking Robusto)

A volte, una barca passa dietro un palo o un'altra barca, e il software perde di vista un rematore per un secondo. Se succede, il sistema potrebbe confondersi su chi è chi.

• La Soluzione: Il software usa una tecnica chiamata "flusso ottico". Immagina di guardare un fiume: anche se non vedi ogni singola goccia d'acqua, sai che l'acqua scorre in una direzione. Il software guarda come si muovono i rematori da un fotogramma all'altro per indovinare dove sono andati anche quando sono nascosti. Se un rematore sparisce, il sistema "immagina" dove dovrebbe essere basandosi sul movimento precedente, mantenendo l'ordine corretto dei rematori.

5. Contare i Remi (Frequenza della Remata)

Oltre alla velocità, vogliono sapere quanto velocemente remano gli atleti.

• Metodo 1 (Semplice ma meno preciso): Guardano il rettangolo che circonda il rematore nel video. Se il rettangolo si allarga e si restringe, è perché il rematore sta muovendo le braccia. È come cercare di capire se qualcuno sta correndo guardando solo la sagoma della sua ombra.
• Metodo 2 (Preciso ma costoso): Usano un modello di intelligenza artificiale avanzato (ViTPose) che individua le spalle e i polsi del rematore. Misura la distanza tra queste due parti del corpo. È come avere un analista che guarda ogni singolo movimento muscolare. Questo metodo è molto più preciso, quasi come avere un sensore sul polso, ma richiede più potenza di calcolo.

I Risultati: Quanta precisione?

Hanno confrontato i loro dati video con quelli reali presi dai GPS sulle barche (il "gold standard").

• Velocità: Il loro metodo è incredibilmente preciso. L'errore è minuscolo (circa il 2% in meno rispetto alla realtà). È come se dicessero "La barca va a 50 km/h" e il GPS dicesse "49,9 km/h".
• Remate: Anche qui, il metodo basato sulle pose (spalle/polzi) è quasi perfetto, con un errore di circa 2 remate al minuto rispetto ai sensori reali.

Perché è importante?

Prima, per avere questi dati, servivano sensori costosi sulle barche e team di persone a fare analisi manuali. Ora, un allenatore può prendere un video girato con una telecamera normale (o anche quella della TV), caricarlo nel software, e ottenere in pochi minuti un report completo su velocità e tecnica di ogni atleta.

In sintesi: Hanno insegnato al computer a "vedere" la realtà attraverso uno schermo distorto, trasformando un semplice video in uno strumento scientifico potente, accessibile a tutti e senza bisogno di toccare le barche. È come dare agli allenatori degli "occhi di supereroe" fatti di codice.

Sommario tecnico

Titolo

Ricostruzione della velocità e della frequenza di remata (stroke rate) di imbarcazioni da canoa sprint di squadra basata su registrazioni video con panoramica e zoom.

1. Il Problema

Nello sport della canoa sprint, le strategie di ritmo (pacing), definite dai profili di velocità e frequenza di remata, sono fondamentali per il successo. Sebbene il GPS sia considerato lo standard aureo per l'analisi, la sua disponibilità è limitata nelle competizioni di alto livello a causa di vincoli logistici e normativi che impediscono l'uso di sensori a bordo.
L'analisi video manuale è spesso impraticabile a causa della prospettiva distorta delle riprese laterali (panoramica e zoom), che rende estremamente difficile e laborioso ricostruire le posizioni assolute delle barche. Esiste quindi un bisogno critico di sistemi automatizzati in grado di trasformare le registrazioni video standard (broadcast o registrate dagli allenatori) in dati cinematici precisi, senza l'uso di hardware a bordo.

2. Metodologia Proposta

Il lavoro estende un framework precedente (limitato alle barche singole K1/C1) per gestire tutte le discipline (K1-K4, C1-C2) e le distanze (200m-500m). Il sistema si basa su una pipeline di visione artificiale che include:

• Rilevamento e Geometria della Scena:

  • Utilizzo di YOLOv8 per il rilevamento di atleti e boe.
  • Sfruttamento della geometria nota della griglia delle boe per stimare l'omografia (mappatura tra coordinate dell'immagine e coordinate reali sulla superficie dell'acqua).
  • Propagazione dell'omografia tra i frame utilizzando il flusso ottico (Lucas-Kanade) per mantenere la coerenza spaziale.

• Calibrazione Automatica dell'Offset della Punta della Barca (Boat Tip Calibration):

  • Per le barche di squadra (K2, C2, K4), la posizione della barca è definita dalla punta, non dal centro degli atleti.
  • Viene introdotto un modello U-Net addestrato per rilevare la punta esatta della barca all'interno di una regione di interesse (ROI) di 150x150 pixel.
  • Il modello calcola offset specifici per ogni atleta in base alla loro posizione sulla barca, sostituendo l'uso di offset empirici statici che causavano errori sistematici.

• Tracciamento Robusto Multi-Atleta:

  • Per gestire occlusioni o fallimenti nel rilevamento degli atleti, viene implementata una logica di tracciamento basata sul flusso ottico.
  • Il flusso ottico mantiene l'ordine degli atleti tra i frame e permette di interpolare le posizioni mancanti (sia causalmente che non causalmente), garantendo la continuità del segnale di distanza-tempo.

• Stima della Frequenza di Remata (Stroke Rate):

  • Vengono proposti due metodi per estrarre il segnale di movimento unidimensionale:
    1. ViTPose: Stima della posa per calcolare la distanza euclidea tra le articolazioni di spalla e polso.
    2. Bounding Box: Analisi della luminosità media in una sotto-regione dell'immagine dell'atleta.
  • Dal segnale di movimento, vengono estratti i picchi (massimi locali) per calcolare la frequenza di remata in battiti al minuto (bpm).

3. Contributi Chiave

1. Generalizzazione alle Barche di Squadra: Estensione del metodo da barche singole a barche multiple (K2, C2, K4), risolvendo la complessità dell'associazione spaziale e dell'ordine degli atleti.
2. Calibrazione Appresa (Learned Calibration): Sostituzione degli offset empirici statici con un modello U-Net che apprende dinamicamente la posizione della punta della barca, migliorando la precisione geometrica.
3. Robustezza al Fallimento del Rilevamento: Implementazione di un sistema di tracciamento ibrido (rilevamento + flusso ottico) che gestisce le occlusioni mantenendo l'ordine degli atleti e interpolando le posizioni perse.
4. Analisi Completa: Integrazione simultanea della stima della velocità e della frequenza di remata da un'unica fonte video, senza sensori aggiuntivi.

4. Risultati Sperimentali

Il sistema è stato valutato su dati reali provenienti da competizioni di alto livello (Campionati Mondiali e Coppe del Mondo), confrontando i dati video con le tracce GPS e giroscopiche (ground truth).

• Velocità:

  • RRMSE (Root Relative Mean Squared Error): $0.020 \pm 0.011$.
  • Correlazione di Spearman ($\rho$): $0.956$.
  • L'errore è stato basso e coerente tra tutte le classi di barche (K1, K2, K4, C1, C2).
  • L'ablation study ha dimostrato che l'interpolazione basata sul flusso ottico non causale riduce l'RMSE di velocità da 0.471 m/s (interpolazione lineare) a 0.097 m/s.

• Frequenza di Remata (Stroke Rate):

  • Il metodo basato su ViTPose ha superato nettamente quello basato sulle bounding box.
  • RMSE: $2.352 \pm 2.347$ bpm (ViTPose) contro $7.846 \pm 4.899$ bpm (Bounding Box).
  • Correlazione: $\rho = 0.932$ (ViTPose) contro $\rho = 0.686$ (Bounding Box).
  • Il costo computazionale è maggiore per ViTPose (circa 1179s per video contro 411s), ma giustificato dalla precisione.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'analisi sportiva automatizzata e non invasiva nella canoa sprint.

• Accessibilità: Fornisce a coach e scienziati dello sport dati ad alta frequenza e precisione senza bisogno di sensori costosi o imbarcati, rendendo l'analisi tattica accessibile a tutti i partecipanti di una gara.
• Versatilità: Il sistema è applicabile a tutte le discipline e distanze, superando i limiti dei lavori precedenti.
• Affidabilità: L'alta correlazione con i dati GPS e giroscopici dimostra che la visione artificiale può sostituire efficacemente i sensori fisici per l'analisi delle prestazioni, anche in condizioni di ripresa complesse (panoramica e zoom).
• Futuro: Sebbene rimangano sfide legate alle occlusioni severe e alla necessità di un'analisi in tempo reale (che richiederebbe ottimizzazioni dell'omografia), il framework offre una base solida per l'analisi tattica immediata e lo sviluppo di strumenti di supporto alle decisioni nelle competizioni future.