Velocity and stroke rate reconstruction of canoe sprint team boats based on panned and zoomed video recordings

Dit artikel presenteert een geautomatiseerd kader dat op basis van gepannde en ingezoomde video-opnames, met behulp van YOLOv8, U-net en optische flow, nauwkeurige snelheids- en slagfrequentiemetingen voor kano-sprintboten genereert ter vervanging van GPS-data.

De kern

Stel je voor dat je een kanovergadering bekijkt op tv. Je ziet de boten razendsnel voorbij schieten, de roeiers werken als gek, en je vraagt je af: "Hoe snel gaan ze eigenlijk precies? En hoe vaak slaan ze per minuut met hun peddel?"

Vroeger was het antwoord op die vragen moeilijk te krijgen. Je had speciale sensoren in de boot nodig (zoals een GPS-kaartje), maar die zijn duur, lastig te installeren en in wedstrijden vaak zelfs verboden.

De auteurs van dit paper hebben een slimme oplossing bedacht: een computer die naar de tv-beelden kijkt en de snelheid en het tempo van de boten uitrekent, alsof het een super-snelheidscamera is.

Hier is hoe ze dat doen, vertaald in simpele taal:

1. Het probleem: De "vervormde" camera

Wanneer je een wedstrijd filmt vanaf de kant, beweegt de camera mee met de boten (pannen) en zoomt hij in en uit. Dat zorgt voor een vervormd beeld. Het is alsof je door een gekke, rimpelige spiegel kijkt.

• De oplossing: De computer gebruikt de boeien in het water (die op vaste plekken liggen) als ankers. Het is alsof je een raster over het beeld legt. Door te weten waar de boeien moeten zitten, kan de computer de vervorming van de camera "rekenen" en het beeld weer rechtzetten. Zo weet hij precies hoeveel meter een boot afgelegd heeft.

2. Het probleem: Boten met meerdere mensen

Vroeger kon dit alleen bij boten met één persoon. Maar wat als er vier mensen in een boot zitten (zoals in een K4)?

• De oplossing: De computer moet nu niet één persoon volgen, maar een heel team. Soms verdwijnt iemand even achter de andere (verduistering) of wordt de beeldkwaliteit slecht.
  • De "Optische Stroom" (Optical Flow): Stel je voor dat je een dansje volgt. Als één danser even uit beeld springt, weet je waar hij weer uitkomt omdat je zijn beweging hebt gevolgd. De computer doet hetzelfde: hij volgt de beweging van de roeiers van het ene frame naar het andere, zelfs als ze even niet zichtbaar zijn. Zo blijft de volgorde van de roeiers in de boot altijd kloppen.

3. De "Neus" van de boot

Om de snelheid te meten, moet je weten waar de neus van de boot is.

• De oplossing: In het verleden deden ze dit met een vaste maat (bijvoorbeeld: "de neus zit 2 meter voor de roeier"). Maar dat klopt niet altijd, want boten zijn anders en de camera staat soms scheef.
  • De auteurs hebben een AI-model (een U-Net) getraind dat als een "snuffelhondje" werkt. Het kijkt naar een klein stukje van de video en zegt: "Aha, daar is de punt van de boot!" Hierdoor kan de computer de positie van de boot tot op de centimeter nauwkeurig bepalen, zonder dat iemand handmatig hoeft te meten.

4. Het tellen van de peddelslagen (Slaan)

Snelheid is één ding, maar hoe vaak slaan ze?

• De oplossing: De computer kijkt naar de beweging van de schouders en handen van de roeiers.
  • Methode A (Slim): Hij gebruikt een model dat de menselijke houding herkent (ViTPose). Dit is als een digitale gymnast die precies ziet hoe de armen bewegen. Dit is heel nauwkeurig, maar kost veel rekenkracht.
  • Methode B (Simpel): Hij kijkt alleen naar de helderheid van het beeld in de kist van de roeier. Als de peddel gaat, verandert het licht. Dit is sneller, maar minder precies.
  • Resultaat: De "Slimme" methode werkt het beste en geeft een bijna perfect beeld van het tempo, zelfs zonder sensoren in de boot.

Waarom is dit geweldig?

Stel je voor dat je een coach bent. Vroeger moest je wachten tot de boot terugkwam en de data van de sensoren uitlezen. Nu kan de computer direct na de race (of zelfs tijdens de race) een rapport geven:

• "Botje 3 ging in de eerste 100 meter te langzaam."
• "Botje 5 had een perfect tempo, maar versnelde te laat."

Kortom: Dit onderzoek maakt het mogelijk om elke wedstrijd op tv om te zetten in een gedetailleerd sportrapport, zonder dat er ook maar één sensor in de boot hoeft. Het is alsof je een magische bril opzet die de geheime snelheid en het ritme van de sporters direct voor je uitleest.

Technische samenvatting

Probleemstelling

In de kanosprint is de tactische uitvoering (snelheidsprofiel en slagfrequentie) cruciaal voor topprestaties. Hoewel GPS de gouden standaard is voor data-analyse, is deze technologie vaak niet beschikbaar voor alle deelnemers tijdens wedstrijden vanwege logistieke beperkingen of regelgeving die het dragen van sensoren aan boord verbiedt.

Bestaande videobasede methoden zijn beperkt:

1. Handmatige analyse van opnames met schuiven (panning) en inzoomen (zooming) is te arbeidsintensief en lastig door de scheve perspectieven.
2. Bestaande geautomatiseerde methoden (zoals die van Matthes et al.) werkten goed voor eenpersoonsboten (K1/C1) met een vaste camera, maar faalden bij teamboten (K2, C2, K4) door overlap van atleten en het gebrek aan een nauwkeurige methode om de positie van de boot (voorkant) te bepalen zonder sensoren.
3. Er ontbreekt een geautomatiseerde oplossing om zowel snelheid als slagfrequentie (stroke rate) te reconstrueren uit standaard beelden.

Methodologie

De auteurs presenteren een uitgebreid framework dat videobeelden omzet in nauwkeurige kinematische data. De kerncomponenten zijn:

1. Homografie en Scene Geometry

• Het systeem gebruikt een YOLOv8-model om boeien en atleten te detecteren.
• De bekende geometrie van het boeienraster wordt gebruikt om een homografie (beeld-naar-wereld transformatie) te schatten.
• Lucas-Kanade optische flow wordt gebruikt om boeien tussen frames te volgen, waardoor de homografie consistent blijft, zelfs bij tijdelijke detectiefouten.

2. Automatische Kalibratie van de Bootpositie (U-Net)

• Bij teamboten is het moeilijk om de bootpositie te bepalen omdat meerdere atleten zichtbaar zijn. Een vaste empirische offset (zoals in eerdere werk) werkt niet omdat de positie van de bootvoorkant afhangt van welke atleet als referentie wordt gebruikt.
• Oplossing: Een U-Net model is getraind om de exacte positie van de bootvoorkant (tip) te detecteren op basis van een 150x150 pixel patch.
• Het proces:
  1. Detecteer atleten en bereken een ruwe bootpositie.
  2. Projecteer dit naar het beeld en maak een ROI (Region of Interest).
  3. De U-Net voorspelt de exacte tip-positie.
  4. Er wordt een atleet-specifieke offset berekend ($o_{j,k}$) tussen de atleet en de bootvoorkant.
  5. Deze offsets worden gemiddeld over een frame-sequentie voor stabiliteit.

3. Robuuste Tracking voor Teamboten

• Wanneer detecties falen (bijv. door overlapping of verduistering), wordt optische flow gebruikt om de volgorde van atleten te behouden.
• Optische Flow Interpolatie: Als een atleet niet wordt gedetecteerd, wordt de positie geschat op basis van de bewegingsvector van het vorige frame.
• Het systeem ondersteunt zowel causale (alleen toekomstige data) als niet-causale (toekomstige en verleden data) interpolatie voor maximale nauwkeurigheid.

4. Slagfrequentie (Stroke Rate) Schatting
Twee methoden worden vergeleken om een bewegingssignaal te extraheren:

• ViTPose: Een pose-estimation model dat de afstand tussen schouder en pols meet.
• Bounding Box: Analyse van de gemiddelde helderheid in een subregio van de atleten-bounding box.
• Het signaal wordt gefilterd (Savitzky-Golay), pieken worden gedetecteerd en omgezet naar een frequentie (slagen per minuut).

Belangrijkste Bijdragen

1. Uitbreiding naar Teamboten: Het framework is voor het eerst succesvol toegepast op K2, C2 en K4, waarbij de complexiteit van meerdere atleten per boot wordt opgelost.
2. Geleerde Boot-Kalibratie: In plaats van een statische offset, wordt een U-Net gebruikt om per video en per baan de specifieke offset tussen atleet en bootvoorkant te leren.
3. Robuuste Tracking: Een nieuwe logica die optische flow combineert met detectie om volgorde en positie te behouden bij detectiefouten.
4. Dual-Output: Het systeem levert zowel snelheidsprofielen als slagfrequentieprofielen zonder extra hardware.

Resultaten

De methode is geëvalueerd tegen GPS-data (snelheid) en gyroscoop-data (slagfrequentie) van elite-wedstrijden (200m en 500m).

• Snelheid (Velocity):

  • RRMSE: $0.020 \pm 0.011$ (zeer laag).
  • Correlatie (Spearman $\rho$): $0.956$.
  • De nauwkeurigheid is consistent over alle boottypes (K1 tot K4).
  • De niet-causale optische flow interpolatie presteerde het beste (RMSE 0.097 m/s).

• Slagfrequentie (Stroke Rate):

  • De ViTPose-methode presteerde aanzienlijk beter dan de bounding box-methode.
  • ViTPose RRMSE: $0.022 \pm 0.024$ met een correlatie van $\rho = 0.932$.
  • Bounding Box RRMSE: $0.069 \pm 0.040$ met een correlatie van $\rho = 0.686$.
  • De ViTPose-methode heeft een hogere rekentijd (1179s vs 411s per video), maar levert een veel betrouwbaarder signaal.

• Boot Tip Detectie:

  • De U-Net bereikte een nauwkeurigheid van 90,8% binnen een tolerantie van 5 pixels.

Betekenis en Conclusie

Dit onderzoek biedt een volledig geautomatiseerd, niet-invasief systeem voor tactische analyse van kanosprintwedstrijden.

• Praktische Toepassing: Trainers en sportwetenschappers kunnen nu nauwkeurige snelheids- en slagfrequentieprofielen genereren uit standaard uitzendbeelden of opnames vanaf de kant, zonder dat atleten sensoren hoeven te dragen.
• Generalisatie: De methode werkt voor alle sprintdisciplines (K1-K4, C1-C2) en afstanden.
• Beperkingen: De homografie-initialisatie vereist nog steeds handmatige annotatie van vier boeien. Bij extreme verduistering of bewegingsonscherpte kan de prestatie dalen. Real-time verwerking is momenteel beperkt door de rekentijd van de U-Net en pose-estimation, maar is haalbaar voor post-wedstrijd analyse.

Samenvattend vult deze studie een cruciale kloof in de sportanalyse op door videobasede analyse van teamboten mogelijk te maken met een nauwkeurigheid die dicht bij GPS-niveaus ligt.