Cross-individual generalizability of machine learning models for ball speed prediction in baseball pitching

Technische Samenvatting: Cross-individuele Generaliseerbaarheid van Machine Learning-modellen voor het Voorspellen van Bal Snelheid bij Honkbalworptechnieken

Probleemstelling
Hoewel machine learning (ML) een hoge voorspellende nauwkeurigheid heeft getoond voor sportprestatie-uitkomsten (bijv. balsnelheid, spronghoogte) wanneer het is getraind en getest op gegevens van dezelfde individuen, blijft de cross-individuele generaliseerbaarheid van deze modellen slecht begrepen. Atletische bewegingen omvatten complexe, niet-lineaire inter-gewrichtscoördinatie met aanzienlijke inter-individuele variabiliteit. Bijgevolg presteren modellen die goed werken binnen de gegevens van een specifieke atleet, vaak slecht bij het generaliseren naar ongeziene individuen. Eerdere studies hebben de trainings- en testgegevens van dezelfde atleten vaak met elkaar verward of een gebrek aan duidelijke datapartitiering vertoond, wat leidde tot een mogelijke overschatting van de bruikbaarheid van modellen in de echte wereld. Deze studie adresseert dit gat door rigoureus te evalueren hoe goed ML-modellen, getraind op een groep werpers, de balsnelheid kunnen voorspellen voor geheel nieuwe, ongeziene werpers.

Methodologie
De studie maakte gebruik van een dataset van 50 werpers verdeeld over vijf competitieve niveaus (high school, collegiate, industrial, independent en professional). Bewegingsgegevens werden vastgelegd met behulp van 16 optische camera's (200–500 Hz), en de balsnelheid werd geregistreerd via TrackMan.

• Gegevenspreverwerking: 15 anatomische landmarks werden gevolgd. De gegevens werden gefilterd, tijdgenormaliseerd naar 101 frames (lopend van 1.0s vóór release tot 0.2s na release) en gespiegeld voor linkshandige werpers.
• Modelarchitectuur: Twee baseline-architecturen werden geëvalueerd: een Graph Neural Network–Recurrent Unit (GNN-GRU) en een Transformer. Voor elk werden zes hyperparameterconfiguraties getest.
• Validatiestrategie: De primaire evaluatiemethode was Leave-One-Subject-Out Cross-Validation (LOSOCV). In deze opzet dienden alle worpen van één werper als de testset, terwijl de gegevens van de overige 49 werpers de trainingsset vormden. Dit proces werd 50 keer herhaald.
• Comparatieve Analyse:
  1. Binnen-individu versus Cross-individu: Een subset van de gegevens werd gesplitst om de prestaties te vergelijken wanneer getraind en getest wordt op dezelfde individuen versus verschillende individuen.
  2. Expertise-effecten: Werpers werden gecategoriseerd in "Intermediate" (high school/collegiate) en "Expert" (industrial/independent/professional) groepen om te analyseren of het vaardigheidsniveau de magnitude en richting van de voorspellingsfout beïnvloedde.
  3. Spatiotemporele Ablatie: De studie beperkte systematisch de inputgegevens tot specifieke lichaamsregio's (werparm, leidende arm, romp, pivot-been, leidend been) en cumulatieve tijdsvensters om te identificeren welke spatiotemporele kenmerken de generaliseerbaarheid drijven.

Belangrijkste Resultaten

• Prestatiedaling: Er was een substantiële daling in de voorspellende prestaties bij de overgang van binnen-individuele naar cross-individuele evaluatie. De determinatiecoëfficiënt ($R^2$) daalde van 0,91 (binnen-individu) naar 0,38 (cross-individu).
• Selectie van Baseline-model: Onder de kandidaten behaalde een Transformer-model met 4 attention heads, een latente dimensie van 64 en een feedforward-dimensie van 128 de hoogste cross-individuele $R^2$ (0,38) en werd geselecteerd voor de daaropvolgende analyses.
• Expertise Bias: Hoewel de magnitude van de absolute fout niet significant verschilde tussen de expert- en intermediate-groepen, deed de getekende voorspellingsfout (signed prediction error) dat wel ($p < 0,05$). Het model had de neiging om de balsnelheid van intermediate werpers te overschatten ten opzichte van experts. Dit suggereert dat bij vergelijkbare kinematische inputs, intermediate werpers lagere uitgangssnelheden kunnen produceren door een lagere bewegingsefficiëntie, een factor die het model niet volledig rekening hield.
• Spatiotemporele Factoren:
  • Lichaamsregio's: De romp (trunk) en het pivot-been vertoonden de hoogste cross-individuele generaliseerbaarheid. Omgekeerd vertoonde de leidende arm de laagste.
  • Temporele Fasen: Het pivot-been vertoonde significante generaliseerbaarheid, zelfs tijdens de fase van de initiatie van de gewichtsverplaatsing ($R^2 > 0,25$). De generaliseerbaarheid voor de romp, het leidende been en de leidende arm nam de neiging toe naarmate de beweging vorderde richting de balrelease, terwijl het pivot-been en de werparm U-vormige prestatieprofielen vertoonden over de tijd.

Betekenis en Claims
De auteurs stellen dat deze studie de cruciale noodzaak onderstreept van cross-individuele evaluatie om de praktische toepasbaarheid van ML in de sportwetenschap accuraat te beoordelen. De bevindingen suggereren dat:

1. Generaliseerbaarheid is Beperkt maar Informatief: Hoewel de voorspellende kracht aanzienlijk afneemt over individuen heen, is het resterende signaal niet willekeurig; het onthult biomechanische consistenties.
2. Vaardigheidsniveau Zaken: Modellen kunnen prestaties systematisch verkeerd inschatten op basis van het vaardigheidsniveau, mogelijk door verschillen in bewegingsefficiëntie. Deze afwijking zou gebruikt kunnen worden om individuele-specifieke vermogens te kwantificeren.
3. Kern Biomechanische Drivers: De romp en het pivot-been lijken de meest consistente voorspellers van de balsnelheid te zijn over verschillende individuen heen, zelfs in vroege bewegingsfasen. Dit komt overeen met het biomechanische begrip dat deze segmenten de kinetische keten initiëren en minder variabel zijn in hun functionele rol vergeleken met distale segmenten zoals de armen.

Het artikel concludeert dat toekomstige ML-toepassingen in de sport verder moeten gaan dan evaluatie op individueel niveau om de biomechanische determinanten van prestaties te begrijpen en om te voorkomen dat de capaciteiten van modellen in de echte wereld, diverse populaties, worden overschat.