Interpretable Pre-Release Baseball Pitch Type Anticipation from Broadcast 3D Kinematics

Deze studie presenteert een interpreteerbaar model dat 80,4% nauwkeurigheid bereikt bij het voorspellen van acht verschillende worptypes in honkbal op basis van monokulaire 3D-lichaamshouding, waarbij bovenlichaamsmechaniek en polspositie als belangrijkste voorspellers worden geïdentificeerd en een empirisch plafond wordt vastgesteld voor worpen die uitsluitend op grip verschillen.

De kern

Stel je voor dat je naar een honkbalwedstrijd kijkt op tv. De pitcher staat op het heuveltje, hij gooit de bal en boem – een slagman slaat hem weg. Maar hoe wist de slagman eigenlijk wat voor bal er kwam? Wist hij dat het een snelle 'fastball' was of een langzame 'changeup' voordat de bal de hand van de pitcher verliet?

Meestal kijken we naar de bal zelf om dit te weten te komen. Maar in dit onderzoek kijken we niet naar de bal, maar alleen naar het lichaam van de pitcher.

Hier is een simpele uitleg van wat deze wetenschappers hebben ontdekt, vertaald naar alledaags taal:

1. Het Grote Geheim: Kan je een gooi voorspellen zonder de bal te zien?

De onderzoekers stelden zich de vraag: "Hoeveel informatie zit er eigenlijk in de beweging van het lichaam?" Ze hebben een computerprogramma gemaakt dat naar duizenden video's van honkbalwedstrijden kijkt. Ze hebben de bal zelf genegeerd en zich puur gefocust op de 3D-beweging van de pitcher (zijn armen, benen, rug en hoofd).

Het resultaat? Het programma kon in 80% van de gevallen precies zeggen wat voor bal er zou komen, puur op basis van hoe de pitcher bewoog. Dat is alsof je een goochelaar kunt doorzien alleen door naar zijn handbewegingen te kijken, zonder te weten wat er in zijn mouw zit.

2. De "Receptuur" van de Pitcher

Stel je voor dat een pitcher een kok is die een gerecht maakt.

• De ingrediënten: Zijn lichaamsonderdelen (schouders, ellebogen, polsen).
• De beweging: Hoe hij de ingrediënten mengt.

De onderzoekers hebben een "recept" gevonden. Ze hebben gekeken naar 229 verschillende details in de beweging, zoals:

• Hoe ver zijn elleboog gebogen is.
• Hoe zijn rug naar voren leunt.
• Waar zijn pols precies zit op het moment van loslaten.

Het verrassende was: Het bovenlichaam doet het meeste werk. Ongeveer 65% van de aanwijzingen zit in de armen, schouders en het hoofd. De benen (35%) zijn minder belangrijk voor het voorspellen van het type bal.

3. Waarom is dat zo? (Het Vermommingsspel)

Dit is het leukste deel. In het honkbal is het de kunst om de tegenstander te bedriegen. Een goede pitcher probeert ervoor te zorgen dat zijn benen er altijd hetzelfde uitzien, ongeacht wat hij gaat gooien. Hij wil dat de slagman denkt: "Oh, hij gaat een snelle bal gooien," terwijl hij eigenlijk een langzame bal gooit.

Maar het bovenlichaam verraadt hem vaak.

• De pols: De positie van de pols is als een "vingerafdruk". Het is het punt waar de bal de hand verlaat, en daar zit de geheime code.
• De rug: Hoe hij zijn rug kantelt, is een heel sterk signaal.
• Het hoofd: Zelfs de manier waarop hij naar de slagman kijkt, verandert per baltype.

De computer heeft deze patronen geleerd zonder dat iemand het haar heeft uitgelegd. Het heeft zelf ontdekt: "Ah, als de rug naar links kantelt, is het waarschijnlijk een curveball."

4. De Grenzen van de Voorspelling

Er is echter een grens. De computer kon niet perfect onderscheid maken tussen twee heel specifieke soorten snelle ballen: de "vier-naalden" en de "twee-naalden" fastball.

Waarom? Omdat het enige verschil tussen die twee ballen zit in hoe de vingers de bal vasthouden. Dat is een heel klein detail dat je niet kunt zien in een gewone tv-beeld. Het is alsof je probeert te raden of iemand een appel vasthoudt of een peer, terwijl je alleen naar hun hand ziet die in een zak zit. Je kunt de vorm van de hand zien, maar niet welke vrucht erin zit.

Dit betekent dat er een "plafond" is van ongeveer 80% nauwkeurigheid als je alleen naar het lichaam kijkt. Om de andere 20% te weten, moet je echt naar de bal kijken (snelheid, draaiing, etc.).

5. Waarom is dit nuttig?

Vroeger hadden je alleen dure camera-systemen nodig (die honderdduizenden dollars kosten) om te weten wat voor bal er kwam. Dit nieuwe systeem werkt met gewone tv-beelden.

• Voor amateurs: Een amateurclub in een klein dorpje kan nu ook analyseren hoe hun spelers gooien, zonder dure apparatuur.
• Voor de slagman: Het helpt om te begrijpen wat de pitcher "verraadt" voordat hij gooit.
• Voor de wetenschap: Het laat zien dat we veel kunnen leren over sport door simpelweg naar beweging te kijken, zonder ingewikkelde sensoren.

Samenvattend

De onderzoekers hebben een slimme "detective" gebouwd die naar de beweging van honkballers kijkt. Deze detective leert dat het bovenlichaam (vooral de pols en de rug) vaak verraadt wat er gaat gebeuren, terwijl de benen proberen te verbergen wat er aan de hand is. Het is een grote stap voorwaarts in het begrijpen van sport, puur door naar de dans van de speler te kijken in plaats van naar de bal.

Technische samenvatting

Probleemstelling

Traditionele methoden voor het classificeren van worptypes in honkbal (zoals vierbaans, tweebaans, curveball, changeup) vertrouwen bijna uitsluitend op bal-vliegdata (snelheid, spinsnelheid, beweging) die wordt vastgelegd door dure multi-camera systemen zoals Hawk-Eye of TrackMan. Deze systemen kosten honderdduizenden dollars en zijn beperkt tot professionele stadions.

De kernvraag van dit onderzoek is: Hoeveel informatie over het aankomende worptype is er te vinden in de lichaamskinetica van de werper zelf, voordat de bal wordt losgelaten? Bestaande studies zijn vaak beperkt tot kleine cohorts in laboratoriumomgevingen met reflecterende markers, of gebruiken alleen 2D-positiegegevens. Er ontbreekt een grootschalig onderzoek dat puur op broadcast-video is gebaseerd om te bepalen welke biomechanische signalen het worptype voorspellen en waar de grens ligt tussen kinematische informatie en bal-fysica.

Methodologie

Het auteurs team heeft een volledig geautomatiseerde pipeline ontwikkeld die broadcast-video omzet in een worptype-classificatie zonder gebruik te maken van bal-tracking hardware. De aanpak bestaat uit vier hoofdstadia:

1. 3D Pose Schatting:

   • Er wordt gebruikgemaakt van DreamPose3D, een intentie-bewust diffusiemodel op basis van transformers, om 3D-lichaamsposten (17 gewrichten) te reconstrueren uit monokulaire broadcast-video.
   • De output zijn sequenties van $(x, y, z)$ coördinaten voor 17 gewrichten (zoals neus, schouders, ellebogen, polsen, heupen, knieën, enkels).

2. Detectie van Worpgebeurtenissen (Event Detection):

   • Het systeem detecteert automatisch drie kritieke biomechanische momenten in elke worpsequentie:
     • Foot Plant (FP): Het moment waarop de loopvoet de grond raakt.
     • Maximum External Rotation (MER): Het moment van maximale externe rotatie van de schouder/elleboog.
     • Ball Release (REL): Het moment van balloslating.
   • De handigheid (rechts- of linkshandig) wordt afgeleid uit de beenbeweging en heuprotatie om de coördinaten correct te normaliseren.

3. Extractie van Biomechanische Kenmerken:

   • Er worden 229 kenmerken gegenereerd op basis van de drie gedetecteerde gebeurtenissen:
     • Rauwe Pose Kenmerken (153-d): Genormaliseerde 3D-coördinaten van alle gewrichten (gecentreerd op het bekken en geschaald naar lichaamslengte).
     • Biomechanische Metrics (45-d): Geverifieerde kinematische grootheden zoals gewrichtshoeken (knie, elleboog), romporiëntatie (voorwaartse kanteling, zijwaartse kanteling), bekkenrotatie, heup-schouder scheiding en zwaartepuntscoördinaten.
     • Temporale Delta's (30-d): Het verschil in metrics tussen de drie gebeurtenissen (bijv. verandering van FP naar MER) om de overgangsbewegingen te vangen.
     • Handigheid: Een binaire indicator.

4. Classificatie:

   • Een XGBoost-classificator (gradient-boosted decision trees) wordt getraind om acht worptypes te onderscheiden.
   • Het model wordt getraind op een dataset van 119.561 professionele worpen, de grootste benchmark tot nu toe voor dit type analyse.

Belangrijkste Bijdragen

• Grootschalige Dataset: De creatie van een dataset van bijna 120.000 worpen met 3D-pose sequenties, wat een orde van grootte groter is dan eerdere biomechanische studies.
• Puur Kinetische Classificatie: Het aantonen dat een worptype met hoge nauwkeurigheid kan worden voorspeld uitsluitend op basis van het lichaam van de werper, zonder bal-data.
• Interpreteerbaarheid: Het bieden van een systematische analyse van welke gewrichten en biomechanische factoren het meest voorspellend zijn, wat inzicht geeft in de strategie van de werper (deceptie vs. variatie).
• Empirische Grens: Het definiëren van een "empirisch plafond" voor pose-gebaseerde analyse, specifiek voor worpen die voornamelijk door de grip worden onderscheiden.

Resultaten

• Algemene Nauwkeurigheid: Het model bereikt een classificatienauwkeurigheid van 80,4% voor acht worptypes, puur op basis van lichaamskinetica.
• Invloed van Kenmerken:
  • Het toevoegen van berekende biomechanische metrics (naast rauwe pose-data) verbeterde de nauwkeurigheid met +3,9%. Dit bevestigt dat geometrische prioren nuttig zijn voor datagedreven modellen.
  • Boven- vs. Onderlichaam: De bovenlichaamsmechanica levert 64,9% van het voorspellende signaal, terwijl het onderlichaam slechts 35,1% bijdraagt. Dit bevestigt het principe dat werpers hun onderlichaam consistent houden voor deceptie, terwijl de bovenlichaam de variatie toont.
  • Belangrijkste Kenmerken:
    • Polspositie (14,8%) en hoofd/oriëntatie (19,0%) zijn de meest informatieve gewrichtsgroepen.
    • Zijwaartse kanteling van de romp (trunk lateral tilt) is het sterkste individuele biomechanische kenmerk.
• Classificatie per Type:
  • Worpsoorten met duidelijke mechanische verschillen (zoals changeup en curveball) worden zeer betrouwbaar herkend (F1-score > 80%).
  • Grip-gebaseerde varianten: Vierbaans (Four-seam) en tweebaans (Two-seam) fastballs zijn nauwelijks te onderscheiden op basis van pose alleen. De verwarring tussen deze twee types (ongeveer 1.133 gevallen) vormt de belangrijkste foutbron.
• Vergelijking met Bal-data: Een model dat ook bal-vliegdata gebruikt (snelheid, spin) bereikt 94,0% nauwkeurigheid. Het verschil van 13,6% tussen dit model en het pose-only model kwantificeert de informatie die puur in de bal-fysica (grip, spin) zit en niet in de lichaamshouding.

Betekenis en Conclusie

Dit onderzoek toont aan dat camera-gebaseerde 3D-biomechanica een krachtig, hardware-vrij middel is voor het analyseren van honkbalworp. De resultaten hebben twee belangrijke implicaties:

1. Praktische Toepassing: Het democratiseert biomechanische feedback. Amateurclubs, hogescholen en trainingsfaciliteiten kunnen nu waardevolle inzichten krijgen over worptypes en mechanica zonder dure TrackMan/Hawk-Eye systemen.
2. Wetenschappelijk Inzicht: Het bevestigt dat werpers hun onderlichaam bewust consistent houden om de tegenstander te misleiden, terwijl de variatie in de bovenlichaam (vooral pols, hoofd en romp) de daadwerkelijke intentie verraadt.

De studie stelt ook een realistische bovengrens vast: ongeveer 80% nauwkeurigheid is het maximale haalbare puur op basis van lichaamshouding, omdat de fijnere verschillen tussen bepaalde fastballs (grip) onzichtbaar zijn voor pose-estimators. Toekomstig werk zal zich richten op het modelleren van de interactie tussen hand en bal om grip-specifieke cues te vangen.