Leakage-aware pre-match prediction of professional volleyball outcomes: temporal validation of machine-learning models against an Elo baseline

Het voorspellen van de uitkomst van een professionele sportwedstrijd is een taak die intuïtie combineert met harde data. In de wereld van het competitieve volleybal worden teams constant geanalyseerd op hun sterktes in het serveren, aanvallen en blokkeren. Decennialang hebben onderzoekers statistieken geanalyseerd die na afloop van een wedstrijd zijn verzameld om te begrijpen waarom het ene team won en het andere verloor. Er is echter een cruciaal verschil tussen het verklaren van een resultaat achteraf en het voorspellen ervan vóór de eerste bal is geserveerd. Een statistiek zoals het aantal gescoorde punten in een wedstrijd is een perfecte beschrijving van wat er is gebeurd, maar het kan niet worden gebruikt om te voorspellen wat er gaat gebeuren, omdat het niet bestaat totdat de wedstrijd voorbij is. Echte forecasting vereist het gebruik van alleen de informatie die beschikbaar is vlak voordat de wedstrijd begint, zoals de prestaties uit het verleden van een team, hun recente vorm en hoeveel dagen ze rust hebben gehad. Dit onderscheid is essentieel voor iedereen die probeert een betrouwbaar model te bouwen om de toekomst te raden, aangezien het gebruik van data die nog niet beschikbaar zou moeten zijn, een vals gevoel van nauwkeurigheid creëert.

Een recente studie door Xiaopeng Li van de Chengdu Sport University pakte deze uitdaging aan door professionele volleywedstrijden in de Poolse hoogste competitie, bekend als de PlusLiga, te onderzoeken. Het doel was om te zien hoe goed machine learning-modellen wedstrijdwinnaars konden voorspellen wanneer het hen strikt verboden was om enige informatie te gebruiken die niet bekend zou zijn vóór de wedstrijd begon. De onderzoeker werkte met een publieke dataset die duizenden wedstrijdverslagen bevatte, maar de eerste stap was niet het bouwen van een computerprogramma, maar het opschonen van de data. Bij nadere inspectie bevatten de records uit de eerdere jaren van de dataset onmogelijke getallen, zoals een team dat meer "aces" (perfecte serves die de tegenstander niet kan terugspelen) registreerde dan het totaal aantal geprobeerde serves. Omdat deze fouten niet hersteld konden worden zonder de oorspronkelijke regels van de gegevensverzameling te moeten gissen, nam de onderzoeker de moeilijke beslissing om meer dan tweeduizend van deze oudere records te verwijderen. De uiteindelijke analyse vertrouwde op 628 wedstrijden uit de seizoenen 2020/21 tot en met 2022/23, een periode waarin de data schoon en betrouwbaar was.

Om het voorspellende vermogen van verschillende methoden te testen, splitste de onderzoeker deze schone data in twee groepen. De eerste groep, die de seizoenen 2020/21 en 2021/22 besloeg, werd gebruikt om diverse computermodellen te trainen. De tweede groep, bestaande uit wedstrijden uit het seizoen 2022/23, werd tot het allerlaatste moment volledig verborgen gehouden. Deze aanpak bootst het echte leven na: een model leert van het verleden en wordt vervolgens getest op de toekomst om te zien of het daadwerkelijk werkt. De studie vergeleek vijf verschillende soorten machine learning-algoritmen, variërend van eenvoudige statistische methoden tot complexe neurale netwerken, tegen twee basisbenchmarks. Eén benchmark was simpelweg gokken op basis van hoe vaak teams in het verleden wonnen, terwijl de andere het Elo-ratingsysteem gebruikte, een transparante methode die de krachtscore van een team na elke wedstrijd bijwerkt op basis van wie ze verslaan en hoe.

De resultaten toonden aan dat het voorspellen van professioneel volleybal mogelijk is, maar het is verre van perfect. Het meest succesvolle model was een eenvoudige statistische methode genaamd Logistische Regressie, die de winnaar ongeveer 72 procent van de tijd correct voorspelde op de ongeziene toekomstige data. Dit was een solide resultaat, maar het was geen doorbraak. Sterker nog, het eenvoudige Elo-ratingsysteem, dat alleen keek naar het verschil in teamsterkte zonder complexe berekeningen, presteerde bijna even goed, waarbij het de winnaar ongeveer 70 procent van de tijd juist wist. De complexere machine learning-modellen, inclusief die ontworpen om ingewikkelde patronen in data te vinden, boden geen significant voordeel ten opzichte van de eenvoudigere methoden. In sommige gevallen waren de complexe modellen zelfs minder stabiel; ze presteerden goed tijdens de training, maar slaagden er niet in dat succes te behouden wanneer ze geconfronteerd werden met nieuwe wedstrijden.

Een diepere blik op waar de modellen daadwerkelijk gebruik van maakten om hun beslissingen te nemen, onthulde een verrassende waarheid. De belangrijkste factor bij verreweg was het verschil in de Elo-ratings van de teams. Hoewel de modellen toegang hadden tot veertien verschillende statistieken over de recente vorm van een team, zoals de serve-nauwkeurigheid of hoeveel punten ze in hun laatste vijf wedstrijden scoorden, voegden deze details zeer weinig extra waarde toe. De computermodellen vertrouwden in essentie op het simpele feit dat een sterker team waarschijnlijker is om te winnen, en de extra technische data veranderden die voorspelling niet veel. Dit suggereert dat de informatie die in de recente wedstrijdgeschiedenis van een team besloten ligt, al grotendeels is opgenomen in hun algemene krachtrating. De studie vond ook dat de modellen goed waren in het rangschikken van de waarschijnlijkheid van een overwinning, maar ze waren niet perfect; er was nog steeds een aanzienlijke mate van onzekerheid bij elke voorspelling.

De studie concludeert dat hoewel het mogelijk is om de uitkomsten van professioneel volleybal met matig succes te voorspellen, het pad daarnaartoe strikte discipline vereist over welke informatie is toegestaan. Het onderzoek voert expliciet aan dat de gedachte dat complexere computeralgoritmen automatisch beter zijn voor deze taak, onjuist is. In plaats daarvan laat het zien dat een heldere, transparante maatstaf voor teamsterkte vaak het krachtigste instrument is dat beschikbaar is. De bevindingen ondersteunen het gebruik van deze modellen als een voorzichtige hulp bij de analyse voorafgaand aan een wedstrijd, bijvoorbeeld om scouts of fans te helpen de waarschijnlijke moeilijkheidsgraad van een matchup te begrijpen. De studie waarschuwt echter dat deze modellen niet gebruikt moeten worden voor live beslissingen tijdens de wedstrijd of om specifiek coachadvies te geven, aangezien ze de dynamische veranderingen die tijdens een wedstrijd plaatsvinden, niet kunnen meenemen. Bovendien zijn de resultaten specifiek voor deze ene competitie en kunnen ze niet worden verondersteld te werken voor andere sporten of andere niveaus van competitie zonder verdere tests. Het werk dient als een herinnering dat in het voorspellen van sporten, weten wat je niet weet net zo belangrijk is als de voorspelling zelf.