Interpretable Machine Learning for Football Performance Analysis: Evidence of Limited Transferability from Elite Leagues to University Competition

Technische Samenvatting: Interpreteerbare Machine Learning voor Prestatieanalyse in het Voetbal

Probleemstelling
Machine learning is onlosmakelijk geworden van de prestatieanalyse in het voetbal, doch bestaand onderzoek prioriteert voornorspelende nauwkeurigheid en gaat impliciet uit van de overdraagbaarheid van prestatie-determinanten, geleerd uit elitecompetities, naar contexten op lager niveau. Deze aanname blijft grotendeels ononderzocht, met name wat betreft de "domeinverschuiving" van elite-professionele competities naar universiteitsniveau. Universitair voetbal functioneert onder specifieke omstandigheden, waaronder beperkte trainingstijd, heterogene vaardigheidsniveaus en variabele teamcomposities. Het kernprobleem dat wordt aangepakt, is of de structurele relaties tussen prestatie-indicatoren en wedstrijdresultaten, evenals de interpreteerbaarheid van machine learning-modellen, robuust blijven wanneer ze worden toegepast over deze uiteenlopende competitieniveaus. Specifiek onderzoekt de studie of verklaringen afgeleid van elite-data betrouwbaar zijn wanneer ze worden ingezet op universiteitsdata, of dat instabiliteit in deze verklaringen een echte structurele ambiguïteit in het doeldomein weerspiegelt.

Methodologie
De studie hanteert een "elite-naar-universiteit" transferkader waarbij modellen uitsluitend worden getraind op elite-data en uitsluitend worden toegepast op universiteitsdata voor inferentie en evaluatie van interpreteerbaarheid.

• Data Bronnen:
  • Bron-Domein (Elite): Wedstrijd-gebeurtenisdata van de top vijf Europese competities (Premier League, La Liga, Serie A, Bundesliga, Ligue 1) over drie seizoenen (2022/23–2024/25). De data is opgehaald via het Python-pakket soccerdata van WhoScored, afgestemd op Opta-achtige definities.
  • Doel-Domein (Universiteit): 17 officiële wedstrijden van het voetbalteam van de National Tsing Hua University (NTHU) (Tweede divisie van Taiwan). Gebeurtenissen zijn handmatig geannoteerd door drie gecertificeerde scheidsrechters volgens OPTA-richtlijnen, waarbij de definitieve tellingen werden bepaald door meerderheidsakkoord.
• F Representatie: Een vastgestelde set van 19 gebeurteniscategorieën (bijv. schoten, passes, tackles, fouls) werd gebruikt. Het voorspellingstarget was gedefinieerd als het doelsaldo ($y = \text{Doel} - \text{Doel van de tegenstander}$), geformuleerd als een regressietaken.
• Modellen: Zes machine learning-algoritmen werden aanvankelijk geëvalueerd (Decision Tree, MLP, Random Forest, SVR, XGBoost, TabNet). Gebaseerd op voorspellende stabiliteit en lage variantie over willekeurige zaden, werden Random Forest (RF) en Multilayer Perceptron (MLP) geselecteerd voor alle daaropvolgende analyses van interpreteerbaarheid.
• Methoden voor Interpreteerbaarheid: Twee conceptueel verschillende methoden werden gebruikt om feature-importance te evalueren:
  1. SHAP (SHapley Additive exPlanations): Gebruikt om marginale bijdragen van features aan voorspellingen te schatten.
  2. Counterfactual Impact Score (CIS): Maatvoering van veranderingen in voorspelling onder gecontroleerde, directionele single-feature perturbaties gebaseerd op elite-trainingstatistieken.
• Experimenteel Ontwerp: Vijf experimenten werden uitgevoerd om te beoordelen:
  1. Voorspellende validiteit op elite-data.
  2. Cross-domein vergelijking van feature-importance (Elite vs. NTHU).
  3. Zaad-voor-zaad reproduceerbaarheid van rangschikkingen.
  4. Structurele overeenstemming over domeinen (correlatie van rangschikkingen tussen competities en universiteit).
  5. Overeenstemming tussen uitlegmethode (SHAP vs. CIS) binnen domeinen.

Belangrijkste Resultaten

1. Structurele Divergentie: Prestatie-determinanten vertonen een stabiele, gedeelde hiërarchie over elite-competities, maar ondergaan een substantiële herordening wanneer toegepast op universitair voetbal. Bijvoorbeeld, "Touches" en "Saves" verschilden aanzienlijk in rangorde van belang in het universiteitsdomein ten opzichte van het elite-domein.
2. Stabiliteit van Uitleg: In het elite-domein waren rangschikkingen van feature-importance hoog reproduceerbaar over willekeurige zaden (bijv. RF Spearman-correlatie $\mu = 0.990$). Daarentegen toonde het universiteitsdomein verminderde stabiliteit, met name voor het MLP-model ($\mu = 0.231$), wat aangeeft dat uitlegstructuren gevoelig zijn voor trainingswillekeur in het doeldomein.
3. Cross-Domein Overeenstemming: Sterke structurele overeenstemming (hoge Spearman-correlaties) werd waargenomen onder elite-competities. Echter, correlaties tussen elite-competities en NTHU-universitair voetbal waren aanzienlijk lager, wat een gebrek aan structurele uitlijning bevestigt.
4. Methodische Invariantie: In elite-voetbal toonden SHAP- en CIS-rangschikkingen hoge overeenstemming ($\rho \approx 0.93$ voor RF). In het universiteitsdomein daalde deze overeenstemming aanzienlijk ($\rho \approx 0.42$ voor RF) en ontbrak statistische consistentie, wat suggereert dat rangschikkingen van feature-importance in universitair voetbal sterk afhankelijk zijn van de keuze van de uitlegmethode.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Niet-overdraagbaarheid: De studie levert bewijs dat prestatie-determinanten geleerd uit elite-competities hun structurele hiërarchie niet behouden wanneer toegepast op universitair voetbal, wat de aanname van cross-level overdraagbaarheid uitdaagt.
2. Domein-afhankelijke Interpreteerbaarheid: Het toont aan dat interpreteerbaarheid geen inherent eigenschap van een model is, maar een domein-afhankelijk kenmerk. Waar het robuust is in elite-contexten, wordt interpreteerbaarheid instabiel en methode-gevoelig onder domeinverschuiving.
3. Herformulering van Instabiliteit: Het artikel stelt een conceptuele verschuiving voor waarbij uitleg-instabiliteit niet uitsluitend wordt gezien als methodologische ruis of modelfalen, maar als een diagnostisch signaal van structurele ambiguïteit in het doeldomein. Het suggereert dat in contexten waar tactische hiërarchieën nog niet goed gevestigd zijn (zoals universitair voetbal), het ontbreken van een stabiele uitlegstructuur op zich een betekenisvolle bevinding is.

Betekenis en Claims
De auteurs claimen dat dit werk de focus van voetbalanalytics verschuift van puur voorspellende prestatie naar de empirische evaluatie van de robuustheid van interpreteerbaarheid. De studie betoogt dat voordat modelinzichten worden vertaald naar actieerbare strategieën voor niet-elite contexten, practitioners moeten evalueren of uitleggen stabiel, overdraagbaar en methode-invariant zijn.

Het artikel concludeert dat uitleg-instabiliteit en methodische onenigheid moeten worden behandeld als indicatoren van structurele onzekerheid in plaats van als artefacten. Derhalve mogen inzichten afgeleid van op elite getrainde modellen niet direct worden toegepast op universitair of amateurvoetbal zonder rigoureuze validatie van de robuustheid van interpreteerbaarheid. De bevindingen onderstrepen de noodzaak om interpreteerbaarheid te behandelen als een conditioneel, data-afhankelijk eigenschap in plaats van een gegarandeerd kenmerk van machine learning-modellen.