Interpretable Machine Learning for Football Performance Analysis: Evidence of Limited Transferability from Elite Leagues to University Competition

Sintesi Tecnica: Apprendimento Automatico Interpretabile per l'Analisi delle Prestazioni nel Calcio

Enunciato del Problema
L'apprendimento automatico è diventato parte integrante dell'analisi delle prestazioni nel calcio, tuttavia la ricerca esistente privilegia prevalentemente l'accuratezza predittiva, assumendo implicitamente che i determinanti delle prestazioni appresi dalle competizioni d'élite siano trasferibili a contesti di livello inferiore. Questa assunzione rimane largamente inesaminata, in particolare per quanto riguarda il "cambio di dominio" dalle leghe professionistiche d'élite alle competizioni di livello universitario. Il calcio universitario opera in condizioni distinte, inclusi tempi di allenamento limitati, livelli di abilità eterogenei e composizioni di squadra variabili. Il problema centrale affrontato è se le relazioni strutturali tra indicatori di prestazione e risultati delle partite, insieme all'interpretabilità dei modelli di apprendimento automatico, rimangano robuste quando applicate attraverso questi livelli competitivi divergenti. Nello specifico, lo studio indaga se le spiegazioni derivate dai dati d'élite siano affidabili quando implementate su dati universitari, o se l'instabilità in queste spiegazioni rifletta un'ambiguità strutturale genuina nel dominio target.

Metodologia
Lo studio impiega un framework di trasferimento "dall'élite all'università" in cui i modelli sono addestrati esclusivamente su dati d'élite e applicati ai dati universitari esclusivamente per l'inferenza e la valutazione dell'interpretabilità.

• Fonti dei Dati:
  • Dominio Sorgente (Elite): Dati sugli eventi di partita dalle cinque principali leghe europee (Premier League, La Liga, Serie A, Bundesliga, Ligue 1) relativi a tre stagioni (2022/23–2024/25). I dati sono stati recuperati tramite il pacchetto Python soccerdata da WhoScored, allineati alle definizioni in stile Opta.
  • Dominio Target (Università): 17 partite ufficiali della squadra di calcio della National Tsing Hua University (NTHU) (seconda divisione di Taiwan). Gli eventi sono stati annotati manualmente da tre arbitri certificati seguendo le linee guida OPTA, con i conteggi finali determinati dal consenso maggioritario.
• Rappresentazione delle Caratteristiche: È stato utilizzato un set fisso di 19 categorie di eventi (ad esempio, tiri, passaggi, tackle, falli). L'obiettivo della previsione è stato definito come la differenza di reti ($y = \text{Goal} - \text{Goal Avversario}$), formulata come compito di regressione.
• Modelli: Sei algoritmi di apprendimento automatico sono stati inizialmente valutati (Albero Decisionale, MLP, Random Forest, SVR, XGBoost, TabNet). Sulla base della stabilità predittiva e della bassa varianza attraverso i semi casuali, Random Forest (RF) e Multilayer Perceptron (MLP) sono stati selezionati per tutte le successive analisi di interpretabilità.
• Metodi di Interpretabilità: Due metodi concettualmente distinti sono stati utilizzati per valutare l'importanza delle caratteristiche:
  1. SHAP (SHapley Additive exPlanations): Utilizzato per stimare i contributi marginali delle caratteristiche alle previsioni.
  2. Counterfactual Impact Score (CIS): Misura le variazioni delle previsioni sotto perturbazioni controllate, direzionali e a singola caratteristica basate sulle statistiche di addestramento d'élite.
• Disegno Sperimentale: Sono stati condotti cinque esperimenti per valutare:
  1. Validità predittiva sui dati d'élite.
  2. Confronto dell'importanza delle caratteristiche tra domini (Elite vs. NTHU).
  3. Riproducibilità delle classifiche per seme.
  4. Accordo strutturale tra domini (correlazione delle classifiche tra leghe e università).
  5. Accordo tra metodi di spiegazione (SHAP vs. CIS) all'interno dei domini.

Risultati Chiave

1. Divergenza Strutturale: I determinanti delle prestazioni mostrano una gerarchia condivisa e stabile tra le leghe d'élite, ma subiscono un riordinamento sostanziale quando applicati al calcio universitario. Ad esempio, "Tocchi" e "Parate" hanno subito uno spostamento significativo nella gerarchia di importanza nel dominio universitario rispetto al dominio d'élite.
2. Stabilità della Spiegazione: Nel dominio d'élite, le classifiche di importanza delle caratteristiche sono state altamente riproducibili attraverso i semi casuali (ad esempio, RF correlazione di Spearman $\mu = 0.990$). Al contrario, il dominio universitario ha mostrato una stabilità ridotta, in particolare per il modello MLP ($\mu = 0.231$), indicando che le strutture di spiegazione sono sensibili alla casualità dell'addestramento nel dominio target.
3. Accordo tra Domini: È stato osservato un forte accordo strutturale (alte correlazioni di Spearman) tra le leghe d'élite. Tuttavia, le correlazioni tra le leghe d'élite e il calcio universitario NTHU sono state sostanzialmente inferiori, confermando una mancanza di allineamento strutturale.
4. Invarianza del Metodo: Nel calcio d'élite, le classifiche SHAP e CIS hanno mostrato un alto accordo ($\rho \approx 0.93$ per RF). Nel dominio universitario, questo accordo è diminuito significativamente ($\rho \approx 0.42$ per RF) e ha mostrato una mancanza di coerenza statistica, suggerendo che le classifiche di importanza delle caratteristiche nel calcio universitario dipendono fortemente dalla scelta del metodo di spiegazione.

Contributi Chiave

1. Evidenza Empirica di Non-Trasferibilità: Lo studio fornisce prove che i determinanti delle prestazioni appresi dalle competizioni d'élite non preservano la loro gerarchia strutturale quando applicati al calcio di livello universitario, sfidando l'assunzione di trasferibilità tra livelli.
2. Interpretabilità Dipendente dal Dominio: Dimostra che l'interpretabilità non è una proprietà intrinseca di un modello, ma una caratteristica dipendente dal dominio. Mentre è robusta nei contesti d'élite, l'interpretabilità diventa instabile e sensibile al metodo sotto cambio di dominio.
3. Riformulazione dell'Instabilità: Il documento propone un cambiamento concettuale in cui l'instabilità della spiegazione non è vista meramente come rumore metodologico o fallimento del modello, ma come un segnale diagnostico di ambiguità strutturale nel dominio target. Suggerisce che in contesti dove le gerarchie tattiche non sono ancora ben stabilite (come nel calcio universitario), la mancanza di una struttura di spiegazione stabile è di per sé un risultato significativo.

Significato e Affermazioni
Gli autori affermano che questo lavoro sposta il focus dell'analisi calcistica dalla pura performance predittiva alla valutazione empirica della robustezza dell'interpretabilità. Lo studio sostiene che, prima di tradurre le intuizioni del modello in strategie attuabili per contesti non d'élite, i praticanti devono valutare se le spiegazioni sono stabili, trasferibili e invariate rispetto al metodo.

Il documento conclude che l'instabilità della spiegazione e il disaccordo tra metodi dovrebbero essere trattati come indicatori di incertezza strutturale piuttosto che come artefatti. Di conseguenza, le intuizioni derivate da modelli addestrati sull'élite non dovrebbero essere applicate direttamente a contesti universitari o amatoriali senza una rigorosa validazione della robustezza dell'interpretabilità. I risultati sottolineano la necessità di trattare l'interpretabilità come una proprietà condizionata e dipendente dai dati, piuttosto che come una caratteristica garantita dei modelli di apprendimento automatico.