Interpretable Machine Learning for Football Performance Analysis: Evidence of Limited Transferability from Elite Leagues to University Competition

Resumo Técnico: Aprendizado de Máquina Interpretável para Análise de Desempenho no Futebol

Declaração do Problema
O aprendizado de máquina tornou-se integral à análise de desempenho no futebol, contudo, a pesquisa existente prioriza predominantemente a precisão preditiva, assumindo implicitamente que os determinantes de desempenho aprendidos em competições de elite são transferíveis para contextos de nível inferior. Essa suposição permanece largely inexplorada, particularmente no que diz respeito à "mudança de domínio" das ligas profissionais de elite para competições de nível universitário. O futebol universitário opera sob condições distintas, incluindo tempo limitado de treinamento, níveis de habilidade heterogêneos e composições de equipe variáveis. O problema central abordado é se as relações estruturais entre indicadores de desempenho e resultados de partidas, juntamente com a interpretabilidade dos modelos de aprendizado de máquina, permanecem robustas quando aplicadas através desses níveis competitivos divergentes. Especificamente, o estudo investiga se as explicações derivadas de dados de elite são confiáveis quando implantadas em dados universitários, ou se a instabilidade nessas explicações reflete uma ambiguidade estrutural genuína no domínio alvo.

Metodologia
O estudo emprega um framework de transferência "de elite para universidade", onde os modelos são treinados exclusivamente em dados de elite e aplicados a dados universitários apenas para inferência e avaliação de interpretabilidade.

• Fontes de Dados:
  • Domínio Fonte (Elite): Dados de eventos de partidas das cinco principais ligas europeias (Premier League, La Liga, Serie A, Bundesliga, Ligue 1) cobrindo três temporadas (2022/23–2024/25). Os dados foram recuperados via o pacote Python soccerdata do WhoScored, alinhados às definições no estilo Opta.
  • Domínio Alvo (Universidade): 17 partidas oficiais da equipe de futebol da Universidade Nacional Tsing Hua (NTHU) (segunda divisão de Taiwan). Os eventos foram anotados manualmente por três árbitros certificados seguindo as diretrizes da OPTA, com contagens finais determinadas por acordo majoritário.
• Representação de Características: Um conjunto fixo de 19 categorias de eventos (por exemplo, chutes, passes, entradas, faltas) foi utilizado. O alvo de previsão foi definido como a diferença de gols ($y = \text{Gols} - \text{Gols do Inimigo}$), formulado como uma tarefa de regressão.
• Modelos: Seis algoritmos de aprendizado de máquina foram inicialmente avaliados (Árvore de Decisão, MLP, Floresta Aleatória, SVR, XGBoost, TabNet). Com base na estabilidade preditiva e baixa variância através de sementes aleatórias, Floresta Aleatória (RF) e Perceptron Multicamadas (MLP) foram selecionados para todas as análises de interpretabilidade subsequentes.
• Métodos de Interpretabilidade: Dois métodos conceitualmente distintos foram utilizados para avaliar a importância das características:
  1. SHAP (SHapley Additive exPlanations): Utilizado para estimar contribuições marginais das características às previsões.
  2. Pontuação de Impacto Contrafactual (CIS): Mediu mudanças na previsão sob perturbações controladas, direcionais e de característica única, baseadas nas estatísticas de treinamento de elite.
• Desenho Experimental: Cinco experimentos foram conduzidos para avaliar:
  1. Validade preditiva em dados de elite.
  2. Comparação de importância de características entre domínios (Elite vs. NTHU).
  3. Reprodutibilidade das classificações por semente.
  4. Acordo estrutural entre domínios (correlação das classificações entre ligas e universidade).
  5. Acordo entre métodos de explicação (SHAP vs. CIS) dentro dos domínios.

Principais Resultados

1. Divergência Estrutural: Os determinantes de desempenho exibem uma hierarquia compartilhada e estável entre ligas de elite, mas sofrem uma reordenação substancial quando aplicados ao futebol universitário. Por exemplo, "Toques" e "Defesas" deslocaram-se significativamente na importância do ranking no domínio universitário em comparação com o domínio de elite.
2. Estabilidade da Explicação: No domínio de elite, os rankings de importância das características foram altamente reprodutíveis através de sementes aleatórias (por exemplo, correlação de Spearman do RF $\mu = 0,990$). Em contraste, o domínio universitário mostrou estabilidade reduzida, particularmente para o modelo MLP ($\mu = 0,231$), indicando que as estruturas de explicação são sensíveis à aleatoriedade do treinamento no domínio alvo.
3. Acordo entre Domínios: Um forte acordo estrutural (altas correlações de Spearman) foi observado entre as ligas de elite. No entanto, as correlações entre as ligas de elite e o futebol universitário da NTHU foram substancialmente menores, confirhando uma falta de alinhamento estrutural.
4. Invariância do Método: No futebol de elite, os rankings do SHAP e do CIS mostraram alto acordo ($\rho \approx 0,93$ para RF). No domínio universitário, esse acordo caiu significativamente ($\rho \approx 0,42$ para RF) e careceu de consistência estatística, sugerindo que os rankings de importância das características no futebol universitário são altamente dependentes da escolha do método de explicação.

Principais Contribuições

1. Evidência Empírica de Não Transferibilidade: O estudo fornece evidências de que os determinantes de desempenho aprendidos em competições de elite não preservam sua hierarquia estrutural quando aplicados ao futebol de nível universitário, desafiando a suposição de transferibilidade entre níveis.
2. Interpretabilidade Dependente do Domínio: Demonstra que a interpretabilidade não é uma propriedade inerente de um modelo, mas uma característica dependente do domínio. Enquanto robusta em contextos de elite, a interpretabilidade torna-se instável e sensível ao método sob mudança de domínio.
3. Reenquadramento da Instabilidade: O artigo propõe uma mudança conceitual onde a instabilidade da explicação não é vista meramente como ruído metodológico ou falha do modelo, mas como um sinal diagnóstico de ambiguidade estrutural no domínio alvo. Sugere que, em contextos onde hierarquias táticas ainda não estão bem estabelecidas (como no futebol universitário), a falta de uma estrutura de explicação estável é, em si mesma, uma descoberta significativa.

Significado e Alegações
Os autores afirmam que este trabalho desloca o foco da análise de futebol do desempenho puramente preditivo para a avaliação empírica da robustez da interpretabilidade. O estudo argumenta que, antes de traduzir insights de modelos em estratégias acionáveis para contextos não de elite, os praticantes devem avaliar se as explicações são estáveis, transferíveis e invariantes ao método.

O artigo conclui que a instabilidade da explicação e o desacordo entre métodos devem ser tratados como indicadores de incerteza estrutural, e não como artefatos. Consequentemente, insights derivados de modelos treinados em elite não devem ser aplicados diretamente a contextos universitários ou amadores sem uma validação rigorosa da robustez da interpretabilidade. As descobertas sublinham a necessidade de tratar a interpretabilidade como uma propriedade condicional e dependente dos dados, e não como uma característica garantida dos modelos de aprendizado de máquina.