Cross-individual generalizability of machine learning models for ball speed prediction in baseball pitching

Resumo Técnico: Generalizabilidade Cross-Individual de Modelos de Aprendizado de Máquina para Predição de Velocidade da Bola no Arremesso de Beisebol

Problema
Embora o aprendizado de máquina (ML) tenha demonstrado alta precisão preditiva para resultados de desempenho esportivo (ex: velocidade da bola, altura do salto) quando treinado e testado com dados dos mesmos indivíduos, a generalizabilidade cross-individual desses modelos permanece pouco compreendida. Movimentos atléticos envolvem uma coordenação interarticular complexa e não linear com significativa variabilidade interindividual. Consequentemente, modelos que apresentam bom desempenho dentro dos dados de um atleta específico frequentemente falham em se generalizar para indivíduos não vistos. Estudos anteriores frequentemente confundiram os dados de treinamento e teste provenientes dos mesmos atletas ou careceram de uma partição clara de dados, levando a uma possível superestimação da utilidade do modelo em cenários do mundo real. Este estudo aborda essa lacuna avaliando rigorosamente quão bem os modelos de ML treinados em um grupo de arremessadores podem prever a velocidade da bola para novos arremessadores inteiramente inéditos.

Metodologia
O estudo utilizou um conjunto de dados de 50 arremessadores em cinco níveis competitivos (ensino médio, universitário, industrial, independente e profissional). Os dados de movimento foram capturados usando 16 câmeras ópticas (200–500 Hz), e a velocidade da bola foi registrada via TrackMan.

• Pré-processamento de Dados: 15 marcos anatômicos foram rastreados. Os dados foram filtrados, normalizados temporalmente para 101 quadros (abrangendo 1,0s pré-liberação a 0,2s pós-liberação) e espelhados para arremessadores canhotos.
• Arquitetura do Modelo: Duas arquiteturas de base foram avaliadas: uma Rede Neural de Grafo–Unidade Recorrente (GNN-GRU) e um Transformer. Seis configurações de hiperparâmetros foram testadas para cada uma.
• Estratégia de Validação: O método principal de avaliação foi a Validação Cruzada Leave-One-Subject-Out (LOSOCV). Nesta configuração, todos os arremessos de um arremessador serviram como o conjunto de teste, enquanto os dados dos 49 arremessadores restantes formaram o conjunto de treinamento. Isso foi repetido 50 vezes.
• Análise Comparativa:
  1. Dentro do Indivíduo vs. Cross-Individual: Um subconjunto dos dados foi dividido para comparar o desempenho quando o treinamento e o teste ocorrem nos mesmos indivíduos versus em indivíduos diferentes.
  2. Efeitos de Expertise: Os arremessadores foram categorizados em grupos "Intermediário" (ensino médio/universitário) e "Expert" (industrial/independente/profissional) para analisar se o nível de habilidade influenciou a magnitude e a direção do erro de predição.
  3. Ablação Espaciotemporal: O estudo restringiu sistematicamente os dados de entrada a regiões corporais específicas (braço de arremesso, braço de guia, tronco, perna de pivô, perna de guia) e janelas temporais cumulativas para identificar quais características espaciotemporais impulsionam a generalizabilidade.

Principais Resultados

• Declínio de Desempenho: Houve uma queda substancial no desempenho preditivo ao passar da avaliação dentro do indivíduo para a avaliação cross-individual. O coeficiente de determinação ($R^2$) diminuiu de 0,91 (dentro do indivíduo) para 0,38 (cross-individual).
• Seleção do Modelo Base: Entre os candidatos, um modelo Transformer com 4 cabeças de atenção, uma dimensão latente de 64 e uma dimensão feedforward de 128 alcançou o maior $R^2$ cross-individual (0,38) e foi selecionado para análises subsequentes.
• Viés de Expertise: Embora a magnitude do erro absoluto não tenha diferido significativamente entre os grupos expert e intermediário, o erro de predição assinado diferiu ($p < 0,05$). O modelo tendeu a superestimar a velocidade da bola de arremessadores intermediários em comparação aos experts. Isso sugere que, para entradas cinemáticas semelhantes, arremessadores intermediários podem produzir velocidades de saída menores devido a uma menor eficiência de movimento, um fator que o modelo não contabilizou totalmente.
• Fatores Espaciotemporais:
  • Regiões Corporais: O tronco e a perna de pivô demonstraram a maior generalizabilidade cross-individual. Por outro lado, o braço de guia apresentou a menor.
  • Fases Temporais: A perna de pivô exibiu generalizabilidade significativa mesmo durante a fase de iniciação da transferência de peso ($R^2 > 0,25$). A generalizabilidade para o tronco, perna de guia e braço de guia tendeu a aumentar conforme o movimento progredia em direção à liberação da bola, enquanto a perna de pivô e o braço de arremesso mostraram perfis de desempenho em formato de U ao longo do tempo.

Significância e Alegações
Os autores alegam que este estudo ressalta a necessidade crítica da avaliação cross-individual para avaliar com precisão a aplicabilidade prática de ML na ciência do esporte. As descobertas sugerem que:

1. A Generalizabilidade é Limitada, mas Informativa: Embora o poder preditivo caia significamente entre indivíduos, o sinal restante não é aleatório; ele revela consistências biomecânicas.
2. O Nível de Habilidade Importa: Modelos podem estimar sistematicamente o desempenho de forma incorreta com base no nível de habilidade, possivelmente devido a diferenças na eficiência do movimento. Essa divergência poderia ser usada para quantificar habilidades específicas de cada indivíduo.
3. Determinantes Biomecânicos Centrais: O tronco e a perna de pivô parecem ser os preditores mais consistentes da velocidade da bola entre diferentes indivíduos, mesmo em fases iniciais do movimento. Isso se alinha com o entendimento biomecânico de que esses segmentos iniciam a cadeia cinética e são menos variáveis em seu papel funcional em comparação com segmentos distais, como os braços.

O artigo conclui que as aplicações futuras de ML no esporte devem ir além da validação ao nível do indivíduo para compreender os determinantes biomecânicos do desempenho e para evitar a superestimação das capacidades dos modelos em populações diversas do mundo real.