Interpretable Machine Learning for Football Performance Analysis: Evidence of Limited Transferability from Elite Leagues to University Competition

기술 요약: 축구 성과 분석을 위한 해석 가능한 머신러닝

문제 제기
머신러닝은 축구 성과 분석에 필수적이 되었으나, 기존 연구는 주로 예측 정확도를 우선시하며 엘리트 경기에서 학습된 성과 결정 요인이 하위 수준 맥락으로 전이 가능하다는 가정을 암묵적으로 전제합니다. 이 가정은 특히 엘리트 프로 리그에서 대학 수준 경기로 이어지는 '도메인 이동 (domain shift)'과 관련하여 대부분 검증되지 않은 채 남아 있습니다. 대학 축구는 제한된 훈련 시간, 이질적인 기술 수준, 가변적인 팀 구성 등 고유한 조건 하에서 운영됩니다. 본 연구가 다루는 핵심 문제는 이러한 상이한 경쟁 수준 간에 적용될 때 성과 지표와 경기 결과 간의 구조적 관계와 머신러닝 모델의 해석 가능성이 여전히 견고한지 여부입니다. 구체적으로, 본 연구는 엘리트 데이터에서 도출된 설명이 대학 데이터에 적용될 때 신뢰할 수 있는지, 아니면 이러한 설명의 불안정성이 대상 도메인의 진정한 구조적 모호성을 반영하는지 조사합니다.

방법론
본 연구는 모델을 엘리트 데이터로만 훈련시키고 추론 및 해석 가능성 평가 목적으로만 대학 데이터에 적용하는 '엘리트에서 대학으로 (elite-to-university)' 전이 프레임워크를 사용합니다.

• 데이터 소스:
  • 소스 도메인 (엘리트): 프리미어리그, 라리가, 세리에 A, 분데스리가, 리그 1 등 유럽 5 대 리그의 경기 이벤트 데이터 (2022/23~2024/25 시즌 3 개). 데이터는 WhoScored 의 soccerdata 파이썬 패키지를 통해 검색되었으며 Opta 스타일 정의에 맞춰 정렬되었습니다.
  • 타겟 도메인 (대학): 대만 2 부 리그인 국립칭화대학교 (NTHU) 축구팀의 공식 경기 17 개. 이벤트는 OPTA 가이드라인에 따라 3 명의 공인 심판이 수동으로 주석 달기를 수행했으며, 최종 집계는 다수결 합의로 결정되었습니다.
• 특성 표현: 19 가지 이벤트 카테고리 (예: 슈팅, 패스, 태클, 파울 등) 의 고정된 세트를 사용했습니다. 예측 목표는 골 차이 ($y = \text{Goal} - \text{Enemy Goal}$) 로 정의되어 회귀 작업으로 구성되었습니다.
• 모델: 초기에 6 가지 머신러닝 알고리즘 (의사결정나무, MLP, 랜덤 포레스트, SVR, XGBoost, TabNet) 을 평가했습니다. 예측 안정성과 무작위 시드 간 낮은 분산을 기준으로 **랜덤 포레스트 (RF)**와 **멀티레이어 퍼셉트론 (MLP)**이 후속 모든 해석 가능성 분석에 선택되었습니다.
• 해석 가능성 방법: 특성 중요도를 평가하기 위해 개념적으로 구별되는 두 가지 방법이 사용되었습니다:
  1. SHAP (SHapley Additive exPlanations): 예측에 대한 특성의 한계 기여도를 추정하는 데 사용.
  2. 반사실 영향 점수 (Counterfactual Impact Score, CIS): 엘리트 훈련 통계에 기반한 통제된 방향성 단일 특성 교란 하의 예측 변화를 측정.
• 실험 설계: 다음을 평가하기 위해 5 가지 실험이 수행되었습니다:
  1. 엘리트 데이터에 대한 예측 타당성.
  2. 교차 도메인 특성 중요도 비교 (엘리트 vs NTHU).
  3. 시드별 순위 재현성.
  4. 도메인 간 구조적 일치 (리그와 대학 간 순위 상관관계).
  5. 도메인 내 설명 방법 간 일치 (SHAP vs CIS).

주요 결과

1. 구조적 이질성: 성과 결정 요인은 엘리트 리그 간에는 안정적이고 공유된 위계를 보이지만, 대학 축구에 적용될 때 상당한 재배열을 겪습니다. 예를 들어, '터치 (Touches)'와 '세이브 (Saves)'는 엘리트 도메인에 비해 대학 도메인에서 순위 중요도가 크게 변화했습니다.
2. 설명 안정성: 엘리트 도메인에서는 특성 중요도 순위가 무작위 시드 간에 매우 재현 가능했습니다 (예: RF 스피어만 상관관계 $\mu = 0.990$). 반면, 대학 도메인에서는 특히 MLP 모델 ($\mu = 0.231$) 의 경우 안정성이 감소하여 설명 구조가 대상 도메인의 훈련 무작위성에 민감함을 나타냈습니다.
3. 교차 도메인 일치: 엘리트 리그 간에는 강한 구조적 일치 (높은 스피어만 상관관계) 가 관찰되었습니다. 그러나 엘리트 리그와 NTHU 대학 축구 간의 상관관계는 현저히 낮아 구조적 정렬이 부재함을 확인했습니다.
4. 방법 불변성: 엘리트 축구에서는 SHAP 와 CIS 순위가 높은 일치를 보였습니다 (RF 의 경우 $\rho \approx 0.93$). 대학 도메인에서는 이 일치가 크게 감소하여 ($\rho \approx 0.42$ for RF) 통계적 일관성이 부족했으며, 이는 대학 축구의 특성 중요도 순위가 설명 방법 선택에 크게 의존함을 시사합니다.

주요 기여

1. 비전이성 (Non-Transferability) 에 대한 경험적 증거: 엘리트 경기에서 학습된 성과 결정 요인이 대학 수준 축구에 적용될 때 구조적 위계를 유지하지 못한다는 증거를 제공하여, 수준 간 전이 가능성 가정에 도전합니다.
2. 도메인 의존적 해석 가능성: 해석 가능성은 모델의 고유한 속성이 아니라 도메인 의존적 특성임을 입증합니다. 엘리트 맥락에서는 견고하지만 도메인 이동 하에서는 불안정하고 방법론에 민감해집니다.
3. 불안정성 재정의: 본 논문은 설명의 불안정성을 단순한 방법론적 노이즈나 모델 실패가 아닌, 대상 도메인의 구조적 모호성을 나타내는 진단 신호로 보는 개념적 전환을 제안합니다. 전술적 위계가 아직 잘 정립되지 않은 맥락 (대학 축구 등) 에서는 안정적인 설명 구조의 부재 자체가 의미 있는 발견임을 시사합니다.

의의 및 주장
저자들은 이 작업이 축구 분석의 초점을 순전히 예측 성능에서 해석 가능성의 견고성에 대한 경험적 평가로 전환한다고 주장합니다. 본 연구는 모델 통찰력을 비엘리트 맥락의 실행 가능한 전략으로 전환하기 전에, 설명이 안정적이고 전이 가능하며 방법론에 불변하는지 평가해야 한다고 주장합니다.

본 논문은 설명의 불안정성과 방법 간 불일치를 아티팩트가 아닌 구조적 불확실성의 지표로 취급해야 한다고 결론 내립니다. 따라서 엘리트 훈련 모델에서 도출된 통찰력은 해석 가능성의 견고성에 대한 엄격한 검증 없이 대학 또는 아마추어 환경에 직접 적용되어서는 안 됩니다. 이 발견들은 해석 가능성을 머신러닝 모델의 보장된 기능이 아닌 조건부이고 데이터 의존적인 속성으로 취급할 필요성을 강조합니다.