NCAA Bracket Prediction Using Machine Learning and Combinatorial Fusion Analysis

이 논문은 랭크-스코어 특성 함수와 인지 다양성을 활용한 결합적 융합 분석 (CFA) 을 통해 2024 년 NCAA 토너먼트 결과 예측 정확도를 기존 최상위 시스템보다 높은 74.60% 로 끌어올린 새로운 접근법을 제시합니다.

핵심

🏀 1. 문제: 농구 경기 예측은 왜 어려울까?

농구 경기, 특히 '마치 매드니스'는 예측하기 정말 어렵습니다.

• 비유: 마치 날씨 예보를 하는 것과 비슷해요. 비가 올 확률이 70% 라도, 갑자기 돌풍이 불면 비가 안 올 수도 있죠.
• 이유: 선수 부상, 팀 분위기, 심판 판정, 심지어 운까지 경기 결과에 영향을 미칩니다. 기존에 컴퓨터가 예측하는 방식은 주로 "A 팀이 이길 확률이 60% 입니다"라고 숫자 (점수) 만을 계산하는 데 그쳤습니다.

🧩 2. 해결책: "조합적 융합 분석 (CFA)"이라는 새로운 레시피

저자들은 기존 방식에 만족하지 않고, 여러 명의 전문가 (AI 모델) 들의 의견을 모아서 하나의 결론을 내리는 방법을 썼습니다. 이를 **CFA(Combinatorial Fusion Analysis)**라고 부르는데, 쉽게 말해 **"요리사 5 명이 각자 만든 요리를 섞어 새로운 메뉴를 만드는 과정"**입니다.

① 5 명의 요리사 (기초 모델 5 개)

저자들은 먼저 5 가지 다른 AI 모델을 훈련시켰습니다. 각 모델은 농구 데이터를 보는 눈이 조금씩 다릅니다.

1. 로지스틱 회귀: 논리적이고 계산적인 요리사.
2. SVM(서포트 벡터 머신): 선을 그어 구분하는 것을 좋아하는 요리사.
3. 랜덤 포레스트: 수많은 나무 (의사결정) 를 만들어 보는 요리사.
4. XGBoost: 이전 실수를 바로잡으며 성장하는 요리사.
5. CNN(합성곱 신경망): 이미지나 복잡한 패턴을 보는 요리사.

② 요리사의 특징 파악 (인지 다양성)

여기서 중요한 건, 이 5 명이 서로 얼마나 다른지를 보는 것입니다.

• 비유: 만약 5 명의 요리사 모두 "소금만 넣으면 맛있어"라고 말한다면, 그들을 모으는 건 의미가 없죠. 하지만 한 명은 "매운맛", 한 명은 "단맛", 한 명은 "신맛"을 강조한다면? 이들을 섞으면 훨씬 풍부한 맛이 나겠죠.
• CFA 의 핵심: 이 5 모델이 서로 얼마나 다르게 (인지적 다양성) 생각하는지를 측정해서, 서로 다른 의견을 가진 모델들을 골라냅니다.

③ 두 가지 섞는 방법 (점수 vs 순위)

이제 이 5 명의 의견을 어떻게 합칠까요? 두 가지 방법이 있습니다.

1. 점수 조합 (Score Combination): "A 팀이 이길 확률이 70% 입니다"라는 숫자를 평균내서 합칩니다.
2. 순위 조합 (Rank Combination): "A 팀이 1 등, B 팀이 2 등"이라는 순위를 합칩니다.
   • 중요한 발견: 이 논문은 순위를 합치는 방법이 더 좋다는 것을 발견했습니다.
   • 비유: "A 팀이 70% 확률로 이길 거야"라고 숫자로 말하기보다, "A 팀이 B 팀보다 더 잘할 거야"라고 순위로 비교하는 것이 실제 경기 결과 (승/패) 를 예측하는 데 더 정확했습니다.

🏆 3. 결과: 기존 전문가들을 이겼다!

저자들은 지난 10 년간의 데이터를 가지고 이 방법을 테스트해 보았습니다.

• 실험: 2022 년, 2021 년 등 과거 데이터를 이용해 어떤 모델 조합이 가장 잘 작동하는지 찾아냈습니다. (결국 로지스틱 회귀, SVM, CNN 이 섞인 조합이 가장 잘 작동했습니다.)
• 2024 년 예측: 이 최적의 조합으로 2024 년 토너먼트를 예측했습니다.
• 성적:
  • 기존 10 개 유명 순위 시스템 (NET Rankings 등) 의 최고 점수: 73.02%
  • 이 논문의 새로운 방법 (순위 조합): 74.60%
  • 결과: 기존 최고의 전문가들보다 1.58% 더 정확하게 예측했습니다.

💡 4. 핵심 교훈 (한 줄 요약)

"하나의 천재보다, 서로 다른 생각을 가진 5 명의 평범한 전문가들이 모여 서로의 의견을 섞으면 (특히 '순위'로 비교할 때), 훨씬 더 똑똑한 예측이 가능하다."

이 연구는 단순히 농구 경기 예측을 넘어, 여러 AI 모델을 어떻게 섞어야 가장 똑똑한 결과가 나오는지에 대한 새로운 통찰을 제공했습니다. 마치 다양한 재료를 섞어 최고의 요리를 만드는 것처럼, 데이터 과학에서도 '다양성'이 핵심 열쇠임을 보여준 흥미로운 연구입니다.

기술 요약

논문 요약: 기계 학습과 결합적 융합 분석 (CFA) 을 활용한 NCAA 토너먼트 예측

1. 문제 정의 (Problem)

• 배경: NCAA 남자 농구 챔피언십 (마드리드 매드니스) 은 매년 68 개 팀이 참가하는 단일 탈락제 토너먼트로, 예측의 불확실성과 '언더독'의 활약 등으로 인해 매우 예측하기 어렵습니다.
• 기존 접근법의 한계: 기존 스포츠 예측 연구는 주로 분류 (Classification) 또는 회귀 (Regression) 문제로 접근하며, 시드 (Seed) 순위, 정규 시즌 승률, 베팅 오즈 등 다양한 변수를 활용합니다. 그러나 기계 학습 모델조차 선수 부상이나 팀 화학, 심리적 요인 등 예측 불가능한 변수로 인해 한계를 보입니다.
• 연구 목표: 기존 단일 모델이나 단순 앙상블의 한계를 극복하고, **결합적 융합 분석 (Combinatorial Fusion Analysis, CFA)**을 도입하여 랭킹 (Rank) 과 점수 (Score) 정보를 모두 활용하는 새로운 패러다임을 통해 2024 년 NCAA 토너먼트 결과를 더 정확하게 예측하는 것입니다.

2. 방법론 (Methodology)

가. 데이터 전처리 및 특징 선택 (Data & Feature Selection)

• 데이터 소스: 2001 년부터 2022 년까지의 Kaggle 'March Machine Learning Mania' 데이터와 KenPom 웹사이트의 팀 통계를 활용했습니다.
• 특징 공학: 두 팀 간의 통계적 차이 (차분 변수) 를 생성하여 이진 분류 (승/패) 문제로 변환했습니다.
• 특징 선택: 랜덤 포레스트 (Random Forest) 를 기반으로 한 RFECV (Recursive Feature Elimination with Cross-Validation) 알고리즘을 사용하여 초기 44 개 특징 중 최적의 26 개 특징 (공격 효율, 수비 효율, 일정 강도, 운 요소 등) 을 선정했습니다.

나. 베이스 모델 (Base Models)
CFA 프레임워크에 입력될 5 개의 이질적인 기계 학습 모델을 선정 및 학습시켰습니다:

1. 로지스틱 회귀 (Logistic Regression): L1/L2 정규화 적용.
2. 서포트 벡터 머신 (SVM): 커널 함수 최적화.
3. 랜덤 포레스트 (Random Forest): 결정 트리 앙상블.
4. XGBoost: 경사 부스팅 기반.
5. 합성곱 신경망 (CNN): 딥러닝 모델 (Adam 옵티마이저, Cross-entropy 손실 함수 사용).

다. 결합적 융합 분석 (Combinatorial Fusion Analysis, CFA)
본 논문의 핵심 방법론으로, 단일 모델이 아닌 다중 스코링 시스템 (모델) 을 결합하는 새로운 패러다임입니다.

• 핵심 개념:
  • 스코어 - 랭크 특성 함수 (RSC, Rank-Score Characteristic): 점수 함수와 랭크 함수 간의 관계를 정의하며, 데이터 항목에 독립적인 함수를 생성합니다.
  • 인지적 다양성 (Cognitive Diversity, CD): 두 모델 간의 RSC 함수 거리를 측정하여 모델 간의 다양성을 정량화합니다. 이는 데이터에 의존하지 않고 모델의 본질적 차이를 파악합니다.
• 결합 전략:
  • 스코어 결합 (Score Combination): 모델들의 예측 확률 (점수) 을 평균화하거나 가중합합니다.
  • 랭킹 결합 (Rank Combination): 모델들의 예측 순위 (Rank) 를 결합합니다.
  • 가중치 방식: 평균 (AC), 성능 기반 가중 (WCP), **인지적 다양성 기반 가중 (WCDS)**을 적용합니다. 본 연구에서는 계산 효율성을 위해 WCDS를 주된 가중치로 사용했습니다.
• 모델 선정: 과거 10 년간의 데이터를 바탕으로 다양한 조합을 테스트하여, 가장 일관되게 성능 향상을 보인 **A (로지스틱 회귀) + B (SVM) + E (CNN)**의 3 모델 앙상블을 최종 모델로 선정했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 예측 패러다임 제시: 스포츠 예측을 단순 분류 문제가 아닌, 랭킹 (Ranking) 관점에서 접근하여 랭킹 결합 기법을 적용했습니다.
2. CFA 프레임워크의 스포츠 예측 적용: 기존에 바이오인포매틱스나 정보 검색 분야에서 주로 쓰이던 CFA 와 인지적 다양성 (CD) 개념을 스포츠 경기 예측에 성공적으로 도입했습니다.
3. 모델 다양성의 정량화: 상관관계 기반의 전통적 다양성 측정을 넘어, RSC 함수 기반의 인지적 다양성을 활용하여 앙상블 모델의 최적 조합을 찾았습니다.
4. 실증적 검증: 2024 년 실제 경기 전 (미래 데이터) 에 대한 예측을 위해 과거 10 년간의 패턴을 분석하여 최적 모델을 도출하고, 이를 2024 년 데이터에 적용했습니다.

4. 실험 결과 (Results)

• 평가 지표: 2024 년 토너먼트 결과에 대한 정확도 (Accuracy) 를 기준으로 평가했습니다.
• 성능 비교:
  • 최적 모델 (랭킹 결합): ABE 앙상블에 랭킹 결합 기법을 적용한 모델은 **74.60%**의 정확도를 기록했습니다.
  • 기존 시스템 대비: 이 결과는 10 개 주요 공개 랭킹 시스템 (NET Rankings, Logan 등) 중 가장 높은 정확도인 **73.02%**보다 1.58%p 높은 성능을 보였습니다.
  • 스코어 결합: 스코어 결합을 적용한 모델은 71.43% 의 정확도를 보였으며, 이는 10 개 시스템 중 절반 이상을 상회하는 수준이었습니다.
• 시사점: 개별 모델이나 단순 평균 앙상블보다 CFA 기반의 랭킹 결합이 예측 정밀도를 유의미하게 향상시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 기계 학습 모델의 예측력을 높이기 위해 '점수'뿐만 아니라 '순위' 정보를 결합하고, 모델 간의 '인지적 다양성'을 가중치로 활용하는 새로운 앙상블 기법의 유효성을 입증했습니다.
• 실용적 가치: 단순한 통계적 모델을 넘어, 다양한 알고리즘의 강점을 결합하여 스포츠 경기의 불확실성을 줄이고 예측 신뢰도를 높일 수 있음을 보여주었습니다.
• 향후 과제: 본 연구에서는 다양성 기반 가중치 (WCDS) 만을 사용했으나, 향후 성능 기반 가중치와 평균 가중치를 모두 포함한 3 가지 가중치 방식을 모두 적용하여 앙상블 성능을 further 향상시키고, 다른 앙상블 기법들과의 비교 연구를 진행할 계획입니다.

---

핵심 요약: 이 논문은 5 개의 이질적인 기계 학습 모델을 CFA(결합적 융합 분석) 프레임워크로 결합하고, 모델 간의 '인지적 다양성'을 기반으로 가중치를 부여하여 랭킹을 예측함으로써, 기존 최고 수준의 공개 랭킹 시스템보다 높은 정확도 (74.60%) 를 달성한 사례입니다.