NCAA Bracket Prediction Using Machine Learning and Combinatorial Fusion Analysis

Dit paper introduceert een nieuwe aanpak voor het voorspellen van NCAA-toernooien door Combinatorial Fusion Analysis te gebruiken om teamranglijsten te genereren, wat resulteert in een nauwkeurigheid van 74,60% die hoger is dan die van de beste bestaande publieke rangschikkingssystemen.

De kern

De "March Madness" Voorspellers: Hoe een Team van Slimme Computers de NCAA-toernooien Kraken

Stel je voor dat je naar een groot toernooi kijkt, zoals de NCAA-basketbalcompetitie in de VS (bekend als "March Madness"). Het is een chaotisch, spannend gebeuren waar 68 teams het tegen elkaar opnemen. Iedereen probeert te raden wie er wint, maar het is een ware gok. Soms wint de grote favoriet, soms wint de kleine "Cinderella" (de underdog) en verbaast iedereen.

In dit artikel vertellen onderzoekers van de Fordham University hoe ze een nieuwe, slimme manier hebben bedacht om deze wedstrijden te voorspellen. Ze gebruiken geen geluk, maar een combinatie van kunstmatige intelligentie en een slimme wiskundige truc.

Hier is hoe het werkt, vertaald naar simpele taal:

1. Het Probleem: Te veel slimme koppen, te weinig overeenstemming

Stel je voor dat je een groep vrienden vraagt om te voorspellen wie er wint.

• Vriend A (een statistiek-nerd) kijkt alleen naar de scores van vorig jaar.
• Vriend B (een tacticus) kijkt naar hoe goed de verdediging is.
• Vriend C (een AI-expert) gebruikt een complex computerprogramma.

Elke vriend heeft een eigen mening. Soms hebben ze gelijk, soms niet. De onderzoekers hebben vijf verschillende "slimme vrienden" (computermodellen) gebouwd:

1. Logistische regressie: Een simpele, logische denker.
2. SVM: Een denker die zoekt naar de beste lijn om winnaars van verliezers te scheiden.
3. Random Forest: Een bos van beslissingsbomen die samenwerken.
4. XGBoost: Een snelle leerling die uit zijn fouten leert.
5. CNN: Een diep leermodel dat vaak wordt gebruikt voor beeldherkenning, maar hier slimme patronen in de data ziet.

2. De Oplossing: Combinatorial Fusion Analysis (CFA)

In plaats van te kiezen wie de beste vriend is, zeggen de onderzoekers: "Laten we ze allemaal samenwerken!"

Maar hoe combineer je hun meningen? Je kunt niet zomaar hun antwoorden optellen. Hier komt de Combinatorial Fusion Analysis (CFA) om de hoek kijken.

De Analogie van de "Rank-Score" (Rangschikking):
Stel je voor dat elke vriend een lijstje maakt van de teams, van "meest waarschijnlijk winnaar" tot "minst waarschijnlijk".

• Vriend A zet Team X op plek 1.
• Vriend B zet Team X op plek 5.
• Vriend C zet Team X op plek 2.

CFA kijkt niet alleen naar wat ze zeggen, maar ook naar hoe ze denken. Ze gebruiken een concept genaamd Cognitieve Diversiteit.

• Cognitieve Diversiteit: Dit is als het kijken naar hoe verschillend de vrienden zijn. Als Vriend A en Vriend B precies hetzelfde denken, is hun samenwerking saai en niet nuttig. Maar als Vriend A heel anders denkt dan Vriend B, vullen ze elkaar aan. CFA zoekt naar de groep vrienden die het verschillendst denken, maar wel allemaal redelijk goed zijn.

3. De Truc: Rangschikking vs. Punten

De onderzoekers doen twee dingen tegelijk:

1. Punten combineren: Ze nemen de exacte winstkans (bijv. 85%) van elk model en middelen die.
2. Rangschikkingen combineren: Ze kijken alleen naar de volgorde (1e, 2e, 3e...).

Dit is belangrijk omdat het soms niet uitmaakt hoe zeker een model is, maar alleen wie het als beste ziet. Door beide methoden te gebruiken, krijgen ze een super-voorspelling.

4. Het Resultaat: De "Super-Team"

De onderzoekers hebben gekeken naar de data van de afgelopen 10 jaar. Ze hebben gekeken welke combinatie van vrienden het vaakst de beste voorspelling deed.
Ze ontdekten dat een specifieke groep van drie modellen (Logistieke regressie + SVM + CNN) samen het beste werk leverde.

Toen ze dit "Super-Team" gebruikten om de NCAA-toernooien van 2024 te voorspellen, gebeurde er iets opvallends:

• De beste publieke voorspellers (bekende websites en systemen) haalden ongeveer 73% correcte voorspellingen.
• Hun nieuwe "Super-Team" haalde 74,6%.

Dat lijkt misschien weinig (maar 1,6%), maar in de wereld van sportvoorspelling is dat een enorm verschil. Het is alsof je in een race van 100 meter 1,6 meter vooruit komt op de concurrentie.

5. Waarom is dit cool?

• Het is niet alleen maar "gokken": Ze gebruiken wiskunde om te kijken hoe verschillende denkers samenwerken.
• Het werkt met onzekerheid: Sport is onvoorspelbaar (blessures, slechte dagen, geluk). Door veel verschillende modellen te combineren, wordt de voorspelling stabieler.
• Het is een nieuwe kijk: Meestal proberen mensen alleen te voorspellen wie wint (ja/nee). Deze onderzoekers kijken ook naar de rangschikking van alle teams, wat een completer beeld geeft.

Kortom:
Stel je voor dat je een team van vijf verschillende experts hebt die een wedstrijd voorspellen. In plaats van te luisteren naar de "meester" van de groep, laat je ze een gesprek voeren waarbij ze hun verschillen gebruiken om een gezamenlijk, slimmer oordeel te vormen. Dat is wat deze paper doet: het combineert slimme computers op een manier die slimmer is dan elk computermodel op zichzelf. En dat werkt!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NCAA Bracket Prediction Using Machine Learning and Combinatorial Fusion Analysis", geschreven in het Nederlands.

Titel: NCAA Bracket Prediction Using Machine Learning and Combinatorial Fusion Analysis

Publicatie: Proceedings of the 2024 IEEE Cyber Science and Technology Congress (CyberSciTech)
Auteurs: Yuanhong Wu, Isaiah Smith, Tushar Marwah, Michael Schroeter, Mohamed Rahouti, D. Frank Hsu (Fordham University)

---

1. Probleemstelling

Het voorspellen van de uitkomsten van het NCAA Mannen Basketbal Kampioenschap (bekend als "March Madness") is een complex en uitdagend probleem. Hoewel machine learning (ML) modellen succesvol worden toegepast in de sportwereld, vaak als klassificatietaken, blijft sportvoorspelling inherent onvoorspelbaar door factoren zoals blessures, teamchemie, coachingstrategieën en externe variabelen.

Bestaande methoden vertrouwen vaak op traditionele statistieken of enkelvoudige ML-modellen. De auteurs stellen dat er behoefte is aan een nieuwe benadering die niet alleen kijkt naar scores (kansen), maar ook naar rangschikkingen (ranks) en de diversiteit tussen verschillende modellen om de voorspellingnauwkeurigheid te maximaliseren. Het doel is om een robuust ensemble te creëren dat de uitkomsten van het 2024-toernooi nauwkeuriger voorspelt dan de huidige publieke ranglijstsystemen.

2. Methodologie

De kern van de methode is Combinatorial Fusion Analysis (CFA), een paradigma dat ontwikkeld is om meerdere scoresystemen te combineren door gebruik te maken van de Rank-Score Characteristic (RSC) functie en Cognitive Diversity (CD).

A. Dataverzameling en Feature Selectie

• Data: Gegevens van reguliere seizoenen en toernooien van 2001 tot 2022 (exclusief 2020) afkomstig van Kaggle's "March Machine Learning Mania" en de KenPom-website.
• Feature Engineering: In plaats van individuele teamstatistieken te gebruiken, berekenen de auteurs het verschil in statistieken tussen twee teams per wedstrijd (Team 1 - Team 2). Dit creëert een dataset met 44 features.
• Selectie: Via Recursive Feature Elimination with Cross-Validation (RFECV) met een log-loss metriek en 5-voudige cross-validatie, wordt een optimale subset van 26 features geselecteerd. Deze omvatten:
  • Offensieve efficiëntie
  • Defensieve efficiëntie
  • Sterkte van het programma (Strength of Schedule)
  • Geluk (Luck)

B. Basismodellen (Ensemble Inputs)

Vijf diverse machine learning-modellen worden getraind als basis voor het ensemble:

1. Logistic Regression (A): Met L1/L2 regularisatie.
2. Support Vector Machine (SVM) (B): Met kernel-functies (Polynomial, RBF, Sigmoid).
3. Random Forest (C): Een ensemble van beslissingsbomen.
4. XGBoost (D): Gradient boosting met regularisatie.
5. Convolutional Neural Network (CNN) (E): Diep leermodel met convolutionele lagen, pooling en fully connected lagen.

C. Combinatorial Fusion Analysis (CFA) Framework

Het CFA-framework combineert deze modellen op twee manieren:

1. Score Combinatie (SC): Het gemiddelde of gewogen gemiddelde van de voorspelde kansen (scores).
2. Rank Combinatie (RC): Het combineren van de rangschikkingen (ranks) die de modellen toekennen aan de wedstrijden.

Combinatiestrategieën:
De auteurs gebruiken drie methoden om de modellen te aggregeren:

• Average Combination (AC): Eenvoudig gemiddelde.
• Weighted Combination by Performance (WCP): Gewogen op basis van de prestatie (nauwkeurigheid) van het model.
• Weighted Combination by Diversity Strength (WCDS): Gewogen op basis van Cognitive Diversity.

Cognitive Diversity (CD):
Dit is een maatstaf voor de verschillen tussen scoresystemen, gebaseerd op de afstand tussen hun RSC-functies (in plaats van correlatie tussen data-items). De Diversity Strength (DS) van een model is het gemiddelde van de CD-waarden tussen dat model en alle andere modellen in het ensemble. Modellen met hoge diversiteit en goede individuele prestaties worden zwaarder gewogen.

D. Model Selectie

Om het beste ensemble voor 2024 te kiezen, analyseren de auteurs de prestaties van alle mogelijke combinaties (156 potentiële modellen, gereduceerd tot 52 voor efficiëntie) over de afgelopen 10 jaar. Ze identificeren patronen in welke combinaties consistent de beste individuele modellen overtreffen.

• Geselecteerd Ensemble: De combinatie van Logistic Regression (A), SVM (B) en CNN (E), aangeduid als "ABE". Dit ensemble verscheen 6 keer in de top-performers over de afgelopen 10 jaar.

3. Belangrijkste Bijdragen

• Nieuwe Perspectief: De paper introduceert sportvoorspelling niet alleen als een klassificatieprobleem, maar ook als een rangschikkingsprobleem (ranking problem).
• CFA-toepassing: Het toont de effectiviteit van Combinatorial Fusion Analysis in de sportwereld, specifiek het gebruik van Cognitive Diversity om ensemble-modellen te optimaliseren.
• Rank vs. Score: Het paper vergelijkt systematisch de prestaties van score-combinatie versus rank-combinatie, waarbij rank-combinatie de superieure methode bleek te zijn voor dit specifieke probleem.
• Robuustheid: Door gebruik te maken van data-ongebonden RSC-functies en cognitive diversity, creëert het model een robuustere voorspelling die minder gevoelig is voor overfitting dan traditionele ensemble-methoden.

4. Resultaten

De prestaties werden getest op het 2024-dataset (waarbij de uitkomsten nog niet bekend waren ten tijde van de publicatie, dus gebaseerd op de voorspelde winnaars per wedstrijd).

• Rank Combinatie (Team Ranking): Het "ABE"-ensemble met rank-combinatie bereikte een nauwkeurigheid van 74,60%.
• Score Combinatie: Hetzelfde ensemble met score-combinatie bereikte een nauwkeurigheid van 71,43%.
• Vergelijking: De rank-combinatie (74,60%) presteerde 1,58% beter dan de beste van de tien populaire publieke ranglijstsystemen (zoals NET Rankings en Logan), die een maximale nauwkeurigheid van 73,02% hadden.
• Visualisatie: De RSC-functies toonden aan dat de cognitieve diversiteit tussen SVM en Logistic Regression kleiner was dan tussen SVM en Random Forest, wat de keuze voor de "ABE"-combinatie (met goede diversiteit) ondersteunde.

5. Betekenis en Conclusie

De studie demonstreert dat het combineren van diverse machine learning-modellen via het CFA-framework, met name door gebruik te maken van cognitieve diversiteit en rangschikkingen, aanzienlijk betere resultaten oplevert dan traditionele methoden of enkelvoudige modellen.

• Wetenschappelijke Impact: Het paper biedt een bewijs dat cognitieve diversiteit een krachtige maatstaf is voor het bouwen van ensemble-modellen, onafhankelijk van de specifieke data-items.
• Praktische Toepassing: De methode kan worden toegepast op andere voorspellingsproblemen in de sport en daarbuiten waar meerdere scoresystemen beschikbaar zijn.
• Toekomstperspectief: De auteurs plannen om in toekomstig werk alle drie de gewichtsmethoden (gemiddelde, prestatie en diversiteit) volledig te onderzoeken en de resultaten te vergelijken met andere geavanceerde ensemble-methoden uit de literatuur.

Kortom, deze paper bewijst dat een slimme combinatie van rangschikkingen en cognitieve diversiteit de voorspelbaarheid van complexe sportevenementen zoals March Madness kan verbeteren.