A Leakage-Free Stacked Ensemble Method for Multiclass Classification

Stel je voor dat je een computer probeert te leren om verschillende soorten dieren te herkennen aan de hand van foto's. Dit is een klassieke puzzel in de wereld van machine learning genaamd "multiclass classificatie". Het is alsof je een student vraagt om een gemengde zak knikkers te sorteren, niet alleen in "rood" en "blauw", maar in "rood", "blauw", "groen", "geel", "paars", enzovoort, allemaal tegelijkertijd. Het probleem is dat sommige knikkers verdacht veel op elkaar lijken, en soms heb je een enorme stapel rode knikkers maar slechts een paar groene.

Om dit op te lossen, gebruiken wetenschappers vaak "ensemble learning", wat een chique manier is om te zeggen: "laten we een commissie van experts vragen in plaats van slechts één persoon." Stel je een panel van rechters voor: één is geweldig in het herkennen van patronen in vloeiende, zachte vormen (zoals een schilder), en een ander is geweldig in het volgen van strikte, stapsgewijze regels (zoals een detective). Als je hen laat stemmen, krijg je meestal een beter antwoord dan wanneer je slechts één persoon zou vragen. Echter, er zit een verraderlijke valstrik in hoe deze commissies vaak worden gevormd. Als de rechters de antwoordkaart mogen inkijken terwijl ze worden getraind, kunnen ze beginnen met "valsspelen" door de antwoorden te memoriseren in plaats van daadwerkelijk de patronen te leren. Dit wordt "data leakage" genoemd, en het zorgt ervoor dat de computer super slim lijkt in de klas, maar verschrikkelijk presteert in de echte wereld.

Dit artikel introduceert een nieuwe manier om die commissie op te bouwen, genaamd LFS-FRAME. De auteurs, S. P. Sharmila en Aruna Tiwari, hebben een systeem gecreëerd dat twee zeer verschillende soorten computerbreinen combineert: één gebaseerd op Kolmogorov-Arnold Networks (KAN), die als vloeiende, kunstzinnige breinen zijn goed in het begrijpen van complexe curven, en een andere gebaseerd op XGBoost, die als een regelvolgende detective goed is in het maken van scherpe, duidelijke beslissingen. De magie van hun methode zit niet alleen in het mengen van deze twee; het zit in de manier waarop ze ze trainen. Ze gebruiken een strikte "out-of-fold" strategie, wat er in feilen op neerkomt dat de rechters oefenen op een set vragen die ze nooit eerder hebben gezien, zodat ze niet kunnen valsspelen. Dit zorgt ervoor dat wanneer de uiteindelijke "hoofdrechter" (de meta-classifier) hun stemmen combineert, dit gebaseerd is op eerlijke, onbevooroordeelde meningen.

De onderzoekers hebben dit nieuwe systeem getest op een uitdagende dataset bestaande uit 16 verschillende categorieën malware (computervirussen) verborgen in het computergeheugen. Ze ontdekten dat hun "lekvrije" team aanzienlijk beter was in het sorteren van deze lastige categorieën dan eerdere methoden. Terwijl oudere technieken moeite hadden wanneer het aantal categorieën toenam, waardoor de nauwkeurigheid daalde, bleef LFS-FRAME sterk. In een test met 16 verschillende klassen behaalde hun methode een nauwkeurigheid van 81,74%, en bij het kijken naar bredere groepen van 4 klassen bereikte het 89,85%. Dit suggereert dat door het trainingsproces eerlijk te houden en vloeiend leren te mengen met regelgebaseerd leren, we veel betrouwbaardere computers kunnen bouwen voor het sorteren van complexe data.

Het Probleem: De Valsspelende Commissie

Om te begrijpen waarom dit artikel ertoe doet, moeten we kijken naar het probleem dat het oplost. In de wereld van machine learning is "stacking" een populaire techniek waarbij je de voorspellingen van verschillende modellen neemt en deze voert aan een definitief model om de ultieme beslissing te nemen. Denk hierbij aan een sportteam waar je een aanvaller, een verdediger en een keeper hebt. Je vraagt hen allemaal: "Wie moeten we voor het team kiezen?" en vervolgens maakt een coach (de meta-learner) de definitieve keuze op basis van hun antwoorden.

Het probleem ontstaat wanneer de coach wordt getraind met de antwoorden die de spelers tijdens hun eigen training gaven. Als de spelers oefenden op precies dezelfde vragen waarop de coach hen test, kunnen ze simpelweg de antwoorden memoriseren. Dit is "data leakage". De coach denkt dat het team een genie is omdat ze 100% scoorden op de oefentoets, maar wanneer ze een echte wedstrijd spelen met nieuwe vragen, falen ze jammerlijk.

De auteurs stellen dat veel bestaande stacking-methoden hier last van hebben. Ze laten de basismodellen de data zien die ze eigenlijk zouden moeten voorspellen, wat de scores opblaast en een vals gevoel van veiligheid geeft. Dit is vooral gevaarlijk bij "multiclass" problemen, waarbij er veel categorieën te kiezen zijn. Als het systeem vals speelt, kan het er goed uitzien bij het herkennen van 4 soorten malware, maar volledig instorten wanneer het gevraagd wordt om tussen 16 te onderscheiden.

De Oplossing: De "Niet-Kijken"-Regel

Het artikel stelt LFS-FRAME (Leakage-Free Stacked Framework) voor. De kern van het idee is simpel maar krachtig: Geen enkel model mag de data zien die het moet voorspellen.

Ze bereiken dit met een techniek genaamd Out-of-Fold (OOF) training. Stel je voor dat je een kaartspel hebt (je data) en dat je dit verdeelt in 5 stapels (folds).

1. Je neemt 4 stapels om je modellen te trainen.
2. Je laat de 5e stapel verborgen in een doos.
3. Je vraagt de modellen om de kaarten in die verborgen 5e stapel te voorspellen. Omdat ze deze kaarten nog nooit hebben gezien, zijn hun voorspellingen eerlijk.
4. Je herhaalt dit proces, waarbij je telkens wisselt welke stapel verborgen blijft, totdat elke kaart is voorspeld door een model dat de komst ervan niet wist te voorzien.

Deze "eerlijke" voorspellingen worden vervolgens gebruikt om de uiteindelijke "hoofdrechter" (de meta-classifier) te trainen. Omdat de hoofdrechter is getraind op voorspellingen van modellen die de specifieke datapunten nooit hadden gezien, is er geen sprake van valsspelen. Het systeem leert de sterktes van zijn leden te combineren zonder te vertrouwen op gememoriseerde antwoorden.

Het Team: Kunstenaars en Detectives

De auteurs kozen niet alleen een trainingsmethode, maar ook een heel specifiek team van modellen om samen te werken. Ze realiseerden zich dat verschillende problemen verschillende soorten denken vereisen.

• De Kunstenaar (KAN): Ze gebruikten Kolmogorov-Arnold Networks (KANs). Zie KANs als kunstenaars die heel goed zijn in het begrijpen van vloeiende, zachte relaties. Ze kunnen zien hoe variabelen samen veranderen in een continue curve. Ze zijn geweldig in het vastleggen van het "grote plaatje" en complexe, niet-lineaire patronen. Echter, ze hebben soms moeite met scherpe, plotselinge veranderingen of zeer specifieke regels.
• De Detective (XGBoost): Ze gebruikten XGBoost, een krachtig hulpmiddel gebaseerd op beslissingsbomen. Zie XGBoost als een detective die een strikte checklist met regels volgt. "Als de deur open staat, controleer dan het raam. Als het raam kapot is, bel de politie." Het is uitstekend in het maken van scherpe, duidelijke beslissingen en het afhandelen van specifieke, regelgebaseerde patronen.

Door de Kunstenaar en de Detective te combineren, krijgt het systeem het beste van twee werelden. De KAN handelt de vloeiende, complexe curven in de data af, terwijl XGBoost de scherpe, duidelijke grenzen beheert. De "hoofdrechter" leert hoe hij de intuïtie van de Kunstenaar moet afwegen tegen de regels van de Detective om tot de beste uiteindelijke beslissing te komen.

De Resultaten: Bewijs dat het Werkt

De auteurs hebben hun nieuwe systeem getest op een dataset genaamd CIC-MalMem-2022, die geheugendata bevat van computeraanvallen. Ze creëerden twee versies van de test: één met 4 klassen (bredere categorieën) en één met 16 klassen (zeer specifieke subcategorieën).

Ze vergeleken hun LFS-FRAME met andere methoden die eerder zijn gebruikt, zoals:

• HyStack Ensemble: Een eerdere stacking-methode.
• Hybrid CNN-BiLSTM: Een deep learning-benadering.
• SMOTE-DNN: Een methode die probeert de data in balans te brengen.
• Random Forest met Hyperparameter Tuning: Een klassieke, regelgebaseerde benadering.

Dit is wat ze vonden:

• In de 4-Klassen Test: De nieuwe methode behaalde een nauwkeurigheid van 89,85%. Dit was iets beter dan de Random Forest-methode (die 89,07% haalde) en aanzienlijk beter dan de deep learning-methoden.
• In de 16-Klassen Test (Het Moeilijke Deel): Dit is waar de andere methoden begonnen te wankelen. Naarmate het aantal categorieën toenam, daalde de nauwkeurigheid van de andere methoden drastisch.
  • De HyStack-methode daalde van 85,04% (in 4 klassen) naar 70,29%.
  • De Random Forest-methode daalde van 89,07% naar 68,2%.
  • De deep learning-methoden hadden ook moeite en zakten naar de 60-70% range.
  • LFS-FRAME hield echter stand. Het behaalde een nauwkeurigheid van 81,74% in de 16-klassen test.

De auteurs suggereren dat de reden voor het succes van hun methode tweeledig is. Ten eerste hebben ze door het voorkomen van data leakage ervoor gezorgd dat het systeem daadwerkelijk patronen leert en niet antwoorden memoriseert. Ten tweede hebben ze door de vloeiende leerstijl van KANs te mengen met de regelgebaseerde kracht van XGBoost, een systeem gecreëerd dat de complexiteit van 16 verschillende categorieën kan aanpakken zonder in de war te raken.

Waarom het Ertoe Doet

Het artikel concludeert dat deze aanpak een betrouwbaardere manier biedt om complexe classificatieproblemen aan te pakken. In de echte wereld, vooral in velden zoals cybersecurity waar malware constant verandert, kun je het je niet veroorloven om een systeem te hebben dat slim lijkt in het lab, maar faalt in het veld. Door een "lekvrije" strategie te gebruiken, biedt het werkstuk van de auteurs een kader dat een eerlijkere inschatting geeft van hoe goed een model zal presteren.

Hoewel de methode meer rekenkracht vereist vanwege de extra stappen die nodig zijn om te garanderen dat er geen data leakage optreedt (het trainen van modellen meerdere keren op verschillende subsets), stellen de auteurs dat deze kosten het waard zijn. Het voorkomt de "over-optimistische" resultaten die andere methoden teisteren en leidt tot een systeem dat robuust, generaliseerbaar en klaar is voor de echte wereld. De studie suggereert dat voor moeilijke multiclass-problemen het combineren van verschillende soorten leerstijlen in een strikt eerlijke trainingsomgeving een winnende strategie is.