A Leakage-Free Stacked Ensemble Method for Multiclass Classification

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, verschiedene Arten von Tieren allein durch das Betrachten ihrer Fotos zu erkennen. Dies ist ein klassisches Rätsel in der Welt des maschinellen Lernens namens „Multiclass Classification“ (Multiklassen-Klassifizierung). Es ist, als würde man einen Schüler bitten, eine Tüte voller verschiedener Murmeln nicht nur in „rot“ und „blau“ zu sortieren, sondern gleichzeitig in „rot“, „blau“, „grün“, „gelb“, „lila“ und so weiter. Das Problem dabei ist, dass einige Murmeln verdächtig ähnlich aussehen, und manchmal hat man einen riesigen Haufen roter Murmeln, aber nur ein paar grüne.

Um dieses Problem zu lösen, verwenden Wissenschaftler oft „Ensemble Learning“ (Ensemble-Lernen), was eine schicke Art zu sagen ist: „Lass uns lieber ein Komitee von Experten fragen, anstatt nur einen Einzelnen.“ Stellen Sie sich ein Gremium von Richtern vor: Einer ist großartig darin, Muster in glatten, fließenden Formen zu erkennen (wie ein Maler), und ein anderer ist gut darin, strengen, schrittweisen Regeln zu folgen (wie ein Detektiv). Wenn Sie sie abstimmen lassen, erhalten Sie meist eine bessere Antwort, als wenn Sie nur einen einzigen fragen würden. Die Gefahr besteht jedoch in einer heimtückischen Falle, wie diese Komitees oft gebildet werden. Wenn die Richter während ihres Trainings die Antwortlösung spicken dürfen, fangen sie an zu „schummeln“, indem sie die Antworten einfach auswendig lernen, anstatt die eigentlichen Muster zu verstehen. Dies wird als „Data Leakage“ (Datenleckage) bezeichnet, und es lässt den Computer im Klassenzimmer superintelligent erscheinen, aber in der realen Welt völlig versagen.

Dieses Paper stellt eine neue Art vor, dieses Komitee aufzubauen, genannt LFS-FRAME. Die Autoren, S. P. Sharmila und Aruna Tiwari, haben ein System entwickelt, das zwei sehr unterschiedliche Arten von „Computer-Gehirnen“ kombiniert: eines, das auf Kolmogorov-Arnold-Netzwerken (KAN) basiert – das sind wie geschmeidige, fließende Künstler, die gut darin sind, komplexe Kurven zu verstehen – und ein anderes, das auf XGBoost basiert – ein regelbefolgender Detektiv, der gut darin ist, scharfe, klare Entscheidungen zu treffen. Die Magie ihrer Methode liegt nicht nur in der Mischung dieser beiden; es liegt darin, wie sie trainiert werden. Sie verwenden eine strikte „Out-of-Fold“-Strategie, was so viel bedeutet wie sicherzustellen, dass die Richter an einem Satz von Fragen üben, die sie noch nie zuvor gesehen haben, damit sie nicht schummeln können. Dies stellt sicher, dass der finale „Oberrichter“ (der Meta-Klassifikator), der die Stimmen kombiniert, auf ehrlichen und unvoreingenommenen Meinungen basiert.

Die Forscher testeten dieses neue System auf einem anspruchsvollen Datensatz, der 16 verschiedene Kategorien von Malware (Computerviren) umfasst, die im Computerspeicher verborgen sind. Sie fanden heraus, dass ihr „leckagefreies“ Team deutlich besser darin war, diese kniffligen Kategorien zu sortieren als bisherige Methoden. Während ältere Techniken Schwierigkeiten bekamen, wenn die Anzahl der Kategorien anstieg und die Genauigkeit sank, blieb LFS-FRAME stark. In einem Test mit 16 verschiedenen Klassen erreichte ihre Methode eine Genauigkeit von 81,74 %, und bei der Betrachtung breiterer Gruppen von 4 Klassen erreichte sie 89,85 %. Dies deutet darauf hin, dass wir durch die Kombination von ehrlichem Training mit einer Mischung aus sanftem Lernen und regelbasiertem Lernen wesentlich zuverlässigere Computer für das Sortieren komplexer Daten bauen können.

Das Problem: Das schummelnde Komitee

Um zu verstehen, warum dieses Paper wichtig ist, schauen wir uns das Problem an, das es löst. In der Welt des maschinellen Lernens ist „Stacking“ eine beliebte Technik, bei der man die Vorhersagen aus mehreren verschiedenen Modellen nimmt und sie in ein finales Modell einspeist, um die ultimative Entscheidung zu treffen. Denken Sie an eine Sportmannschaft, in der es einen Stürmer, einen Verteidiger und einen Torwart gibt. Sie fragen sie alle: „Wen sollen wir für das Team auswählen?“ Und dann trifft der Coach (der Meta-Learner) die endgültige Entscheidung basierend auf ihren Antworten.

Das Problem entsteht, wenn der Coach mit den Antworten trainiert wird, die die Spieler während ihres eigenen Trainings gegeben haben. Wenn die Spieler genau an den Fragen geübt haben, die der Coach auch testet, könnten sie einfach die Antworten auswendig lernen. Dies ist „Data Leakage“. Der Coach hält das Team für ein Genie, weil es beim Übungstest 100 % erreicht hat, aber wenn sie in einem echten Spiel mit neuen Fragen konfrontiert werden, scheitern sie kläglich.

Die Autoren argumentieren, dass viele bestehende Stacking-Methoden unter diesem Problem leiden. Sie lassen die Basismodelle die Daten sehen, die sie eigentlich vorhersagen sollen, was die Ergebnisse künstlich aufbläht und ein falsches Gefühl der Sicherheit vermittelt. Dies ist besonders gefährlich bei „Multiclass“-Problemen, bei denen es viele Kategorien zur Auswahl gibt. Wenn das System schummelt, sieht es vielleicht gut darin aus, 4 Arten von Malware zu erkennen, bricht aber zusammen, wenn es darum geht, zwischen 16 Klassen zu unterscheiden.

Die Lösung: Die „Nicht-Spicken“-Regel

Das Paper schlägt LFS-FRAME (Leakage-Free Stacked Framework) vor. Der Kern der Idee ist einfach, aber kraftvoll: Kein Modell darf die Daten sehen, die es gerade vorhersagt.

Dies erreichen sie durch eine Technik namens Out-of-Fold (OOF) Training. Stellen Sie sich vor, Sie haben ein Kartendeck (Ihre Daten) und teilen es in 5 Stapel (Folds) auf:

1. Sie nehmen 4 Stapel, um Ihre Modelle zu trainieren.
2. Sie lassen den 5. Stapel versteckt in einer Box.
3. Sie bitten die Modelle, die Karten des versteckten 5. Stapels vorherzusagen. Da sie diese Karten noch nie gesehen haben, sind ihre Vorhersagen ehrlich.
4. Sie wiederholen diesen Prozess und rotieren dabei, welcher Stapel jeweils versteckt ist, bis jede Karte von einem Modell vorhergesagt wurde, das nicht wusste, dass sie kommt.

Diese „ehrlichen“ Vorhersagen werden dann verwendet, um den finalen „Oberrichter“ (den Meta-Klassifikator) zu trainieren. Da der Oberrichter auf Vorhersagen trainiert wurde, die von Modellen gemacht wurden, die die spezifischen Datenpunkte nie gesehen hatten, gibt es kein Schummeln. Das System lernt, die Stärken seiner Mitglieder zu kombinieren, ohne sich auf auswendig gelernte Antworten zu verlassen.

Das Team: Künstler und Detektive

Die Autoren haben nicht nur die Trainingsmethode verbessert; sie haben auch ein sehr spezifisches Team von Modellen ausgewählt, die zusammenarbeiten sollen. Sie erkannten, dass unterschiedliche Probleme unterschiedliche Arten des Denkens erfordern.

• Der Künstler (KAN): Sie verwendeten Kolmogorov-Arnold-Netzwerke (KANs). Betrachten Sie KANs als Künstler, die sehr gut darin sind, glatte, fließende Beziehungen zu verstehen. Sie können sehen, wie Variablen sich gemeinsam in einer kontinuierlichen Kurve verändern. Sie sind großartig darin, das „große Ganze“ und komplexe, nicht-lineare Muster zu erfassen. Manchmal haben sie jedoch Schwierigkeiten mit scharfen, plötzlichen Änderungen oder sehr spezifischen Regeln.
• Der Detektiv (XGBoost): Sie verwendeten XGBoost, ein leistungsstarkes Werkzeug, das auf Entscheidungsbäumen basiert. Betrachten Sie XGBoost als einen Detektiv, der einer strengen Checkliste von Regeln folgt: „Wenn die Tür offen ist, prüfe das Fenster. Wenn das Fenster kapentlich ist, ruf die Polizei.“ Es ist exzellent darin, scharfe, klare Entscheidungen zu treffen und spezifische, regelbasierte Muster zu handhaben.

Durch die Kombination von Künstler und Detektiv erhält das System das Beste aus beiden Welten. Der KAN kümmert sich um die glatten, komplexen Kurven in den Daten, während XGBoost die scharfen, distinkten Grenzen handhabt. Der „Oberrichter“ lernt, wie er die Intuition des Künstlers gegen die Regeln des Detektivs abwägt, um die beste endgültige Entscheidung zu treffen.

Die Ergebnisse: Beweis der Wirksamkeit

Die Autoren testeten ihr neues System mit einem Datensatz namens CIC-MalMem-2022, der Speicherdaten von Computerangriffen enthält. Sie erstellten zwei Versionen des Tests: einen mit 4 Klassen (breitere Kategorien) und einen mit 16 Klassen (sehr spezifische Unterkategorien).

Sie verglichen ihr LFS-FRAME mit anderen Methoden, die zuvor verwendet wurden, wie zum Beispiel:

• HyStack Ensemble: Eine bisherige Stacking-Methode.
• Hybrid CNN-BiLSTM: Ein Deep-Learning-Ansatz.
• SMOTE-DNN: Eine Methode, die versucht, die Daten auszubalancieren.
• Random Forest mit Hyperparameter-Tuning: Ein klassischer, regelbasierter Ansatz.

Hier ist das, was sie herausfanden:

• Im 4-Klassen-Test: Die neue Methode erreichte eine Genauigkeit von 89,85 %. Dies war etwas besser als die Random-Forest-Methode (die 89,07 % erreichte) und signifikant besser als die Deep-Learning-Methoden.
• Im 16-Klassen-Test (Der schwierige Teil): Hier begannen die anderen Methoden zu scheitern. Als die Anzahl der Kategorien zunahm, sank die Genauigkeit der anderen Methoden drastisch.
  • Die HyStack-Methode fiel von 85,04 % (bei 4 Klassen) auf 70,29 % (bei 16 Klassen) ab.
  • Die Random-Forest-Methode sank von 89,07 % auf 68,2 %.
  • Die Deep-Learning-Methoden hatten ebenfalls Schwierigkeiten und fielen in den Bereich von 60–70 %.
  • LFS-FRAME hingegen hielt stand. Es erreichte eine Genauigkeit von 81,74 % im 16-Klassen-Test.

Die Autoren vermuten, dass der Erfolg ihrer Methode auf zwei Faktoren zurückzuführen ist. Erstens stellten sie durch die Vermeidung von Data Leakage sicher, dass das System tatsächlich Muster lernt und nicht nur Antworten auswendig lernt. Zweitens schufen sie durch die Mischung des sanften Lernens von KANs mit der regelbasierten Stärke von XGBoost ein System, das die Komplexität von 16 verschiedenen Kategorien bewältigen kann, ohne verwirrt zu werden.

Warum es wichtig ist

Das Paper kommt zu dem Schluss, dass dieser Ansatz eine zuverlässigere Methode zur Handhabung komplexer Klassifizierungsprobleme bietet. In der realen Welt, insbesondere in Bereichen wie der Cybersicherheit, in denen sich Malware ständig verändert, kann man sich kein System leisten, das im Labor intelligent wirkt, aber im Einsatz versagt. Durch die Verwendung einer „leckagefreien“ Strategie bieten die Autoren ein Framework, das eine ehrlichere Einschätzung der Leistung eines Modells ermöglicht.

Obwohl die Methode aufgrund der zusätzlichen Schritte, die nötig sind, um sicherzustellen, dass keine Datenleckage auftritt (dafür müssen die Modelle mehrmals auf verschiedenen Teilmengen trainiert werden), etwas mehr Rechenleistung erfordert, argumentieren die Autoren, dass dieser Aufwand es wert ist. Es verhindert die „überoptimistischen“ Ergebnisse, die andere Methoden plagen, und führt zu einem System, das robust, verallgemeinerbar und bereit für die reale Welt ist. Die Studie legt nahe, dass für schwierige Multiklassen-Probleme die Kombination verschiedener Lernstile in einer streng ehrlichen Trainingsumgebung eine gewinnbringende Strategie ist.