A Leakage-Free Stacked Ensemble Method for Multiclass Classification

Imaginez que vous essayez d'apprendre à un ordinateur à reconnaître différents types d'animaux simplement en regardant leurs photos. C'est un casse-tête classique dans le monde de l'apprentissage automatique appelé « classification multiclasse ». C'est comme demander à un étudiant de trier un sac de billes mélangées, non pas seulement en « rouge » et « bleu », mais en « rouge », « bleu », « vert », « jaune », « violet », et ainsi de suite, tout à la fois. Le problème est que certaines billes se ressemblent étrangement, et parfois, vous avez un énorme tas de rouges mais seulement quelques vertes.

Pour résoudre cela, les scientifiques utilisent souvent l'« apprentissage d'ensemble » (ensemble learning), une façon sophistiquée de dire : « demandons l'avis d'un comité d'experts plutôt qu'à un seul ». Imaginez un panel de juges : l'un est excellent pour repérer les motifs dans les formes fluides et lisses (comme un peintre), et un autre est excellent pour suivre des règles strictes et étape par étape (comme un détective). Si vous leur demandez de voter, vous obtenez généralement une meilleure réponse qu'en interrogeant une seule personne. Cependant, il existe un piège sournois dans la manière dont ces comités sont souvent formés. Si les juges sont autorisés à jeter un coup d'œil au corrigé pendant qu'ils sont entraînés, ils pourraient commencer à « tricher » en mémorisant les réponses au lieu d'apprendre réellement les motifs. C'est ce qu'on appelle la « fuite de données » (data leakage), et cela fait passer l'ordinateur pour un génie en classe, mais le rend médiocre dans le monde réel.

Ce document présente une nouvelle façon de construire ce comité, appelée LFS-FRAME. Les auteurs, S. P. Sharmila et Aruna Tiwari, ont créé un système qui combine deux types de cerveaux informatiques très différents : l'un basé sur les réseaux de Kolmogorov-Arnold (KAN), qui sont comme des artistes fluides et lisses, doués pour comprendre les courbes complexes, et un autre basé sur XGBoost, qui est un détective suivant des règles, doué pour prendre des décisions nettes et claires. La magie de leur méthode ne réside pas seulement dans le mélange de ces deux-là, mais dans la façon dont ils les entraînent. Ils utilisent une stratégie stricte « hors-pli » (out-of-fold), ce qui revient à s'assurer que les juges s'entraînent sur un ensemble de questions qu'ils n'ont jamais vues auparavant, pour qu'ils ne puissent pas tricher. Cela garantit que lorsque le « juge principal » (le méta-classificateur) combine leurs votes, il le fait sur la base d'opinions honnêtes et impartiales.

Les chercheurs ont testé ce nouveau système sur un ensemble de données complexe impliquant 16 catégories différentes de logiciels malveillants (malwares) cachés dans la mémoire informatique. Ils ont découvert que leur équipe « sans fuite » était nettement plus performante pour trier ces catégories délicates que les méthodes précédentes. Alors que les anciennes techniques peinaient lorsque le nombre de catégories augmentait, voyant leur précision chuter, le LFS-FRAME restait solide. Dans un test avec 16 classes différentes, leur méthode a atteint une précision de 81,74 %, et lorsqu'on regarde des groupes plus larges de 4 classes, elle a atteint 89,85 %. Cela suggère qu'en gardant le processus d'entraînement honnête et en mélangeant l'apprentissage fluide avec l'apprentissage basé sur des règles, nous pouvons construire des ordinateurs bien plus fiables pour trier des données complexes.

Le Problème : Le Comité qui Triche

Pour comprendre pourquoi ce document est important, examinons le problème qu'il résout. Dans le monde de l'apprentissage automatique, le « stacking » est une technique populaire où l'on prend les prédictions de plusieurs modèles différents et où on les injecte dans un modèle final pour prendre la décision ultime. Considérez cela comme une équipe de sport où vous avez un attaquant, un défenseur et un gardien de but. Vous leur demandez tous : « Qui devrions-nous choisir pour l'équipe ? », puis un entraîneur (le méta-apprenant) prend la décision finale basée sur leurs réponses.

Le problème survient lorsque l'entraîneur est formé en utilisant les réponses que les joueurs ont données pendant leur propre entraînement. Si les joueurs se sont entraînés sur les questions exactes sur lesquelles l'entraîneur les teste, ils pourraient simplement mémoriser les réponses. C'est la « fuite de données ». L'entraîneur pense que l'équipe est un génie parce qu'elle a obtenu 100 % au test d'entraînement, mais lorsqu'elle fait face à un vrai match avec de nouvelles questions, elle échoue lamentablement.

Les auteurs soutiennent que de nombreuses méthodes de stacking existantes souffrent de cela. Elles laissent les modèles de base voir les données sur lesquelles ils sont censés faire des prédictions, ce qui gonfle les scores et donne un faux sentiment de sécurité. C'est particulièrement dangereux dans les problèmes « multiclasses », où il y a de nombreuses catégories à choisir. Si le système triche, il peut sembler excellent pour repérer 4 types de malwares, mais s'effondrer lorsqu'on lui demande de distinguer 16 catégories.

La Solution : La Règle du « Pas de Regard »

Le document propose le LFS-FRAME (Leakage-Free Stacked Framework). L'idée centrale est simple mais puissante : aucun modèle n'est autorisé à voir les données sur lesquelles il effectue ses prédictions.

Ils y parviennent grâce à une technique appelée entraînement Out-of-Fold (OOF). Imaginez que vous avez un jeu de cartes (vos données) et que vous le divisez en 5 piles (plis/folds).

1. Vous prenez 4 piles pour entraîner vos modèles.
2. Vous laissez la 5ème pile cachée dans une boîte.
3. Vous demandez aux modèles de prédire les cartes de cette 5ème pile cachée. Comme ils n'ont pas vu ces cartes auparavant, leurs prédictions sont honnêtes.
4. Vous répétez ce processus, en faisant pivoter la pile qui est cachée, jusqu'à ce que chaque carte ait été prédite par un modèle qui ne savait pas qu'elle arrivait.

Ces prédictions « honnêtes » sont ensuite utilisées pour entraîner le « juge principal » (le méta-classificateur). Parce que le juge principal a été entraîné sur des prédictions faites par des modèles qui n'avaient jamais vu les points de données spécifiques, il n'y a pas de triche. Le système apprend à combiner les forces de ses membres sans compter sur des réponses mémorisées.

L'Équipe : Artistes et Détectives

Les auteurs n'ont pas seulement corrigé la méthode d'entraînement ; ils ont aussi choisi une équipe de modèles très spécifique pour travailler ensemble. Ils ont réalisé que différents problèmes nécessitent différents types de pensée.

• L'Artiste (KAN) : Ils ont utilisé les réseaux de Kolmogorov-Arnold (KAN). Considérez les KAN comme des artistes qui sont très doués pour comprendre les relations fluides et lisses. Ils peuvent voir comment les variables changent ensemble selon une courbe continue. Ils sont excellents pour capturer la « vue d'ensemble » et les motifs non linéaires complexes. Cependant, ils peuvent parfois avoir du mal avec les changements brusques ou les règles très spécifiques.
• Le Détective (XGBoost) : Ils ont utilisé XGBoost, un outil puissant basé sur des arbres de décision. Considérez XGBoost comme un détective qui suit une liste de contrôle stricte. « Si la porte est ouverte, vérifiez la fenêtre. Si la fenêtre est brisée, appelez la police. » Il est excellent pour prendre des décisions nettes et claires et pour gérer des motifs spécifiques basés sur des règles.

En combinant l'Artiste et le Détective, le système obtient le meilleur des deux mondes. Le KAN gère les courbes lisses et complexes des données, tandis que XGBoost gère les frontières nettes et distinctes. Le « juge principal » apprend à pondérer l'intuition de l'Artiste par rapport aux règles du Détective pour prendre la meilleure décision finale.

Les Résultats : Prouver que cela fonctionne

Les auteurs ont testé leur nouveau système sur un ensemble de données appelé CIC-MalMem-2022, qui contient des données de mémoire issues d'attaques informatiques. Ils ont créé deux versions du test : l'une avec 4 classes (catégories larges) et l'autre avec 16 classes (sous-catégories très spécifiques).

Ils ont comparé leur LFS-FRAME à d'autres méthodes utilisées précédemment, telles que :

• HyStack Ensemble : Une méthode de stacking précédente.
• Hybrid CNN-BiLSTM : Une approche d'apprentissage profond.
• SMOTE-DNN : Une méthode qui tente d'équilibrer les données.
• Random Forest avec optimisation des hyperparamètres : Une approche classique basée sur les règles.

Voici ce qu'ils ont trouvé :

• Dans le test à 4 classes : La nouvelle méthode a atteint une précision de 89,85 %. Elle est légèrement meilleure que la méthode Random Forest (qui a obtenu 89,07 %) et nettement meilleure que les méthodes d'apprentissage profond.
• Dans le test à 16 classes (La partie difficile) : C'est ici que les autres méthodes ont commencé à s'effondrer. À mesure que le nombre de catégories augmentait, la précision des autres méthodes chutait drastiquement.
  • La méthode HyStack est passée de 85,04 % (en 4 classes) à 70,29 %.
  • La méthode Random Forest est tombée de 89,07 % à 68,2 %.
  • Les méthodes d'apprentissage profond ont également eu du mal, tombant dans la plage des 60-70 %.
  • LFS-FRAME, cependant, a maintenu son niveau. Il a atteint une précision de 81,74 % dans le test à 16 classes.

Les auteurs suggèrent que la raison de la réussite de leur méthode est double. Premièrement, en empêchant la fuite de données, ils ont garanti que le système apprenait réellement des motifs et non des réponses mémorisées. Deuxièmement, en mélangeant l'apprentissage fluide des KAN avec la force basée sur les règles de XGBoost, ils ont créé un système capable de gérer la complexité de 16 catégories différentes sans s'embrouiller.

Pourquoi cela importe

Le document conclut que cette approche offre une façon plus fiable de gérer les problèmes de classification complexes. Dans le monde réel, particulièrement dans des domaines comme la cybersécurité où les malwares changent constamment, on ne peut pas se permettre un système qui semble intelligent en laboratoire mais qui échoue sur le terrain. En utilisant une stratégie « sans fuite », les auteurs fournissent un cadre qui donne une estimation plus honnête des performances d'un modèle.

Bien que la méthode nécessite un peu plus de puissance de calcul en raison des étapes supplémentaires nécessaires pour garantir l'absence de fuite de données (entraîner les modèles plusieurs fois sur différents sous-ensembles), les auteurs soutiennent que ce coût en vaut la peine. Cela évère les résultats « trop optimistes » qui affectent d'autres méthodes et conduit à un système robuste, généralisable et prêt pour le monde réel. L'étude suggère que pour les problèmes multiclasses difficiles, combiner différents styles d'apprentissage dans un environnement d'entraînement strictement honnête est une stratégie gagnante.