💻 computer science

DKD-KAN: A Lightweight knowledge-distilled KAN intrusion detection framework, based on MLP and KAN

Le cadre d'intrusion léger DKD-KAN proposé combine un réseau KAN enseignant et un modèle MLP étudiant distillé via une connaissance découpée (DKD) pour offrir une détection précise et efficace des attaques sur des dispositifs aux ressources limitées, comme en témoignent les améliorations de performance observées sur les ensembles de données WADI et SWaT.

Auteurs originaux : Mohammad Alikhani

Publié 2026-03-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mohammad Alikhani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛡️ Le Petit Garde du Corps qui a la Mémoire d'un Géant

Imaginez que vous devez protéger une usine industrielle (comme une centrale électrique ou un système d'eau) contre des pirates informatiques. Pour cela, vous avez besoin d'un système de sécurité très intelligent capable de repérer les intrus.

Le problème ? Les systèmes de sécurité les plus intelligents sont souvent comme des gigantesques éléphants : ils sont très forts, mais ils sont lourds, lents et consomment énormément d'énergie. Ils ne peuvent pas fonctionner sur les petits ordinateurs (les "bords" du réseau) qui surveillent l'usine en temps réel.

C'est là qu'intervient l'équipe de recherche de Mohammad Alikhani avec leur nouvelle invention : DKD-KAN.

1. Le Problème : L'Éléphant vs La Souris

Dans le monde de la cybersécurité, on a deux types de modèles :

Le Modèle "Géant" (KAN) : C'est un cerveau surpuissant capable de comprendre des schémas très complexes. Il est parfait pour détecter les attaques, mais il est trop lourd pour être installé sur un petit capteur dans une usine.
Le Modèle "Souris" (MLP) : C'est un petit modèle, léger et rapide, idéal pour les petits appareils. Mais il est souvent un peu "bête" et rate beaucoup d'attaques.

L'objectif de l'article est de créer une souris qui a la mémoire d'un éléphant.

2. La Solution : Le Maître et l'Élève (Distillation de Connaissances)

Pour y parvenir, les chercheurs utilisent une technique appelée Distillation de Connaissances. Imaginez un scénario scolaire :

Le Professeur (Le Modèle KAN) : C'est l'expert. Il a étudié des milliers d'heures de données d'usines. Il sait exactement à quoi ressemble une attaque.
L'Étudiant (Le Modèle MLP) : C'est le petit modèle léger. Il n'a pas le temps d'étudier tout ça.

Au lieu de laisser l'étudiant apprendre seul (ce qui prendrait du temps et donnerait de mauvais résultats), on lui fait copier les notes du professeur.

3. L'Innovation : La Méthode "DKD" (Le Tuteur Perspicace)

C'est ici que la magie opère. La méthode traditionnelle de copie est un peu brute : le professeur dit "C'est une attaque" ou "Ce n'est pas une attaque".

Mais les chercheurs ont inventé une méthode plus fine appelée DKD (Knowledge Distillation Découplée).
Imaginez que le professeur ne se contente pas de donner la réponse. Il explique à l'élève :

Pourquoi c'est une attaque ? (La classe cible).
Pourquoi ce n'est PAS une attaque ? (Les autres classes).

Dans la méthode classique, si l'élève a déjà bien compris qu'une situation n'est pas une attaque, le professeur arrête de lui expliquer. Mais avec DKD, le professeur continue d'expliquer les nuances, même pour les cas "normaux". Il sépare les deux types d'informations pour s'assurer que l'élève comprend vraiment la différence subtile entre un fonctionnement normal et une attaque cachée.

4. Le Résultat : Un Super-Héros Compact

Grâce à cette technique, les chercheurs ont réussi à entraîner un tout petit modèle (l'élève) qui :

Pèse très peu : Il est 100 fois plus léger que le professeur (l'éléphant). Il tient facilement dans la mémoire d'un petit capteur industriel.
Est extrêmement rapide : Il peut analyser les données en temps réel, sans ralentir l'usine.
Est très fort : Même s'il est petit, il détecte presque aussi bien les attaques que le géant.

Les chiffres clés (en langage simple) :

Sur le jeu de données SWaT (une petite usine), le petit modèle a amélioré sa détection de 3% par rapport à un petit modèle normal.
Sur le jeu de données WADI (un réseau d'eau), l'amélioration est de 4%.
Le petit modèle ne contient que 2 500 paramètres (des "neurones" virtuels), alors que le professeur en avait des centaines de milliers.

5. Pourquoi c'est important ?

C'est comme si vous pouviez emporter un super-ordinateur de la NASA dans votre montre connectée.
Dans le monde réel, les usines et les infrastructures critiques (eau, électricité, transports) ont besoin de sécurité immédiate. On ne peut pas attendre qu'un gros serveur distant analyse les données. Il faut que la détection se fasse sur place, vite et sans consommer trop d'électricité.

Cette méthode permet de mettre une intelligence artificielle de niveau "expert" directement sur les petits appareils, rendant nos infrastructures plus sûres, plus réactives et moins coûteuses à surveiller.

En résumé : Les chercheurs ont pris un cerveau génial mais lourd, et ils ont réussi à en extraire l'essentiel pour le transférer dans un petit cerveau agile, sans perdre la capacité de repérer les méchants pirates informatiques.

1. Problématique

Les systèmes cyber-physiques (CPS), tels que les réseaux de contrôle industriel (ICS) et l'Internet des objets industriels (IIoT), sont de plus en plus vulnérables aux cyberattaques. La détection d'intrusion dans ces environnements doit souvent s'effectuer sur des dispositifs aux ressources limitées (périphérie/edge computing), où la taille du modèle et le temps d'inférence sont critiques.

Les approches existantes présentent plusieurs limites :

Modèles lourds : Les modèles d'apprentissage profond (DL) performants, comme les réseaux de neurones à base de fonctions d'activation complexes (ex: KAN - Kolmogorov-Arnold Networks), offrent une grande capacité de représentation mais nécessitent un nombre élevé de paramètres, les rendant inadaptés aux dispositifs embarqués.
Prétraitement complexe : De nombreuses méthodes dépendent de fenêtres temporelles, de sélection de caractéristiques (feature selection) ou d'analyses en composantes principales (PCA), ce qui introduit des latences et peut entraîner la perte d'informations critiques.
Déséquilibre des classes : Les données d'attaque sont souvent rares par rapport aux données normales, rendant l'entraînement difficile sans techniques d'augmentation complexes (comme les GANs) qui peuvent être instables.

L'objectif de cet article est de concevoir un cadre de détection d'intrusion ultra-léger, rapide et précis, capable de fonctionner sur des ressources contraintes sans sacrifier la performance.

2. Méthodologie

L'approche proposée, nommée DKD-KAN, repose sur une stratégie de distillation de connaissances découplée (Decoupled Knowledge Distillation - DKD) pour transférer l'intelligence d'un modèle "professeur" complexe vers un modèle "élève" léger.

A. Architecture des Modèles

Modèle Professeur (Teacher) : Un réseau Kolmogorov-Arnold Network (KAN).
- Contrairement aux MLP classiques où les poids sont appris sur les arêtes et les fonctions d'activation sont fixes, les KAN apprennent des fonctions d'activation unidimensionnelles (basées sur des splines et SiLU) sur les liens entre les neurones.
- Le KAN est choisi pour sa capacité supérieure à capturer des relations non linéaires complexes et à fournir une meilleure interprétabilité, bien qu'il soit très coûteux en paramètres.
Modèle Élève (Student) : Un Perceptron Multicouche (MLP) standard.
- Il est conçu pour être extrêmement léger, avec un nombre de paramètres réduit de plusieurs ordres de grandeur par rapport au KAN.

B. Entraînement par Distillation Découplée (DKD)

Au lieu d'utiliser une distillation de connaissances classique (qui combine les pertes sur les classes cibles et non cibles dans une seule fonction de perte KL), l'article utilise la DKD.

Principe : La perte de distillation est séparée en deux composantes indépendantes :
1. TCKD (Target Class Knowledge Distillation) : Se concentre sur la probabilité de la classe cible.
2. NCKD (Non-Target Class Knowledge Distillation) : Se concentre sur la distribution des probabilités des classes non cibles.
Avantage : Cette séparation permet d'ajuster indépendamment les poids ( $\alpha$ et $\beta$ ) pour chaque composante. Cela permet au modèle élève d'apprendre des distinctions subtiles entre les classes, même lorsque le modèle professeur est très confiant, évitant ainsi la perte d'informations sur les classes non cibles.
Fonction de perte totale : Une combinaison pondérée de la perte d'entropie croisée (sur les étiquettes réelles) et de la perte DKD (sur les prédictions "soft" du professeur), avec un mécanisme de "warm-up" linéaire pour éviter un surapprentissage prématuré au professeur.

C. Prétraitement des Données

Approche minimaliste : Pas de fenêtrage temporel, pas de PCA, pas de sélection de caractéristiques complexe.
Standardisation : Seule une mise à l'échelle standard (Z-score) est appliquée aux données brutes (capteurs et actionneurs).
Robustesse : Une approche de masquage aléatoire est utilisée pour introduire de la variabilité et améliorer la robustesse, évitant ainsi les techniques d'augmentation basées sur les GANs.

3. Contributions Clés

Méthodologie DKD pour la compression : Application réussie de la distillation découplée pour compresser un modèle KAN lourd en un modèle MLP léger, tout en préservant les performances.
Efficacité et Rapidité : Développement d'une méthode de détection extrêmement rapide nécessitant un prétraitement minimal, idéale pour l'inférence en temps réel sur des dispositifs edge.
Performance avec compression extrême : Démonstration qu'un modèle élève avec moins de 2% des paramètres du professeur peut maintenir, voire dépasser, les performances de modèles élève entraînés de manière conventionnelle.
Validation sur des jeux de données réels : Évaluation rigoureuse sur deux jeux de données publics de référence pour les systèmes industriels : SWaT et WADI.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données SWaT (Système de traitement d'eau) et WADI (Réseau de distribution d'eau).

Réduction des paramètres :
- SWaT : Le modèle élève DKD-MLP ne contient que 1 622 paramètres (contre ~22 000 pour le KAN professeur et ~87 000 pour un MLP professeur).
- WADI : Le modèle élève DKD-MLP ne contient que 2 522 paramètres (contre ~17 500 pour le KAN professeur et ~198 000 pour le MLP professeur).
Performance (Score F1) :
- Sur SWaT, le modèle DKD-MLP atteint un F1-score de 95,45 %, soit une amélioration de 4,18 % par rapport au modèle élève MLP entraîné sans distillation.
- Sur WADI, le modèle DKD-MLP atteint un F1-score de 98,45 %, soit une amélioration de 3,07 % par rapport au MLP de base.
Comparaison avec l'état de l'art : Les résultats sont compétitifs, voire supérieurs, à de nombreuses méthodes existantes (LSTM, GAN, Autoencodeurs) tout en utilisant une fraction des ressources computationnelles.
Visualisation (t-SNE) : Les visualisations montrent que le modèle DKD-MLP parvient à reproduire la séparation des classes (Normal vs Attaque) du modèle professeur KAN, confirmant le transfert efficace des connaissances.

5. Signification et Impact

Cet article démontre la viabilité pratique d'utiliser des architectures avancées et interprétables comme les KAN non pas pour le déploiement direct, mais comme des enseignants riches en connaissances pour entraîner des modèles élèges ultra-légers (MLP).

Déploiement Industriel : La solution permet de déployer des systèmes de détection d'intrusion sophistiqués directement sur des contrôleurs logiques programmables (PLC) ou des passerelles edge, sans nécessiter de serveurs cloud puissants.
Équilibre Performance/Coût : Elle résout le compromis classique entre la précision (souvent associée aux gros modèles) et l'efficacité (associée aux petits modèles).
Robustesse : L'approche évite les pièges des techniques d'augmentation de données complexes et des prétraitements lourds, offrant une solution plus directe et fiable pour les environnements critiques.

En conclusion, le cadre DKD-KAN offre une voie prometteuse pour sécuriser les infrastructures critiques en permettant une détection d'intrusion en temps réel, précise et économe en ressources.