Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

Imaginez l'internet comme une ville immense et bouillonnante où des millions de messages numériques circulent entre les bâtiments chaque seconde. Pour garder cette ville en sécurité, des gardiens de sécurité (appelés Systèmes de Détection d'Intrusion) se tiennent aux portes, inspectant chaque colis à la recherche de signes de problèmes. Pendant longtemps, ces gardiens se sont appuyés sur un énorme et lourd livre de « méchants connus » pour repérer les menaces. Mais les hackers sont ingénieux ; ils inventent de nouvelles ruses chaque jour qui ne sont pas encore dans le livre. Ainsi, les scientifiques ont commencé à apprendre aux gardiens à réfléchir par eux-mêmes en utilisant le « Deep Learning » (apprentissage profond) — un type de cerveau informatique qui apprend des modèles en observant des milliers d'exemples.

Cependant, il y a un piège. Ces cerveaux informatiques super intelligents sont énormes et gourmands. Ils nécessitent une quantité massive de mémoire et d'énergie, ce qui est acceptable pour un énorme serveur dans un centre de données, mais terrible pour les petits appareils alimentés par batterie qui gardent réellement nos maisons et nos routeurs (comme les petits ordinateurs à l'intérieur de votre thermostat intelligent ou d'un commutateur réseau). Les scientifiques ont essayé de réduire la taille de ces cerveaux sans les briser, en utilisant une technique appelée « pruning » (élagage). Considérez l'élagage comme la taille d'une haie : vous coupez les branches (ou, dans ce cas, les connexions inutilisées à l'intérieur du cerveau informatique) pour le rendre plus petit et plus rapide. La grande hypothèse dans le monde de la technologie a toujours été : « Si vous coupez 75 % des connexions, le cerveau sera 75 % plus léger et fonctionnera beaucoup plus vite. »

Mais et si cette hypothèse était fausse ? Et si, après tout ce découpage, le cerveau tournait toujours aussi lentement parce que la façon dont il est construit ne lui permet pas réellement de sauter les espaces vides ? C'est le mystère que ce document cherche à résoudre.

---

La Grande Expérience d'Élagage

Dans cette étude, un chercheur nommé Ishan Mishra a décidé de mettre cette idée de « couper rend plus rapide » à l'épreuve ultime. Il n'a pas seulement fait tourner les chiffres sur un supercalculateur puissant ; il a pris son cerveau informatique et l'a placé sur un Raspberry Pi 5 — un petit ordinateur abordable qui ressemble à une carte de circuit imprimé verte et qui est le genre d'appareil que l'on pourrait trouver dans un véritable système de sécurité.

Il a construit un « Multi-Classifier Deep Neural Network », ce qui est une façon sophistiquée de dire un cerveau informatique avec trois couches de réflexion différentes, chacune vérifiant s'il y a un problème. Il a entraîné ce cerveau sur un ensemble de données appelé NSL-KDD, qui est comme un examen blanc rempli de vieilles attaques cybernétiques connues. Pour s'assurer que le cerveau ne soit pas confus par le fait d'avoir trop d'exemples d'un type d'attaque et trop peu d'un autre, il a utilisé une astuce appelée SMOTE pour équilibrer les données d'entraînement, créant essentiellement des faux exemples d'attaques rares afin que le cerveau les apprenne correctement.

Vint ensuite l'élagage. Il a pris le cerveau entraîné et a appliqué un élagage par parcelle creuse (block-sparse pruning), ce qui est une manière spécifique de supprimer 74,55 % des connexions (poids) à l'intérieur du réseau, les laissant sous forme de zéros. Le but était de voir si ce cerveau « vide » fonctionnerait plus vite et prendrait moins de place que le cerveau original, complet.

La Surprise : La Coupe N'A Pas Accéléré les Choses

Voici le rebondissement : l'élagage n'a pas rendu le cerveau plus rapide.

Le chercheur a mesuré le temps qu'il fallait à l'ordinateur pour prendre une seule décision (latence d'inférence).

• Le cerveau original, complet, a pris 0,0103 ± 0,0008 ms (millisecondes).
• Le cerveau élagué, « vide », a pris 0,0101 ± 0,0002 ms.

Statistiquement, ces deux nombres sont des jumeaux. Ils sont effectivement les mêmes. Le document a utilisé un test statistique spécial appelé TOST (Two One-Sided Tests) pour prouver que la différence était si infime qu'elle n'avait pas d'importance dans le monde réel. Le résultat ? L'élagage n'a pas réduit le temps nécessaire pour prendre une décision.

Pourquoi ? Le document explique que bien que le cerveau ait moins de connexions, le logiciel qui fait fonctionner le Raspberry Pi (appelé TFLite) n'était pas assez intelligent pour sauter les espaces vides. C'était comme avoir un chef à qui l'on dit d'ignorer 75 % des ingrédients sur le comptoir, mais le chef doit quand même passer devant chaque emplacement, regarder, et décider « oh, c'est vide », avant de continuer. Le temps de marche (latence) n'a pas changé car le chef devait toujours vérifier chaque emplacement.

La Surprise de la Taille du Fichier

Le chercheur a également vérifié la taille du fichier final lorsqu'il a sauvegardé le cerveau pour le faire fonctionner sur l'appareil. Il s'attendait à ce que la version élaguée soit beaucoup plus petite. Au lieu de cela, le cerveau complet et le cerveau élagué finissaient tous deux avec exactement 105 992 octets (environ 103,51 Ko).

Cela s'est produit parce que le logiciel utilisé pour préparer le fichier pour l'appareil (un processus appelé quantification) a compressé les nombres à leur plus petite taille de toute façon, rendant les espaces « vides » de la version élaguée non pertinents. Ainsi, dans cette configuration spécifique, l'élagage n'a pas non plus permis d'économiser de l'espace de stockage.

Le Vrai Problème : Des Cerveaux Instables

Si l'élagage n'a pas rendu le cerveau plus rapide ou plus petit, a-t-il nui à sa capacité à repérer les hackers ? Principalement, non. La précision globale est restée très proche :

• Le cerveau complet a identifié correctement 82,3 % des attaques connues.
• Le cerveau élagué en a identifié 81,2 %.

Cependant, le document a découvert quelque chose de très intéressant sur la façon dont le cerveau élagué échouait. Lorsque les chercheurs ont mené l'expérience cinq fois avec différents points de départ aléatoires (appelés « graines » ou « seeds »), ils ont remarqué que le cerveau élagué était instable.

Pour certains types d'attaques, comme l'attaque smurf, le cerveau complet était systématiquement bon (réussissant environ 89 % du temps). Mais le cerveau élagué était une montagne russe. Selon la graine aléatoire utilisée, il pouvait être excellent (85 % de réussite) ou terrible (11 % de réussite). C'était comme un étudiant qui réussit parfois ses examens avec brio et échoue totalement parfois, selon la façon dont il s'est réveillé ce matin-là.

Le document a également constaté que les deux cerveaux, complet et élagué, peinaient face à certaines attaques comme back et guess_passwd, obtenant presque 0 % de réussite. Ce n'était pas dû à l'élagage, mais parce que les données d'entraînement étaient trop déséquilibrées, poussant le cerveau à simplement deviner « normal » pour tout ce dont il n'était pas sûr. Cet échec se produisait à chaque fois, peu importe la graine.

Qu'en est-il des Nouvelles Attaques Inconnues ?

Le test comprenait également 3 750 enregistrements (16,6 % de l'ensemble de test) contenant des types d'attaques que le cerveau n'avait jamais vus auparavant. Comme le cerveau n'avait pas été entraîné sur ceux-ci, il ne pouvait pas les nommer. Au lieu de cela, les chercheurs ont vérifié si le cerveau les signalait au moins comme « suspects » au lieu de les ignorer.

• Le cerveau complet a signalé environ 3 6,6 % de ces attaques inconnues.
• Le cerveau élagué en a signalé environ 37,0 %.

Encore une fois, il n'y avait pas de réelle différence. L'élagage n'a pas aidé le cerveau à repérer les nouvelles ruses inconnues, et ne l'a pas rendu moins performant pour celles-ci non plus.

La Conclusion

Ce document est un rappel à la réalité pour quiconque tente de réduire la taille des modèles d'IA pour les petits appareils. Il prouve que le simple fait de couper les connexions (élagage) ne rend pas automatiquement les choses plus rapides si le logiciel qui fait fonctionner le modèle n'est pas conçu pour tirer parti de ces espaces vides.

Si vous voulez un modèle plus rapide sur un petit appareil, vous ne pouvez pas compter uniquement sur l'élagage. Vous devez soit utiliser un logiciel spécial qui sait comment sauter les espaces vides, soit utiliser un autre type d'élagage qui supprime réellement des blocs entiers du cerveau (élagage structuré) plutôt que de simplement y créer des trous.

L'étude conclut que, bien que l'élagage puisse rendre un modèle plus petit en théorie, dans le monde réel des logiciels standards actuels, il ne vous apporte ni vitesse ni espace. Et si vous l'utilisez, vous devez être prudent : cela peut rendre les performances de votre modèle sur des menaces spécifiques beaucoup plus imprévisibles, oscillant entre l'excellence et le désastre selon la façon dont il a été entraîné.