A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

Dans les couches cachées du monde moderne, des milliards d'appareils intelligents — des capteurs d'usine aux thermostats domestiques — communiquent constamment entre eux. Ce vaste réseau, connu sous le nom d'Internet des Objets, est le système nerveux de notre infrastructure numérique. Mais comme tout système nerveux, il est vulnérable aux interférences. Des pirates peuvent envoyer des signaux subtils et calculés, conçus pour tromper le logiciel de sécurité qui surveille ces appareils, faisant en sorte qu'une attaque dangereuse ressemble à un bruit de fond inoffensif. Pendant des années, les experts en sécurité se sont appuyés sur l'intelligence artificielle pour repérer ces intrus. Cependant, un nouveau problème est apparu : lorsque ces systèmes d'IA signalent une menace, ils fournissent souvent une explication de pourquoi ils ont pris cette décision. La question cruciale est de savoir si cette explication reste honnête lorsque l'IA est activement trompée. Si un pirate peut duper le système pour qu'il ignore une attaque, l'explication du système devient-elle également un mensonge, ou pointe-t-elle toujours vers la vérité ?

Une équipe de chercheurs de l'Université Internationale de Daffodil s'est donné pour mission de tester l'honnêteté et la fiabilité de ces explications d'IA sous le feu de l'attaque. Ils se sont concentrés sur deux méthodes populaires utilisées pour expliquer les décisions de l'IA, connues sous les noms de SHAP et LIME. Ces outils agissent comme un projecteur, mettant en lumière les parties d'un signal réseau — telles que la taille d'un paquet de données ou la durée d'une connexion — qui ont poussé l'IA à donner l'alerte. Les chercheurs voulaient savoir si ces projecteurs resteraient stables et précis lorsque les données d'entrée étaient subtilement modifiées par un pirate, ou si les explications vacilleraient et pointeraient dans la mauvaise direction. Pour obtenir une réponse véritablement fiable, ils ont évité l'erreur courante consistant à ne tester qu'une seule version d'un modèle d'IA. Au lieu de cela, ils ont entraîné vingt versions différentes du même système de sécurité, chacune partant d'une configuration aléatoire légèrement différente, afin de s'assurer que leurs conclusions n'étaient pas seulement le fruit d'un coup de chance lié à une session d'entraînement spécifique.

Les chercheurs ont soumis ces systèmes à une série de tests rigoureux utilisant des données réelles provenant de deux collections majeures de trafic réseau. Ils ont simulé trois types d'attaques : une attaque large et non restreinte qui modifie les données de manières impossibles pour un réseau réel ; une attaque plus réaliste qui ne modifie que les nombres que l'attaquant peut contrôler ; et une attaque hautement contrainte qui respecte toutes les règles physiques de construction des paquets de données. Ils ont découvert que les attaques non restreintes, qui produisent souvent des valeurs de données impossibles comme un paquet avec un nombre fractionnaire d'octets, étaient principalement de fausses alertes. Lorsque les chercheurs ont forcé ces enregistrements impossibles à ressembler à des données réelles et valides, le taux de réussite des attaques contre les modèles de réseaux neuronaux a chuté de manière spectaculaire. Cependant, les modèles basés sur les arbres, qui fonctionnent différemment, étaient plus vulnérables à ces ruses paraissant valides.

La découverte la plus frappante concernait les explications elles-mêmes. Lorsque les modèles d'IA étaient attaqués, la méthode SHAP continuait de fournir des explications fidèles et stables, reflétant systématiquement le comportement du modèle même lorsque la décision changeait. En revanche, la méthode LIME s'est avérée beaucoup moins fiable. Sous l'attaque, les explications de LIME changeaient souvent autant qu'elles le faisaient lorsque le système fonctionnait normalement, suggérant que ses changements étaient principalement du bruit aléatoire plutôt qu'un reflet fidèle de l'attaque. En fait, dans chaque comparaison à travers vingt sessions d'entraînement différentes, SHAP a surpassé LIME en termes de précision et de stabilité. Les chercheurs ont également constaté que le choix du « seuil d'alarme » d'un système de sécurité — le point auquel il décide de déclencher l'alerte — importe plus que le modèle lui-même. Un système réglé pour être très sensible pourrait détecter presque toutes les attaques mais générer tellement de fausses alertes que les équipes de sécurité seraient submergées, tandis qu'un réglage plus strict pourrait manquer des attaques mais limiter le bruit.

La conclusion la plus accablante fut qu'aucun système de sécurité n'est invincible. Sur l'un des ensembles de données, même les réseaux neuronaux les plus avancés pouvaient être presque entièrement trompés par un pirate ajoutant simplement un bourrage de données supplémentaires à un paquet, une technique qui coûte très peu mais contourne entièrement la défense, les modèles ne détectant au plus que 3 % de ces attaques. Les modèles basés sur les arbres étaient plus robustes, mais une attaque ciblée et habile, conçue spécifiquement pour leur structure, pouvait encore les échapper dans une proportion significative de cas. L'étude conclut que, bien que nous puissions construire des systèmes d'IA capables d'expliquer leur propre raisonnement, ces explications ne sont fiables que dans la mesure où le système est capable de résister à la manipulation. La recherche fournit une feuille de route claire pour tester ces systèmes à l'avenir, soulignant que nous devons regarder au-delà des simples scores de précision et examiner comment les explications tiennent bon lorsque le système est soumis à une pression réelle. Les outils que nous utilisons pour comprendre nos défenses numériques doivent être aussi résilients que les défenses elles-mêmes.