Imaginez que vous appreniez à un robot à repérer les problèmes. Dans le monde de l'informatique, on appelle cela la détection d'anomalies. Habituellement, vous montrez au robot un million d'images de choses « normales » — comme une rue calme ou une salle de serveurs paisible — et quelques images de choses « mauvaises », comme un accident de voiture ou une attaque de hacker. Le robot apprend à quoi ressemble la normalité afin de pouvoir hurler « ALERTE ! » quand quelque chose d'étrange se produit.

Mais voici la partie délicate : le monde ne reste pas immobile. Une rue « normale » change ; une salle de serveurs « normale » devient plus active. C'est ce qu'on appelle un environnement non stationnaire. Si vous continuez simplement à montrer de nouveaux problèmes au robot sans le laisser oublier les anciens, il finit par être confus. C'est le défi de la Détection d'Anomalies Continuelle (CAD - Continual Anomaly Detection). C'est comme demander à un étudiant d'apprendre une nouvelle langue chaque semaine tout en se souvenant de parler celles qu'il a apprises l'année dernière, le tout sans avoir de professeur pour le noter. La grande question que les scientifiques se posent est la suivante : comment construire un robot capable de continuer à apprendre de nouveaux tours sans oublier les anciens ?

Le problème est que la plupart des tests que nous utilisons pour vérifier si ces robots sont intelligents sont défaillants. Imaginez essayer de tester la capacité d'un étudiant à apprendre de nouvelles langues en lui tendant simplement des pages de texte aléatoires. Si les pages traitent toutes du même sujet, l'étudiant semble intelligent mais n'a rien appris de réel. Si les pages sont trop différentes, l'étudiant échoue instantanément. Jusqu'à présent, les chercheurs devinaient comment diviser leurs données pour créer ces tests, inventant souvent des règles qui ne reflètent pas réellement la vie réelle. Ce document, écrit par Kamil Faber, Mateusz Smendowski et Roberto Corizzo, dit : « Arrêtez de deviner. Construisons un test approprié. »

La « Recette » d'un meilleur test

Les auteurs ont réalisé que créer un bon test pour ces robots apprenants est plus difficile que de simplement découper un ensemble de données. Ils ont remarqué que si vous découpez les données par le temps (comme « les données de lundi » contre « les données de mardi »), vous pourriez vous retrouver avec deux jours qui sont en fait identiques. Le robot croirait apprendre quelque chose de nouveau, alors qu'il ne voit que la même chose deux fois. C'est un test ennuyeux. À l'inverse, si vous les découpez de manière trop aléatoire, le robot pourrait faire face à un problème si difficile qu'il abandonne immédiatement.

Pour corriger cela, l'équipe a construit un cadre systématique. Considérez cela comme un chef super intelligent qui ne se contente pas de jeter des ingrédients dans une marmite. Au lieu de cela, ce chef possède une recette stricte pour préparer le parfait « Ragoût d'Apprentissage Continuel ».

Voici comment leur recette fonctionne :

1. Trouver les ingrédients (Découverte de tâches) : D'abord, le cadre examine un énorme tas de données (comme un journal de cybersécurité) et tente de trouver des groupes naturels. Il utilise des astuces mathématiques, comme le regroupement (clustering), pour voir quels morceaux de données vont naturellement ensemble. C'est comme regarder une boîte de briques Lego mélangées et les regrouper par couleur ou par forme, plutôt que d'en saisir une poignée au hasard.
2. Goûter le plat (Évaluation de la tâche) : Avant de servir le test, le cadre effectue un « test de goût ». Il entraîne un robot simple à tâche unique sur chaque groupe de données pour voir si le groupe est réellement apprenable. Si un groupe est trop facile (le robot le résout instantanément) ou trop difficile (le robot ne peut pas l'apprendre du tout), il est rejeté.
3. Vérifier la redondance (Filtrage) : Le cadre vérifie si deux groupes sont essentiellement les mêmes. Si le Groupe A et le Groupe B sont des jumeaux, vous n'avez pas besoin des deux dans le test. Il vérifie également si l'apprentissage du Groupe A rend le Groupe B trop facile. Si le robot apprend le Groupe A et qu'il connaît soudainement le Groupe B sans effort, c'est un mauvais test car il ne teste pas réellement l'apprentissage « continu ».
4. Arranger le menu (Ordonnancement) : C'est la partie la plus créative. Une fois qu'ils ont une liste de bonnes tâches distinctes, ils doivent décider de l'ordre dans lequel le robot les rencontre. Les auteurs ont créé six menus différents ou ordonnancements :
   • Dérive Douce (Smooth Drift) : Le robot voit des changements qui se produisent lentement, comme un coucher de soleil.
   • Dérive Abrupte (Abrupt Drift) : Le robot voit des changements soudains et choquants, comme l'action d'un interrupteur.
   • Curriculum : Le robot commence par des tâches faciles et devient plus difficile (ou l'inverse).
   • Généralisation : Le robot voit des tâches qui l'aident à en apprendre d'autres, ou des tâches qui sont très spécifiques.

Les cinq nouveaux « Jeux »

En utilisant ce cadre, les auteurs n'ont pas seulement écrit une théorie ; ils ont réellement construit cinq nouveaux scénarios de référence (qui sont comme de nouveaux jeux vidéo pour les robots). Ils ont utilisé trois ensembles de données massifs issus du monde de la cybersécurité (CICIDS2017, CICIDS2018 et CIC-UNSW-NB15). Ces ensembles de données sont remplis d'enregistrements de trafic informatique, certains normaux et d'autres représentant des cyberattaques.

Ils ont créé :

• Trois scénarios à jeu de données unique : Ils testent comment un robot gère les changements au sein d'un type spécifique de réseau.
• Deux scénarios multi-jeux de données : Ce sont les « niveaux boss ». Ils mélangent des données provenant de différentes sources, forçant le robot à s'adapter à des environnements complètement différents.

Le résultat est un ensemble de cinq « jeux » distincts, chacun possédant de 5 à 13 différents « niveaux » (tâches). Pour chaque jeu, ils ont fourni les six ordonnancements mentionnés précédemment. Cela signifie que les chercheurs peuvent désormais tester leurs robots de manière équitable, en voyant si le robot peut gérer une dérive lente, un choc soudain ou un mélange de niveaux faciles et difficiles.

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)

Les auteurs ont testé leurs nouveaux tests sur plusieurs types de modèles de détection d'anomalies. Ils ont découvert que :

• Les tests sont difficiles mais équitables : Lorsqu'ils ont laissé les robots apprendre sans astuces de mémoire particulières (une approche « Naïve »), les robots oubliaient beaucoup de ce qu'ils avaient appris. C'est une bonne chose ! Cela signifie que le test est réellement stimulant. Si les robots n'avaient rien oublié, le test aurait été trop facile.
• La mémoire aide : Lorsque les robots étaient autorisés à conserver un petit « tampon de relecture » (un minuscule souvenir des anciennes données), ils performaient beaucoup mieux. Cela confirme que ces nouveaux scénarios sont bons pour tester si un robot peut réellement se souvenir de son passé.
• Tous les robots ne sont pas égaux : Certains modèles étaient excellents pour apprendre de nouvelles choses mais très mauvais pour se souvenir des anciennes. D'autres étaient corrects dans les deux domaines. Le nouveau cadre permet de voir ces différences clairement.

Cependant, les auteurs prennent soin de ne pas prétendre avoir « résolu » le problème de l'apprentissage continu. Ils n'ont pas inventé un nouveau robot qui gagne à tous les coups. Au lieu de cela, ils ont construit un meilleur tableau de score et un meilleur ensemble de jeux. Ils ont montré que les méthodes de test précédentes étaient souvent défaillantes car les tâches n'étaient pas assez distinctes ou étaient mal ordonnées.

Ils ont également noté quelques limites. Leurs tests ne concernent actuellement que les données de cybersécurité (trafic informatique). Ils ne savent pas encore si ce cadre fonctionne parfaitement pour les données médicales ou les données boursières, bien qu'ils le soupçonnent. De plus, la construction de ces tests a nécessité beaucoup de puissance de calcul car ils ont dû entraîner de nombreux « experts à tâche unique » pour vérifier si les tâches étaient bonnes.

Pourquoi cela importe

Imaginez que vous essayiez d'apprendre à un enfant à jouer au football. Si vous ne le laissez jouer que contre un mur qui ne bouge jamais, il pourrait penser qu'il est un professionnel. Mais si vous le placez sur un terrain avec de vrais joueurs qui changent de stratégie chaque minute, vous verrez s'il est vraiment bon.

Ce document est comme la construction de ce véritable terrain. Il offre aux scientifiques un moyen fondé sur des principes et reproductible de tester si leurs « robots » apprennent et s'adaptent réellement, ou s'ils ne font que mémoriser un tour de passe-passe. En fournissant ces cinq scénarios et six ordonnancements, les auteurs disent : « Voici un terrain de jeu équitable. Maintenant, voyons qui peut réellement apprendre. »

L'article conclut que, bien qu'ils n'aient pas réparé les robots eux-mêmes, ils ont réparé la façon dont nous les mesurons. C'est une étape cruciale car, comme le soulignent les auteurs, on ne peut pas améliorer un système si l'on ne peut pas le mesurer correctement. Ils ont remis à la communauté un nouvel ensemble d'outils pour garantir que la prochaine génération de détecteurs d'anomalies soit véritablement prête pour un monde en constante évolution.