💻 computer science

Learning Profiling with Automated Feedback for Supporting the Assessment of Cybersecurity Education

Cet article présente un modèle de profilage piloté par l'IA au sein d'un environnement de cyber range qui évalue continuellement la performance de l'apprenant afin de générer des retours automatisés et personnalisés ainsi que des parcours d'apprentissage adaptatifs, répondant ainsi aux défis clés de l'extensibilité et de la personnalisation pour l'enseignement de la cybersécurité.

Auteurs originaux : Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une ville géante et bouillonnante où tout le monde est connecté. Comme toute ville, elle a sa part de fauteurs de troubles — hackers, escrocs et vandales numériques — qui tentent de s'introduire dans les maisons, de voler le courrier ou de couper l'électricité des centrales. Pour garder cette ville en sécurité, nous n'avons pas seulement besoin de meilleures serrures ; nous devons former les personnes qui fabriquent et gardent ces serrures. C'est le monde de l'éducation à la cybersécurité. Traditionnellement, apprendre ce métier a un peu ressemblé à regarder une émission de cuisine : vous vous asseyez et écoutez un professeur expliquer la théorie, ou peut-être vous regardez une vidéo. Mais pour réellement apprendre à cuisiner (ou à hacker), il faut se salir les mains dans la cuisine. Dans le monde numérique, cette « cuisine » est appelée un cyber range (un environnement de simulation) : un bac à sable sûr et isolé où les étudiants peuvent s'exercer à casser et à réparer des choses sans accidentellement brûler la vraie ville.

Cependant, il y a un problème avec ces cuisines numériques. Lorsqu'un étudiant s'exerce, un professeur ne peut pas rester penché au-dessus de son épaule pour chaque mouvement, surtout si trente étudiants cuisinent en même temps. Si un étudiant fait une erreur, il peut simplement obtenir un score, du type « Vous avez obtenu 8 sur 10 », mais il ne sait pas pourquoi il a échoué ni quoi faire ensuite. C'est comme recevoir une copie avec un « F » rouge sans aucun commentaire sur la façon de mieux étudier. Cette publication pose la question suivante : pouvons-nous construire un système intelligent qui agisse comme un coach super attentif, observant chaque mouvement d'un étudiant, comprenant ses forces et ses faiblesses uniques, puis lui fournissant un bulletin personnalisé et un plan d'entraînement sur mesure ?

Les auteurs de cet article, une équipe de l'Université de technologie de Brno, disent que oui. Ils ont construit un système qui combine un cyber range avec l'intelligence artificielle pour créer un « profil d'apprentissage » pour chaque étudiant. Pensez à ce profil non pas comme un bulletin statique, mais comme une carte vivante et évolutive des compétences d'un étudiant. Tandis qu'un étudiant s'attaque à des défis de cybersécurité (souvent sous une forme ludique appelée Capture the Flag, où l'on résout des énigmes pour trouver des « drapeaux » cachés), le système suit tout : le temps qu'il a pris, le nombre de fois où il s'est trompé, s'il a demandé des indices et la difficulté de l'énigme.

Au lieu de simplement compter les points, le système utilise une formule mathématique pour pondérer ces facteurs. Il se demande : L'étudiant a-t-il résolu l'énigme rapidement mais avec de nombreuses erreurs ? A-t-il traversé facilement les tâches faciles mais s'est-il retrouvé bloqué sur les plus difficiles ? S'est-il trop appuyé sur les indices ? En analysant ces chiffres, le système attribue un « score de profilage » qui raconte l'histoire de comment l'étudiant a appris, et pas seulement de ce qu'il a réussi.

C'est ici que la magie opère : ce score est injecté dans un Large Language Model (LLM), qui est essentiellement une IA très avancée capable de lire et d'écrire le langage humain. L'IA transforme ces chiffres froids et bruts en une conversation chaleureuse et utile. Pour l'étudiant, elle génère un rapport de rétroaction personnalisé qui dit des choses comme : « Vous êtes un magicien pour trouver des vulnérabilités réseau cachées, mais vous avez tendance à précipiter la phase de configuration. La prochaine fois, essayez de ralentir lors de la première étape. » Elle suggère même le prochain défi parfait : si vous avez excellé dans les tâches faciles, elle vous pousse vers un niveau plus difficile ; si vous avez eu du mal, elle propose un chemin légèrement plus facile pour renforcer votre confiance.

Pour les enseignants, le système agit comme une boule de cristal. Il agrège toutes les données des étudiants pour montrer la vue d'ensemble. Il peut dire à l'instructeur : « Votre classe entière est excellente en piratage, mais tout le monde éprouve des difficultés avec ce type spécifique de défense de pare-feu », ou « Cette tâche particulière était beaucoup trop difficile pour tout le monde ; peut-être devrions-nous l'ajuster. »

Pour prouver que cela fonctionne, l'équipe a testé leur système avec 35 véritables étudiants universitaires. Ils ont mis en place un scénario où les étudiants devaient agir comme des détectives numériques et des hackers, tentant d'inonder un faux site web ou de s'introduire dans un serveur. Les résultats étaient prometteurs. Le système a réussi à suivre les progrès des étudiants, à calculer leurs profils uniques et à générer des commentaires détaillés et lisibles qui semblaient provenir d'un mentor humain. L'étude suggère que cette approche est techniquement réalisable et offre un moyen de rendre la formation en cybersécurité plus personnelle et efficace, passant d'une notation uniforme à un système qui comprend véritablement comment chaque apprenant pense et lutte. Bien que l'article ne prétende pas résoudre tous les problèmes de l'éducation, il montre une voie claire vers un avenir où l'IA aide les enseignants à donner à chaque étudiant les conseils spécifiques dont il a besoin pour devenir un expert en cybersécurité.

Résumé technique : Profilage de l'apprentissage avec rétroaction automatisée pour soutenir l'évaluation de l'enseignement de la cybersécurité

Problématique
L'enseignement de la cybersécurité est confronté à des défis importants concernant le passage à l'échelle de l'évaluation efficace et de la personnalisation. Bien que les méthodes traditionnelles varient de l'apprentissage passif aux exercices pratiques dans des cyber-arènes et des scénarios de Capture the Flag (CTF) gamifiés, les approches existantes peinent à assurer une évaluation objective des apprenants, la scalabilité de la rétroaction et la personnalisation. Les systèmes de notation actuels reposent souvent sur une simple accumulation de points, ce qui ne parvient pas à capturer la nuance du développement des compétences, telles que le temps de résolution, le nombre de tentatives ou le recours aux indices. De plus, la supervision manuelle est insuffisante pour les groupes nombreux, et les cadres adaptatifs existants nécessitent souvent une configuration manuelle complexe et sujette à l'erreur de poids de performance précis pour chaque phase de tâche. Il existe un écart critique dans la fourniture d'un profilage continu et individualisé de l'apprenant ainsi que d'une rétroaction descriptive automatisée capable de guider des parcours d'apprentissage adaptatifs sans surcharger les instructeurs.

Méthodologie
Les auteurs proposent un modèle de profilage innovant intégré dans un environnement de cyber-arène (plus précisément la Brno University of Technology Cyber Arena, ou BUTCA) pour combler ces lacunes. La méthodologie se compose de trois composantes principales :

Modèle de profilage quantitatif :
Le système évalue la performance de l'apprenant à travers une série de scénarios ( $S_i$ ) contenant plusieurs tâches ( $T_{ij}$ ). Le modèle calcule un score de profilage pondéré ( $\tilde{P}_w(S_i)$ ) en normalisant et en agrégeant trois dimensions clés :
- Score de performance ( $\tilde{p}$ ) : Dérivé des points de base ajustés selon la complexité de la tâche ( $C_{ij}$ ) et pénalisés par l'utilisation d'indices ( $r_{ij}$ ) et les mauvaises réponses finales aux tests ( $r_{ijq}$ ).
- Efficacité temporelle ( $\tilde{\Delta t}$ ) : La différence entre le temps de résolution réel et le temps attendu, normalisée pour pénaliser une durée excessive tout en plafonnant les récompenses pour une complétion extrêmement rapide.
- Précision ( $\tilde{E}$ ) : Le nombre relatif de tentatives incorrectes, normalisé par la complexité de la tâche.
Ces dimensions sont combinées à l'aide de poids globaux ( $w_1, w_2, w_3$ ) pour produire un score scalaire $\pi(S_i) \in [0, 1]$ . Ce score détermine la transition de l'apprenant vers le scénario suivant ( $S_y$ ) via une fonction déterministe, créant ainsi des parcours d'apprentissage adaptatifs qui alignent la difficulté avec les besoins évolutifs de l'apprenant.
Système de génération de rétroaction automatisée :
Pour transformer les données de profilage numériques en enseignements pédagogiques, le système utilise des modèles de langage de grande taille (LLM). Pour remédier aux limitations de la fenêtre de contexte et garantir l'exactitude des données, les auteurs utilisent un pipeline de prétraitement déterministe en Python. Ce pipeline filtre et agrège les données brutes (scores de tâches, temps, tentatives, indices) en charges utiles JSON structurées avant qu'elles ne soient transmises au LLM.
- Rétroaction pour l'étudiant : Générée via un schéma de prompt spécifique pour fournir des résumés personnalisés, identifier les forces et faiblesses, expliquer les erreurs de test et recommander les prochaines étapes.
- Rétroaction pour l'instructeur : Générée via un schéma distinct pour fournir des statistiques de groupe agrégées, comparer la performance du groupe par rapport aux références mondiales et mettre en évidence les tâches difficiles ou faciles basées sur les données collectives.
- Options de LLM : Le système prend en charge à la fois des LLM locaux (ex. : Gemma-7b-it) pour la confidentialité des données et des API basées sur le cloud (ex. : Llama-3-70B, GPT-4.1-mini) pour l'évolutivité, l'étape de prétraitement garantissant que les données brutes de l'utilisateur ne sont pas directement exposées au modèle d'une manière qui violerait les limites de contexte.
Environnement d'intégration :
Le modèle opère dans un flux de travail basé sur le CTF où les étudiants interagissent avec des environnements de bac à sable isolés (machines virtuelles). La collecte de données se produit au niveau opérationnel, l'analyse au niveau de la gestion et la livraison de la rétroaction au niveau de l'apprentissage.

Contributions clés
L'article présente trois contributions principales :

Un modèle de profilage innovant : Une méthode formalisée pour évaluer la performance de l'apprenant lors de formations pratiques qui dépasse le simple score de points pour inclure le temps, les tentatives et l'utilisation d'indices, le tout normalisé et pondéré pour produire un profil holistique.
Système de rétroaction automatisée : Un système à double sortie qui génère une rétroaction descriptive et individualisée pour les étudiants (incluant l'analyse des forces/faiblesses et l'explication des erreurs) et des résumés de performance agrégés pour les instructeurs, le tout piloté par des LLM et un pipeline de données déterministe.
Validation empirique : Une étude de cas démontrant la faisabilité technique de l'approche au sein d'un environnement de cyber-arène réel, intégrant le modèle de profilage à la génération de rétroaction automatisée.

Résultats
L'approche proposée a été validée par une étude de cas impliquant 35 étudiants de troisième année en sécurité de l'information à l'Université de technologie de Brno. Les étudiants ont complété un scénario de formation unique axé sur les tests d'intrusion et la résilience contre les attaques de type flooding/logiques, composé de huit tâches de difficultés variables.

Faisabilité technique : L'étude a confirmé que le modèle de profilage pouvait calculer avec succès les scores et déterminer les transitions de scénarios.
Génération de rétroaction : Le système a réussi à générer une rétroaction structurée en utilisant à la fois des LLM locaux (Gemma-7b-it) et basés sur le cloud (Llama-3-70B, GPT-4.1-mini). Le pipeline de prétraitement déterministe a géré efficacement le volume important de données (environ 97k tokens) en les réduisant en charges utiles conformes à la fenêtre de contexte.
Qualité de la sortie : La rétroaction générée comprenait des résumés de scénarios personnalisés, une analyse de la compréhension des sujets, l'identification des forces/faiblesses et des explications détaillées pour les mauvaises réponses aux tests, ainsi que des informations statistiques agrégées pour l'instructeur.

Signification et affirmations
Les auteurs positionnent ce travail comme une méthode basée sur les données pour combler le fossé dans l'évaluation de l'enseignement de la cybersécurité. Ils affirment qu'en intégrant le profilage à la rétroaction automatisée, le système :

Objective l'évaluation : Va au-delà du simple scoring pour fournir une vue nuancée de la compétence de l'apprenant basée sur de multiples indicateurs de performance.
Permet la personnalisation : Facilite le développement continu en recommandant des parcours d'apprentissage adaptatifs qui correspondent au niveau de maîtrise actuel de l'apprenant.
Soutient les instructeurs : Réduit la charge cognitive des éducateurs en fournissant des informations agrégées et en éliminant le besoin de calibration manuelle et fine des poids pour chaque phase de tâche, une limitation identifiée dans les cadres adaptatifs précédents.
Évolutivité : Démontre que le profilage et la rétroaction automatisés peuvent être déployés dans des environnements de cyber-arène contrôlés pour soutenir des évaluations structurées et individualisées pour les apprenants ainsi que des résumés agrégés pour les instructeurs.

L'article conclut modestement, affirmant que l'étude de cas démontre la faisabilité technique de l'approche, contribuant à une méthode d'évaluation objective et de formation personnalisée, tout en reconnaissant que les futures directions de recherche restent ouvertes.

Articles similaires