💻 computer science

Learning Profiling with Automated Feedback for Supporting the Assessment of Cybersecurity Education

本文提出了一种在网络靶场环境下的 AI 驱动型画像模型，该模型能够持续评估学习者表现，以生成自动化的个性化反馈和自适应学习路径，从而解决网络安全教育在可扩展性和个性化方面的关键挑战。

原作者： Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一个繁忙且充满活力的巨大城市，每个人都与之相连。就像任何城市一样，它也有属于自己的麻烦制造者——黑客、骗子和数字破坏者——他们试图闯入民宅、窃取邮件或关闭发电厂。为了让这座城市保持安全，我们不仅需要更好的锁，更需要培训那些制造和守护这些锁的人。这就是网络安全教育的世界。传统上，学习这项手艺有点像在看烹饪节目：你坐着听老师讲解理论，或者看一段视频。但要真正学会如何烹饪（或黑客攻击），你需要亲手进入厨房。在数字世界中，这个“厨房”被称为网络靶场（cyber range）：一个安全的、隔离的沙盒，学生可以在其中练习破坏与修复，而不会意外烧毁真实的城市。

然而，这些数字厨房存在一个问题。当学生在练习时，老师无法盯着他们的每一个动作，尤其是当三十个学生同时在“烹饪”时。如果一名学生犯了错，他们可能只会得到一个分数，比如“你得了 10 分中的 8 分”，但他们并不知道自己为什么失败，也不知道下一步该怎么做。这就像收到一份考卷，上面只有一个红色的“F”，却没有关于如何更好地学习的评语。这篇论文提出了一个问题：我们能否构建一个智能系统，让它充当一名超级专注的教练，观察学生的一举一动，理解他们独特的优势与劣势，然后为他们提供一份个性化的成绩单和定制的训练计划？

来自布尔诺理工大学的一个团队，即本文的作者们，给出了肯定的回答。他们构建了一个将网络靶场与人工智能相结合的系统，旨在为每个学生创建一个“学习画像”。请将这个画像视为不仅仅是一张静态的成绩单，而是一张关于学生技能的、鲜活的地图。当学生应对网络安全挑战（通常是以一种被称为“夺旗赛/Capture the Flag”的游戏化形式进行，即通过解谜来寻找隐藏的“旗帜”）时，系统会追踪一切：他们花费了多长时间、猜错了多少次、是否请求了提示，以及谜题的难度如何。

该系统并非仅仅统计分数，而是使用一个数学公式来权衡这些因素。它会询问：学生是快速解决了谜题但尝试了多次错误答案吗？他们是轻松完成了简单任务，但在难题面前却止步不前吗？他们是否过度依赖提示？通过对这些数字进行运算，系统会分配一个“画像得分”，这个得分讲述了学生是如何学习的，而不仅仅是他们做对了什么。

奇迹发生在这里：这个得分被输入到一个**大语言模型（LLM）**中，这本质上是一种能够阅读和编写人类语言的高级人工智能。AI 将冰冷的数字转化为温暖、有益的对话。对于学生来说，它会生成一份个性化的反馈报告，内容类似于：“你是寻找隐藏网络漏洞的高手，但你往往在准备阶段过于匆忙。下次尝试在第一步时放慢速度。”它甚至会建议下一个完美的挑战：如果你搞定了简单的任务，它会推动你向更高难度迈进；如果你遇到了困难，它会提供一条稍容易的路径来建立你的信心。

对于教师而言，该系统就像一个水晶球。它汇总所有学生的数据，展示宏观图景。它可以告诉讲师：“你们全班在黑客技术方面都很出色，但大家都在应对同一种特定类型的防火墙防御时遇到了困难，”或者“这项任务对所有人来说都太难了，也许我们需要调整一下。”

为了证明其有效性，该团队用 35 名真实的大学生测试了他们的系统。他们设置了一个场景，要求学生扮演数字侦探和黑客，尝试淹没一个虚假网站或攻破一台服务器。结果非常理想。系统成功追踪了学生的进度，计算了他们独特的画像，并生成了详细、可读的反馈，感觉就像来自人类导师一样。研究表明，这种方法在技术上是可行的，并提供了一种让网络安全培训更加个性化和高效的方法，从而从“一刀切”的评分模式转向一个真正理解每个学习者如何思考和挣扎的系统。虽然论文并未声称这解决了教育中的所有问题，但它展示了一条清晰的路径，即通过人工智能帮助教师为每位学生提供所需的特定指导，助力他们成为网络安全专家。

技术摘要：基于自动化反馈的学习画像，以支持网络安全教育评估

问题陈述
网络安全教育在扩展有效评估与个性化教学方面面临重大挑战。传统的教学方法涵盖了从被动学习到在网络靶场（Cyber Range）和游戏化夺旗赛（CTF）场景中进行动手实践的各种形式，但现有方法在客观评估学习者、反馈的可扩展性以及个性化方面仍存在困难。目前的评分系统通常依赖于简单的积分累加，这无法捕捉技能发展的细微差别，例如所耗时间、尝试次数或对提示的使用情况。此外，人工监督无法满足大规模教学的需求，而现有的自适应框架往往需要针对每个任务阶段进行复杂且易错的人工精细权重配置。目前存在一个关键差距，即如何提供持续的、个体化的学习者画像以及自动化的描述性反馈，从而在不增加教师负担的情况下引导自适应学习路径。

方法论
作者提出了一种集成在网络靶场环境（具体为布尔诺理工大学网络竞技场，简称 BUTCA）中的创新画像模型，以解决上述差距。该方法由三个主要部分组成：

定量画像模型：
系统通过一系列包含多个任务（ $T_{ij}$ ）的情景（ $S_i$ ）来评估学习者表现。该模型通过归一化和聚合三个关键维度来计算加权画像得分（ $\tilde{P}_w(S_i)$ ）：
- 表现得分 ( $\tilde{p}$ )： 由基础分根据任务复杂度（ $C_{ij}$ ）进行调整，并针对提示使用情况（ $r_{ij}$ ）和最终测试答案错误（ $r_{ijq}$ ）进行惩罚得出。
- 时间效率 ( $\tilde{\Delta t}$ )：实际解决时间与预期时间的差值，通过归一化处理，既惩罚过长的持续时间，也限制了极速完成带来的奖励上限。
- 准确度 ( $\tilde{E}$ )：错误尝试次数的相对数量，通过任务复杂度进行归一化。
这些维度使用全局权重（ $w_1, w_2, w_3$ ）组合成标量得分 $\pi(S_i) \in [0, 1]$ 。该得分通过一个确定性函数决定学习者向下一个情景（ $S_y$ ）的过渡，从而有效地创建了使难度与学习者不断演进的需求相匹配的自适应学习路径。
自动化反馈生成系统：
为了将数值型画像数据转化为教学洞察，系统采用了大语言模型（LLM）。为了解决上下文窗口限制并确保数据准确性，作者利用了一个基于 Python 的确定性预处理流水线。该流水线将原始数据（任务得分、时间、尝试次数、提示）过滤并聚合为结构化的 JSON 负载，随后将其传递给 LLM。
- 学生反馈： 通过特定的提示词模式（Prompt Schema）生成，旨在提供个性化总结、识别优缺点、解释测试错误并推荐后续步骤。
- 教师反馈： 通过独立的模式生成，旨在提供群体统计数据、将群体表现与全局基准进行比较，并根据集体数据突出显示难度较大或较易的任务。
- LLM 选项： 系统支持本地 LLM（如 Gemma-7b-it）以保障数据隐私，以及云端 API（如 Llama-3-70B, GPT-4.1-mini）以实现可扩展性，其中的预处理步骤确保了原始用户数据不会以违反上下文限制的方式直接暴露给模型。
集成环境：
该模型运行在基于 CTF 的工作流中，学生在隔离的沙盒环境（虚拟机）中进行交互。数据采集发生在操作层，分析发生在管理层，反馈交付则发生在学习层。

核心贡献
本文概述了三项主要贡献：

一种创新的画像模型： 一种正式化的方法，用于评估学习者在动手训练期间的表现，它超越了简单的积分评分，将时间、尝试次数和提示使用纳入考量，并通过归一化和加权产生全面的画像。
自动化反馈系统： 一个双输出系统，能够生成个体化的描述性反馈供学生使用（包括强弱项分析和错误解释），以及聚合的性能摘要供教师使用，所有这些都由 LLM 和确定性数据流水线驱动。
实证验证： 通过案例研究证明了该方法在真实网络靶场环境中的技术可行性，实现了画像模型与自动化反馈生成的集成。

结果
所提方法通过一项涉及布尔诺理工大学 35 名三年级信息安全专业学生的案例研究得到了验证。学生完成了一个侧重于渗透测试及针对洪水攻击/逻辑攻击韧性的单一训练情景，该情景包含八个不同难度的任务。

技术可行性： 研究证实了画像模型能够成功计算得分并确定情景过渡。
反馈生成： 系统成功使用本地（Gemma-7b-it）和云端（Llama-3-70B, GPT-4.1-mini）LLM 生成了结构化反馈。确定性预处理流水线通过将大量数据（约 9.7 万个 token）减少为符合上下文窗口要求的负载，有效地管理了数据量。
输出质量： 生成的反馈包括个性化的情景总结、主题理解分析、强弱项识别以及针对错误测试答案的详细解释，同时也为教师提供了聚合统计见解。

意义与主张
作者将这项工作定位为弥合网络安全教育评估差距的数据驱动方法。他们声称，通过将画像与自动化反馈相结合，该系统可以：

使评估客观化： 超越简单的评分，基于多维度的性能指标提供关于学习者能力的细致视角。
实现个性化： 通过推荐与学习者当前熟练程度相匹配的自适应学习路径，促进持续发展。
支持教师： 通过提供聚合见解，减轻教育者的认知负荷，并消除了以往自适应框架中存在的需要为每个任务阶段进行手动、精细权重校准的局限性。
可扩展性： 证明了自动化画像和反馈可以在受控的网络靶场环境中部署，以支持学习者的结构化、个体化评估以及教师的聚合总结。

论文结论较为谦逊，指出案例研究展示了该方法的技术可行性，为客观评估和个性化培训提供了一种方法，同时也承认未来的研究方向仍然是开放的。

类似论文