🤖 machine learning

Learning Robust Penetration Testing Policies under Partial Observability: A systematic evaluation

本文通过系统性评估表明，历史聚合技术（如帧堆叠和循环架构）在不同网络规模的局部可观测渗透测试场景中，能显著提升近端策略优化（PPO）智能体的收敛速度与鲁棒性。

原作者： Raphael Simon, Pieter Libin, Wim Mees

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Raphael Simon, Pieter Libin, Wim Mees

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在一座从未进入过的建筑中试图破解复杂谜题的侦探。你没有蓝图，不知道贵重物品藏在哪里，也无法看穿墙壁。每当你尝试推开一扇门，你可能会发现一把钥匙、一个锁着的房间，或者什么也找不到。这就是渗透测试（Penetration Testing，简称 Pentesting）的本质：道德黑客试图寻找计算机网络中的安全漏洞。

这篇论文旨在教计算机（一种人工智能，AI）如何扮演那名侦探的角色，但有一个转折：每当侦探进入时，建筑的布局都会发生变化。

问题所在：“盲人”侦探

在现实世界中，黑客并不会获得网络的完整地图。他们必须进行扫描、猜测并记住所发现的内容。用计算机科学术语来说，这被称为部分可观测性（Partial Observability）。AI 在任何给定时刻只能看到真相的一个微小切片。

以往尝试为这项任务训练 AI 的方法，就像是在一个永不改变的建筑中训练侦探。AI 会死记硬背：“如果我在红门处左转，我就能找到宝藏。”但如果建筑布局哪怕只发生轻微变化，AI 就会迷失方向。这就是“过拟合”（Overfitting）——它记住了特定的测试题目，而不是学会了这项技能。

解决方案：“变形”建筑

作者创建了一个名为 StochNASim 的新训练场。你可以把它想象成一座神奇的建筑，每次你进入时，它都会完全重构自己。

新布局： 房间（主机）的数量会变化（有时是 5 个，有时是 8 个）。
新内容： 房间内的家具（软件和服务）也会随之改变。
新门锁： 每次进去时，锁和钥匙（漏洞）都是不同的。

这迫使 AI 不再死记硬背特定的路径，而是开始学习如何像侦探一样“思考”：“我需要四处观察，记住我发现了什么，然后决定下一步该做什么。”

实验过程：如何记忆？

研究人员提出了一个问题：“我们如何教 AI 在变化的建筑中记住它发现的东西？”他们使用一种标准的 AI 学习方法——PPO（近端策略优化）测试了四种不同的“记忆策略”：

“无记忆”基准线： AI 观察当前的房间并进行猜测。它一旦移动就会忘记一切。（就像一个患有健忘症的侦探）。
帧堆叠（Frame Stacking）： AI 查看最后几张建筑的“快照”，以观察发生了什么变化。（就像观看过去几秒钟的短视频剪辑）。
循环网络（LSTM 与 TrXL）： 这些是复杂的、类脑的架构，旨在记忆长篇故事。它们就像拥有超级复杂大脑的侦探，试图将建筑的整个历史都装进脑海里。
增强观测（胜出者）： 这是一个聪明的技巧。与其尝试用复杂的方式去“记忆”，不如让 AI 维护一份不断增长的清单。每当它发现一件信息（例如：“3 号房间有一扇红门”），它就会将其添加到一份可以永久查看的清单中。它不会忘记，它只是在累积事实。

出人意料的结果

实验结果与许多专家的预期相反，甚至有些反直觉：

复杂的脑子失败了： 那些花哨且复杂的记忆系统（LSTM 和 TrXL）表现挣扎。它们试图表现得过于聪明，往往演变成一种“暴力破解”策略：即尝试每一扇可能的门直到其中一扇打开。它们既慢又低效。
简单的清单胜出： 增强观测方法（不断增长的清单）是明显的赢家。它的学习速度比其他方法快了四倍。
为什么？ 这项任务的核心不在于记忆一个复杂的故事，而在于收集事实。AI 不需要一个复杂的脑子来记忆，它只需要一种简单的办法来保留已发现的事实。这种“清单”方法让 AI 能够停止扫描已经检查过的房间，转而专注于那些尚未检查的房间。

核心启示

论文得出结论：对于这类特定类型的网络安全任务，简单即是更好。

你不需要一个超级复杂的 AI 大脑来成为一名优秀的黑客侦探。你只需要一个好用的笔记本。通过给 AI 一个记录已发现信息的简单方式，它学会了高效、稳健，并且能够在完全陌生的网络布局中应对自如而不产生混乱。

作者还证明了在“变形”环境（StochNASim）中进行训练至关重要。如果你在一个静态、不变的网络中训练 AI，它在现实世界中会变成一个糟糕的侦探。但如果你在混乱、多变的动态环境中训练它，它就能学会适应并在任何地方取得成功。

简而言之： 要教 AI 攻击网络，不要给它一个超级复杂的记忆系统；给它一张永远不会被擦掉的便利贴。并且，确保你在一个每次走进都会发生变化的建筑中进行练习。

技术摘要：学习部分可观测性下的鲁棒渗透测试策略

问题陈述

渗透测试（pentesting）是一个序列决策过程，安全专业人员通过模拟网络攻击来识别漏洞。这项任务本质上具有部分可观测性的特征；智能体无法获取完整的网络状态（拓扑结构、主机配置、运行中的服务），必须通过侦察行动逐步发现这些信息。虽然强化学习（RL）已成功应用于自动化渗透测试，但现有的大多数方法都将该问题形式化为完全可观测的马尔可夫决策过程（MDP）。这种假设简化了现实世界的复杂情况，而在现实中，信息收集是任务的核心组成部分。此外，当前的方法通常存在过拟合问题，即智能体倾向于记忆特定的网络配置，而非学习能够泛化到未见场景的可迁移策略。挑战在于开发能够有效聚合历史观测以构建信念状态（belief state）、适应随机网络动态，并在不同规模和拓扑的网络间进行泛化的智能体。

方法论

环境：StochNASim

作者扩展了网络攻击模拟器（NASim）以创建 StochNASim，这是一个旨在更好地反映现实世界复杂性的新环境。关键修改包括：

随机性： 与使用固定拓扑结构的 NASim 不同，StochNASim 在每次回合（episode）重置时都会重新生成网络拓扑、主机属性（操作系统、服务、进程）和初始状态。
可变网络规模： 该环境支持不同规模（5 到 8 台主机）的网络，迫使智能体在单个策略内处理不同的动作空间维度和观测计数。
部分可观测性： 观测是瞬时的且与特定动作相关。扫描主机仅在当前时刻揭示其属性（如操作系统、服务）；如果没有显式的记忆机制，这些信息会在后续步骤中丢失。
奖励结构： 智能体因发现主机和攻破敏感目标而获得奖励，并因动作成本（扫描比漏洞利用更便宜）而受到惩罚。

算法方法

本研究对旨在处理部分可观测性的近端策略优化（PPO）变体进行了系统的实证评估，并将它们与缺乏特定记忆机制的 vanilla PPO 基准模型进行了对比。评估的方法包括：

帧堆叠（PPO-FS）： 拼接最后 $f_n$ 个观测值，以提供短期时间上下文。
增强观测（PPO-AO）： 通过维护一个矩阵来显式聚合观测历史，矩阵中的每个元素是当前观测值与先前观测值之最大值。这创建了一个持久的发现信息记录，模拟了人类渗透测试人员记录笔记的行为。
循环架构：
- LSTM (PPO-LSTM)： 使用长短期记忆网络来隐式编码观测历史。
- Transformer-XL (PPO-TrXL)： 利用注意力机制来捕捉观测序列中的长期依赖关系。

实验设置

超参数调优： 使用 Optuna 进行了严格搜索（每个算法 250 次试验），以确保公平比较并避免调优伪影。
评估： 策略在五个控制种子下进行测试，并在新生成的环境中进行评估以衡量泛化能力。
分析： 除了定量指标（累积奖励、收敛速度）外，作者还通过动作序列可视化和动作类型分布进行了定性分析，以理解学习到的策略。

关键结果

性能与收敛

PPO-AO 的优越性： PPO-AO（增强观测）方法始终优于其他所有方法。它的收敛速度比其他方法快四倍（在约 1M 步达到最优性能，而其他方法需要 4M 步），并实现了最高的累积奖励。
复杂架构表现不佳： 与认为 POMDP 需要复杂记忆机制的假设相反，PPO-LSTM 和 PPO-TrXL 的表现并不理想。PPO-TrXL 特别未能学习到扫描行为，而是采取了一种“暴力破解”策略，即按顺序尝试所有可能的漏洞利用。PPO-LSTM 在学习有效的历史表示方面表现挣扎，完成任务所需的步数几乎是 PPO-AO 的两倍。
基准模型的局限性： 缺乏任何历史机制的 Vanilla PPO 学习到了具有高随机性和不确定性的次优策略，未能实现有效泛化。

泛化与随机性

鲁棒性： 在随机 StochNASim 环境中训练的策略在未见的网络配置中展示了强大的泛化能力。
静态环境中的过拟合： 一个关键发现是，在固定场景环境（如标准 NASim）中训练的策略在测试新网络时出现了灾难性的失败。这些智能体似乎是在记忆特定的“观测-动作”序列（查找表策略），而不是学习如何聚合信息，这凸显了随机训练环境对于学习鲁棒策略的必要性。

定性行为分析

对学习到的策略进行人工检查显示，尽管在某些情况下最终奖励相似，但它们存在明显的策略差异：

PPO-AO： 学习到了一种优化的、类人的策略：系统地扫描以收集情报，保留该信息，然后执行有针对性的漏洞利用。
PPO-TrXL： 学习到了一种暴力破解的方法，在没有事先侦察的情况下，按顺序尝试每一个漏洞利用和权限提升。
PPO-FS： 表现出中间行为，进行了一些扫描，但过度依赖于顺序漏洞利用。

意义与贡献

本文声称有四个主要贡献：

StochNASim 环境： 将 NASim 改造成一个具有部分可观测性和随机性的环境，并具备可变的网络规模，这更好地反映了现实世界的挑战，并有助于学习可迁移的策略。
系统性评估： 对用于处理渗透测试中部分可观测性的 PPO 类方法进行了全面的实证比较，包括严格的超参数调优。
对架构复杂性的挑战： 证明了简单的观测增强（PPO-AO）在这一领域显著优于复杂的循环（LSTM）和 Transformer（TrXL）架构。这挑战了传统的假设，即复杂的记忆机制对于处理部分可观测的安全任务是必要的。
定性策略分析： 提供了一种详细的已学习行为分析，揭示了具有相似定量性能的算法可能会学习到截然不同（且有时是次优的）策略，强调了在评估 RL 智能体时不能仅看学习曲线。

作者得出结论，对于特定的自动化渗透测试领域，由于其目标是信息检索与保留，通过简单的增强来进行显式的历史聚合，比通过复杂的神经架构学习隐式表示更为有效且计算效率更高。此外，研究强调，随机训练环境对于防止过拟合以及确保策略足够鲁棒以进行实际部署至关重要。