💻 computer science

WebCQ: Cooperative Multi-Agent Deep Reinforcement Learning for Scalable Web GUI Testing

WebCQ 是一种新颖的协作式多智能体深度强化学习框架，它通过集成 QTRAN 协调机制和动态动作空间处理，克服了现有表格化方法的扩展性限制，从而显著提升了大规模商业 Web GUI 测试中的状态探索、动作多样性和故障检测能力。

原作者： Yujia Fan, Sinan Wang, Zebang Fei, Yao Qin, Huaxuan Li, Yepang Liu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yujia Fan, Sinan Wang, Zebang Fei, Yao Qin, Huaxuan Li, Yepang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一座巨大且不断变化的摩天大楼（一个复杂的网站）中寻找每一个隐藏的房间、秘密通道和坏掉的灯泡。你有一支探险家团队（智能体）来协助你。

很长一段时间以来，最好的方法是让每位探险家都随身携带一本巨大的实体笔记本。每当他们看到一个新房间时，就会把它记录下来。如果他们看到了一扇以前见过的门，就会在笔记本中进行核对。这种方法在小型房屋中运行良好，但对于拥有数百万个房间的摩天大楼来说，笔记本变得太重了，导致探险家们不是在行走，而是在不停地写字。这就是旧版测试工具的问题：它们使用的是无法扩展规模的“表格化”（tabular）方法。

随后，研究人员尝试使用“共享笔记本的独立探险家团队”。但他们意识到，如果每个人每走一步都要停下来与所有人交流，整个团队的移动速度会变得极其缓慢。

WebCQ 正式登场。

这篇论文介绍了 WebCQ，这是一种更聪明、更快速的网站测试方式。以下是它的工作原理，通过简单的类比来解释：

1. “聪明的大脑”对比“笔记本”

与其携带沉重的笔记本，WebCQ 的探险家拥有一个聪明的大脑（深度神经网络）。

旧方法： “我在三楼的一扇红门前。”（具体的描述，如果门移动了，就很难记忆）。
WebCQ 方法： “我正对着一个看起来像‘提交’按钮的门，而且我还没怎么按过它。”
神奇之处： 探险家们不仅观察按钮在哪里，还理解这个按钮的“含义”（语义）。他们知道“提交”按钮与“取消”按钮是不同的，即使它们看起来很像。这有助于他们优先处理有趣的“门”，而不是无聊的“门”。

2. “轻量级小聚会”（同步）

过去，如果你有 5 名探险家，他们可能必须停下来等待最慢的那个人赶上来，然后才能分享笔记。这浪费了大量时间。

WebCQ 的解决方案： 他们使用轻量级小聚会。探险家们独立运行（异步执行）。只有当他们有了新的发现需要分享时，才会暂停。如果一名探险家很快，另一名很慢，快的那位不需要原地等待；他们只需一直工作，直到到了更新团队“总计划”的时候。

3. “团队教练”（QTRAN）

这是核心秘诀。论文使用了名为 QTRAN 的算法。

想象一位教练在控制室里观察整个团队。教练看到了单凭一名探险家无法看到的全局图景（“全局状态”）。
教练会对团队说：“干得好，团队！你们共同发现了一个新楼层。”
但诀窍在于：教练还能精准地计算出每位个体探险家对这次成功的贡献程度，即使他们当时身处建筑物的不同区域。这防止了团队成员为了争功而产生分歧，并确保即使在混乱、庞大的环境中，他们也能高效协作。

4. 结果：跑得更快，走得更远

研究人员在八个真实的大型商业网站（如 ESPN、GitHub 和 Fox News）上将 WebCQ 与目前最优秀的工具进行了对比测试。

更多的探索： WebCQ 比之前的最佳工具多发现了 33% 的“房间”（状态）。
更多的动作： 它点击了 42% 更多独特的按钮和链接。
更多的 Bug： 由于它查看了更多地方并尝试了更多操作，它在八个网站中的六个网站上都发现了更多的功能故障（失败）。
可扩展性： 当他们向团队中增加更多探险家时，WebCQ 依然保持着高效和快速。而旧工具在团队规模扩大时，由于花费了太多时间进行协调，效率反而变得更低且更加混乱。

核心总结

WebCQ 就像是将一支探险家团队从携带笨重、缓慢的笔记本，升级为使用带有聪明教练的智能联网平板电脑。它让探险家能够更快、更深入地探索庞大且复杂的网站，发现更多隐藏的 Bug，并且在协作时不会被协调延迟所拖累。它通过让测试过程变得更聪明、更具协作性，解决了“规模过大无法测试”的问题。

技术摘要：WebCQ

问题陈述

现代 Web GUI 软件变得日益复杂，其特征是庞大的状态空间和众多的交互元素。虽然多智能体强化学习（MARL）在 GUI 测试方面展现出了潜力，但现有的方法（如 MARG、Fastbot）依赖于表格强化学习算法（如 Q-learning）。这些方法在处理大规模 Web 环境时面临两个关键限制：

可扩展性问题： 表格化方法受困于“状态爆炸”问题，即随着状态数量的增加，Q 表会无限制增长，这使得它们在复杂的商业网站中难以应用。
协作效率低下： 现有的多智能体框架通常会在并行智能体之间产生严重的通信开销。此外，它们的动作定义通常是“以定位器为中心”的，未能捕捉动作的语义含义（例如，提交表单的意图），这限制了有效的有效性分析以及对动态交互的探索。

方法论：WebCQ

为了解决这些局限性，作者提出了 WebCQ，这是一个旨在实现可扩展 Web GUI 测试的新型协作式多智能体深度强化学习（MARL）框架。WebCQ 将测试任务建模为一个去中心化部分可观测马尔可夫决策过程（Dec-POMDP），并采用了**集中式训练与分布式执行（CTDE）**范式。

核心组件

用于协作的 QTRAN：
与以往依赖简单数据交换的 MARL 方法不同，WebCQ 采用了 QTRAN，这是一种先进的算法，旨在处理复杂的智能体交互，且不依赖于严格的可加性假设。QTRAN 通过使用状态值函数 ( $V_{jt}$ ) 将全局 Q 函数 ( $Q_{jt}$ ) 分解为单个智能体的 Q 函数 ( $Q_i$ )，以解释其中的差异。这使得智能体能够在高维空间中有效地学习协调策略。
轻量级同步机制：
由于 QTRAN 假设智能体是同步的，而 Web 测试本质上是异步的（智能体运行独立的浏览器实例），WebCQ 引入了一种轻量级同步机制。智能体进行独立探索，而不进行步级阻塞。只有当所有智能体都至少收集了一个新转换时，才会触发训练，从而确保有足够的经验进行联合训练，同时避免不必要的等待时间。
语义与探索感知表示：
- 状态向量： WebCQ 不依赖于计算成本高昂的 HTML 标签序列或动态 URL，而是通过计算特定 HTML 标签的平均深度来对 DOM 结构进行编码。这创建了一个适合神经网络的固定维度向量。
- 动作向量： 为了捕捉动作语义，每个 UI 事件都被转化为一个包含三个特征的向量：
  - 文本相似度： 使用预训练的 GloVe 模型，计算按钮文本与正向关键词（如“提交”、“确认”）之间的余弦相似度。
  - 执行频率： 记录该动作被执行的次数，以减少冗余。
  - 探索潜力： 一个代表在生成的子状态中可用动作多样性的向量。
- 动态动作空间处理： 由于每个网页可用的 UI 事件集都在变化，WebCQ 将状态向量与每个候选动作向量进行拼接，并将该对组合输入策略网络（DQN）以估计 Q 值，而不是在固定的动作集上进行预测。
混合奖励函数：
全局奖励是三个组件的乘积，旨在鼓励多样化的长期探索：
- 页面相似度 ( $R_{sim}$ )： 奖励访问与先前访问过的页面不相似的页面。
- 执行频率 ( $R_{exec}$ )： 奖励新的动作，并惩罚重复执行。
- 时间补偿 ( $R_{time}$ )： 一个随测试会话推进而增加的时间项，用以抵消长期探索中的奖励稀疏问题。

主要贡献

新颖的建模方式： 作者首次将多智能体 Web GUI 测试建模为 Dec-POMDP 问题，并引入了 QTRAN 以实现该领域内有效的智能体协作。
可扩展框架： WebCQ 集成了深度强化学习（DRL）与轻量级同步机制，实现了异步探索，同时保持了集中式训练的协作优势。
增强的表示法： 该方法超越了以定位器为中心的定义，在动作向量中加入了语义和探索相关的特征，从而在动态动作空间中实现更有效的决策。
开源： 源代码和实验数据已公开发布，以促进未来的研究。

实验结果

作者在 八个大型商业网站（如 GitHub、ESPN、Gap）上对 WebCQ 进行了评估，并将其与最先进的基准模型进行了对比，包括：WebExplor（扩展至多智能体版本）和 MARG（当前的 MARL 最先进水平），以及两个消融变体（不含通信的 WebCQ 和不含 QTRAN 的 WebCQ）。

探索效率： 在相同的时长预算和智能体数量（5 个智能体）下，WebCQ 探索的状态比 MARG 多 33.3%，执行的唯一动作比 MARG 多 42.2%。
故障检测： 与 MARG 相比，WebCQ 在测试的八个网站中的六个网站上触发了更多的故障。
消融实验洞察：
- 移除通信功能会导致探索状态减少 27.1%。
- 将 QTRAN 替换为更简单的经验共享方案（来自 MARG）会导致性能下降 21.3%，这表明标准的通信规则不足以应对 DRL 设置。
可扩展性：
- 长期性能： 在 20 小时的实验中，WebCQ 保持了较高的动作吞吐量，而 MARG 由于 Q 表扩展导致的协调开销，性能出现了快速下降。
- 智能体规模扩展： 随着智能体数量从 3 个增加到 12 个，WebCQ 的性能稳步提升。相比之下，MARG 的性能在智能体增多时趋于平缓甚至下降，凸显了表格化协调的可扩展性限制。

重要性与主张

本文声称，WebCQ 通过使用深度强化学习和先进的协调机制，克服了现有基于 MARL 方法的关键局限性。作者断言，WebCQ 为现代 Web GUI 测试提供了一个可扩展且有效的解决方案，能够处理大型商业 Web 应用中庞大的状态空间和动态交互，而这些应用是以往方法难以应对的。结果表明，QTRAN、语义动作表示和异步同步的结合，对于在复杂的 Web 环境中实现高探索效率和故障检测至关重要。