💻 computer science

ATGBuilder: Feature-Assisted Graph Learning for Activity Transition Graph Construction with Seed Supervision

ATGBuilder 是一个特征辅助的图学习框架，它利用大语言模型来总结 UI 元数据，并显式地对组件-触发器信息进行建模，从而与现有的最先进方法相比，显著提高了 Android 应用程序活动转换图（Activity Transition Graph）构建的准确性。

原作者： Chenhui Cui, Zixiang Xian, Danyu Li, Tao Li, Rubing Huang, Dave Towey, Shikai Guo, Jiakun Liu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenhui Cui, Zixiang Xian, Danyu Li, Tao Li, Rubing Huang, Dave Towey, Shikai Guo, Jiakun Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个由数千个房间组成的巨大且复杂的迷宫。每个房间都是一个 Android 应用中的屏幕，而房间之间的门则是你在不同屏幕之间移动的方式。在软件测试的世界里，我们将这张地图称为活动转换图（Activity Transition Graph, ATG）。它是一份蓝图，展示了用户如何在应用中进行导航。

绘制这张地图极其困难：

静态分析（在不运行应用的情况下查看其代码）就像是通过观察蓝图来绘制地图。它很快，但往往会错过那些只有在“开灯”时才会开启的门，或者画出一些通往砖墙的死路。
动态探索（实际运行应用并点击操作）就像是派出一个机器人去迷宫中行走。它能找到真实的门，但机器人会累，会没电，而且在放弃之前只能绘制出迷宫极小的一部分。

AtgBuilder 是一款旨在解决这一问题的全新工具。它扮演着一位超级聪明的侦探角色，结合了阅读蓝图的速度与人类探索者的直觉，从而绘制出一张完整且准确的地图。

以下是它的工作原理，我们使用简单的类比来解释：

1. “摘要”技巧（解决“长得像”的问题）

想象两家不同的咖啡馆。一家设计现代、线条流畅，有着玻璃墙；另一家则是温馨的乡村小屋，有着木质横梁。它们看起来完全不同，但都提供同样的东西：咖啡。

旧的方法试图通过观察“木头”或“玻璃”（具体的视觉布局）来绘制应用地图。这种方法失败了，因为相同的功能（如“登录”）在每个应用中看起来可能完全不同。

Atg-Builder 的解决方案： 它使用了一个大语言模型（LLM）——把它想象成一位非常聪明的图书管理员——来阅读屏幕的蓝图，并写下一句关于该屏幕“功能”的摘要。

它不会说“这个屏幕有一个蓝色按钮和一个白色方框”，而是说：“这是登录界面。”
现在，即使两个应用看起来截然不同，系统也能知道它们都是“登录界面”，并能预测它们如何与其他部分连接。它关注的是功能，而不是家具。

2. “谁按了按钮？”技巧（解决“哪扇门？”的问题）

在一个房间里，你可能会看到红门、蓝门和绿门。如果你只说“从房间 A 到房间 B”，你并不知道是通过哪扇门过去的。但在应用中，你按下的特定按钮（组件/Widget）至关重要。

AtgBuilder 的解决方案： 它不仅仅是在两个房间之间画一条线，还在这条线上附带一个“标签”，说明究竟是哪个按钮打开了这扇门。

它将按钮信息视为路径上的一个独立标签，而不仅仅是房间描述的一部分。
为了确保能记住这些标签，它在训练过程中玩了一个小游戏：它尝试根据刚刚绘制的路径来猜出按钮的名字。如果猜对了，它就学得更好；如果猜错了，它就会进行调整。这确保了“谁按了按钮”这一细节不会丢失。

3. “智能猜测”引擎

一旦 AtgBuilder 拥有了摘要和按钮标签，它就会使用图神经网络（GNN）。你可以把它想象成一个超强的模式匹配器。

它观察“登录界面”的摘要和“主页界面”的摘要。
它观察其他应用是如何连接这两个屏幕的历史记录。
它观察具体的按钮标签。
然后，它进行预测：“存在一扇连接这两个屏幕的门的概率为 90%。”

它真的有效吗？

研究人员在 98 个不同的应用上测试了它，在这些应用中，已经由人类绘制好了“正确”的地图（地面真值/Ground Truth）。

结果： AtgBuilder 的表现显著优于现有的最佳工具。与之前的方法相比，它将地图的准确度提高了约 15% 到 77%。
“鲁棒性”测试： 他们甚至尝试通过喂给系统错误的数据（例如告诉它存在一扇并不存在的门）来欺骗系统。AtgBuilder 非常顽强；它不容易被迷惑，并且依然能绘制出良好的地图。

“GPS”加成

最后，研究人员问道：“如果我们把这张地图交给自动化的测试机器人，会有帮助吗？”

他们拿了三个流行的测试机器人（Monkey、APE 和 FastBot2），并将 AtgBuilder 的地图作为“GPS 导航指南”交给了它们。
结果： 这些机器人探索了更多的房间，并找到了更多的门，比它们独自探索时做得更多。这张地图并没有取代机器人，它只是给了它们更好的方向感，这样它们就不会在原地转圈浪费时间。

总结

AtgBuilder 是一个帮助我们理解 Android 应用运作方式的工具，它通过以下方式实现：

忽略杂乱的视觉细节，专注于屏幕实际的功能（使用 AI 摘要）。
记住究竟是哪个特定按钮打开了门。
使用智能模式匹配引擎来填补应用地图中缺失的部分。

这使得我们能够获得更完整、更准确的应用地图，从而帮助开发人员和测试人员更快地发现 Bug 并理解软件。

技术摘要：AtgBuilder

问题陈述

Android 应用程序依赖 Activity 转换图（Activity Transition Graphs, ATGs） 来建模 GUI 导航，这构成了自动化测试和行为分析的基础层。然而，构建高质量的 ATG 仍然具有挑战性，主要由于现有方法的局限性：

静态分析： 像 Frontmatter 这样的方法可以在不执行的情况下提取转换，但往往存在假阴性（遗漏可行转换）和假阳性（包含不可行转换）的问题。
动态探索： 像 Monkey 或 APE 这样的工具可以生成可靠的转换，但由于时间预算有限，往往会导致生成的图不完整。
基于学习的方法： 最近的方法将 ATG 构建视为一种基于种子监督的链路预测任务。然而，它们通常未能充分利用 Activity 布局信息 和 Widget 触发信息。具体而言，它们难以表示不同 UI 实现之间的功能相似性，并且往往无法区分同一 Activity 对中由不同 Widget 触发的导航。

方法论：AtgBuilder

作者提出了 AtgBuilder，一种用于种子监督下 ATG 构建的特征辅助图学习方法。该框架通过三个核心设计选择来解决上述挑战：

1. 面向功能的 Activity 表示

为了克服相同功能在不同 UI 布局中的差异性（例如，一个订阅列表在一个应用中以全屏视图实现，而在另一个应用中以底栏视图/bottom-sheet 实现），AtgBuilder 避免依赖原始布局结构。

LLM 摘要： 它使用大语言模型（GPT-4o）将每个 Activity 的 UI 元数据（布局树、Widget 类型、文本）总结为简洁的一句话功能描述。
嵌入（Embedding）： 这些摘要使用句子嵌入模型（MiniLM）进行编码，而 Activity 标识符则使用词级编码器（BERT）进行编码。两者融合后创建出强调语义功能而非实现细节的节点特征。

2. 显式 Widget 触发建模

为了解决仅将转换建模为 Activity 对时丢失触发上下文的问题：

边属性： Widget 触发信息（例如特定的按钮或监听器）被显式地建模为 边属性，而不是混合在 Activity 节点表示中。这保留了共享相同源 Activity 和目标 Activity 的不同转换之间的区别。
辅助重构目标： 在训练期间，一个辅助的多层感知器（MLP）尝试从潜在的边表示中重构 Widget 属性向量。这起到了正则化器的作用，迫使模型在学习到的表示中保留 Widget 触发信息，而不使其成为唯一的预测信号。

3. 图学习架构

AtgBuilder 将 ATG 构建建模为在由静态分析（Frontmatter）衍生的种子图上的链路预测问题。

编码器： 一个两层的图同构网络（GIN）通过整合节点特征和图连通性来计算潜在的 Activity 表示。
解码器： 一个 基于引力的解码器 用于预测转换是否存在。它根据目标 Activity 的“吸引力”以及源与目标在潜在空间中嵌入之间的欧几里得距离来计算得分。
训练目标： 模型优化两个损失函数的加权和：
1. 链路预测损失： 用于预测转换存在的二元交叉熵损失。
2. Widget 重构损失： 用于重构正向边上 Widget 属性的均方误差（MSE）。
鲁棒性机制： 为了处理噪声种子标签，模型采用了 种子一致性正则化（确保在随机扰动下预测保持一致）和 自助法（Bootstrapping）（将种子标签与模型预测混合）。

核心贡献

AtgBuilder 框架： 一种新颖的方法，通过结合静态 UI 元数据来增强分析衍生的种子 ATG，从而利用图学习预测缺失的转换。
LLM 驱动的 Activity 表示： 一种将复杂 UI 布局转换为归一化功能摘要的方法，提高了跨应用的泛化能力。
感知 Widget 的边建模： 将 Widget 触发信息作为边属性进行显式分离，并辅以辅助重构目标以保留触发上下文。
全面的评估： 通过在 98 个应用的基准数据集上进行广泛的消融实验、与七种最先进（SOTA）基准方法的对比，以及对模型在指导自动化 GUI 探索工具方面的效用评估。

实验结果

作者在 Frontmatter 语料库（用于消融研究）和包含人工验证真值 ATGs 的 98 个应用基准数据集 上评估了 AtgBuilder。

性能对比 SOTA： 在 98 个应用的基准测试中，AtgBuilder 优于七种 SOTA 基准方法（包括 Monkey、Stoat、APE 和 FastBot2）。具体而言，它比表现最好的基准方法在 F1 分数上提升了 15.41% 至 77.34%。通过微调并使用验证集选定的阈值，模型实现了 93.63% 的召回率 和 81.01% 的 F1 分数。
消融研究洞察：
- 特征融合： 加入 LLM 生成的 Activity 摘要带来了最显著的性能提升，证实了语义功能比原始标识符或布局结构更具鲁棒性。
- Widget 信息： 虽然 Widget 特征提供了辅助改进，但辅助重构目标对于维持性能稳定性至关重要。
- 阈值设定： 使用验证集选定的阈值 ( $t^*$ ) 而非固定的 0.5，显著提高了召回率和 F1 分数。
- 噪声鲁棒性： AtgBuilder 在合成标签噪声下保持了鲁棒性（在某些设置下噪声率高达 100%），表现优于仅基于种子的基准方法。
实际效用： 当作为 Monkey、APE 和 FastBot2 的轻量级导航指南时，AtgBuilder 在不改变底层事件生成逻辑的前提下，显著提升了 Activity 覆盖率（最高达 +25.0%）和 转换覆盖率（最高达 +26.5%）。

意义与主张

本文声称 AtgBuilder 通过利用 特征辅助图学习，为动态探索的不完整性和静态分析的不可行性提供了一个切实可行的解决方案。

泛化性： 通过优先考虑功能摘要而非 UI 实现细节，该方法在不同的应用设计之间具有更好的泛化能力。
互补性： 结果表明 AtgBuilder 并非取代现有的自动化探索工具，而是与其形成互补。通过提供一个结构化指南（预测的 ATG），它引导探索引擎转向尚未充分探索的 Activity 和转换，从而提高覆盖效率。
鲁棒性： 模型处理噪声种子监督和不同噪声注入模式的能力，表明其在真实场景（即真值数据稀缺或不完美时）中的可行性。

作者总结道，虽然 Activity 级别的 ATG 无法捕捉细粒度的 UI 状态（如 Fragment 或 WebView 内容），但它们提供了必要且基础的导航层。AtgBuilder 证明了将 LLM 衍生的语义特征与图学习相结合，可以有效地重建高质量的 Activity 转换图，从而增强自动化 GUI 测试的效能。