技术摘要：利用大语言模型从 Android 源代码自动生成准确的隐私说明

问题陈述

应用隐私通知是向用户和监管机构告知应用收集了哪些个人信息、如何使用这些信息以及为何使用这些信息的关键人工制品。这些通知通常依赖于“隐私说明（privacy captions）”——即描述这些行为的简洁自然语言句子。然而，为应用生成准确的说明对开发者而言是一项沉重的负担，特别是对于缺乏隐私专业知识的小型团队。现有的做法（例如使用在线政策生成器、复制相似应用的说明或手动标注代码）经常导致生成的说明与应用的实际行为不符，存在不准确、不完整或不一致的问题。这种差异可能导致监管罚款和应用被移除。

现有的自动化隐私通知生成方法存在三个主要局意：

1. 开发者负担高： 许多工具需要大量的手动输入，例如标注源代码或回答详细的调查问卷。
2. 上下文有限或不准确： 自动化方法通常依赖于受限的源代码上下文（例如，仅使用调用图中的前几个方法），或者依赖于可能不准确的输入（如隐私政策），而隐私政策往往被已知会误传实际的应用行为。
3. 格式特定性： 许多方法生成的特定通知格式（例如法律化的隐私政策）难以适配到其他格式，如权限说明或应用商店描述。

方法论：PCapGen

作者提出了 PCapGen（隐私说明生成器），这是一个旨在自动识别 Android 源代码中的隐私行为，并在无需开发者输入的情况下生成准确、简洁且完整的隐私说明的框架。该框架由三个主要部分组成：

1. 识别器：基于启发式的污点分析

识别器组件旨在追踪应用内个人信息的流向（污点路径）。

• 挑战： 传统的污点分析工具（如 FlowDroid）依赖于预定义的“源（source）”（数据入口）和“汇（sink）”（数据出口）方法列表。它们在识别涉及未知汇方法的路径时表现不佳，而这类方法在自定义应用逻辑中非常常见。
• 创新： 作者开发了一种新型的基于启发式的方法。他们不再仅仅依赖预先列出的汇，而是从一个已知的源 API 开始构建调用图，直到固定的深度（基于对 50 个应用的经验分析，确定为六层）。在该深度内的所有方法都被视为潜在的汇候选对象。随后运行污点分析以提取有效的路径。
• 范围： 该方法在 80 个非位置 API 源（涵盖 WiFi、账户、网络、摄像头、存储和传感器）上进行了测试。它成功识别了 WiFi、网络和账户 API 的有效污点路径，但在处理摄像头和存储 API 时面临限制，原因是异步回调或组件化流在调用图中未能被捕获。

2. 提取器：源代码上下文构建

提取器将识别出的污点路径转换为适合大语言模型（LLM）使用的可读源代码上下文。

• 反编译： 使用反编译工具 Androguard，系统对 APK 文件进行反编译，以提取与污点路径相关的类和方法的源代码。
• 语句映射： 污点路径最初以 Jimple（一种中间的、非人类可读的格式）表示。提取器使用 LLM（在最终实现中使用 DeepSeek）结合上下文学习（ICL），将这些 Jimple 语句映射回提取出的源代码中的对应行。
• 输出： 这一过程产生了一个“粗粒度”视图（完整的类/方法结构）和一个“细粒度”视图（处理个人数据的特定语句），从而为 LLM 提供跨越多个文件和方法的全面上下文。

3. 生成器：说明生成

生成器使用 LLM 将提取的上下文综合成隐私说明。

• 提示工程： 作者对各种提示策略进行了迭代。他们最初尝试了“提示链（prompt chaining）”（将任务分解为子步骤：识别语句、创建标签，然后生成说明），但发现这会导致错误传播和幻觉问题。
• 最终方案： 他们采用了使用 ICL 的单提示方法。提示词向模型提供源代码、污点分析语句以及一个代码与说明的示例元组。然后，模型被要求为新的代码样本生成说明。
• 配置： 系统使用了三种不同的 LLM 进行评估：GPT-4、Claude Opus 4 和 DeepSeek。

数据集与评估

为了评估 PCapGen，作者构建了一个包含 442 个唯一 Android 源代码样本 的数据集，并附带了经开发者验证的基准说明。

• 基准创建： 由于手动为数百个代码样本编写说明是不切实际的，作者使用 GPT-4 生成了初始基准说明。
• 验证： 专业 Java 开发人员（通过 Prolific 筛选）对这些说明进行了验证。他们根据 准确性、简洁性 和 完整性 对其进行评分，并在两个生成的选项中选择了更优的版本。只有当说明达到质量阈值时，样本才会被保留。
• 评估指标： PCapGen 的性能通过以下方式与这些基准说明进行比较：
  • LLM 作为评委（LLMs-as-Judge）： 三个模型（LlaMa 3.3、Mistral、Gemini 2.5 Pro）根据三个质量标准进行评分，并在成对比较中选择较好的说明。
  • 人类隐私专家： 两名隐私专家进行了类似的评分和偏好选择。
  • 自动化指标： 使用 BERTScore、BARTScore 和 ROUGE-L 来衡量语义和标记层面的相似度。

关键结果

1. 配置比较 (RQ1)

在三种 LLM 配置中，PCapGen_Claude（使用 Claude Opus 4）在所有质量标准（准确性、简洁性、完整性）上，根据所有 LLM 评委的判断，始终优于 PCapGen_GPT 和 PCapGen_DeepSeek。配对 t 检验的统计分析确认，PCapGen_Claude 与其他配置之间的差异具有中等效应值的显著性。

2. 语义相似度 (RQ2)

研究发现 PCapGen 的说明与开发者策划的基准说明在语义上非常相似。

• 人类/LLM 评分： 隐私专家和 LLM 评委将相似度评定为中等到高（平均分 > 3.3/5 分）。
• 自动化指标： 高 BERTScore 和 BARTScore 表明存在很强的语义重叠。然而，ROUGE-L 得分较低（精度约为 0.33），这表明虽然含义相似，但词汇和措辞存在显著差异。这表明 PCapGen 成功地将行为重新表述为更简洁、更自然的语言。

3. 与评委的质量比较 (RQ3)

LLM 评委一致认为 PCapGen_Claude 的说明在三个标准上均高于基准说明：

• 准确性： 提升了 +0.57。
• 完整性： 提升了 +0.47。
• 简洁性： 提升了 +0.35。
  这些改进具有显著性（p < 0.001）且具有大效应值。在成对偏好测试中，LLM 评委在 76% 到 100% 的情况下更倾向于 PCapGen_Claude 而非基准说明。

4. 与专家的质量比较 (RQ4)

隐私专家并未发现 PCapGen_Claude 与基准说明在三个质量标准的平均评分上存在显著差异。然而，在成对偏好任务中，专家在 71% 的情况下选择了 PCapGen_Claude 而非基准说明。这表明，虽然专家在评分量表上可能给出相似的评价，但在直接比较时，他们认为 PCapGen 的说明更为优越。

意义与贡献

论文声称其主要贡献如下：

1. 新颖框架： PCapGen 是首个通过结合传统静态/污点分析与 LLM，在无需开发者输入的情况下直接从源代码自动生成隐私说明的方法。
2. 扩展的污点分析： 作者开发了一种基于启发式的方法，用于识别已知源与 未知 汇之间的污点路径，扩展了传统工具对依赖预定义列表的局限性。
3. 稳健的评估： 研究提供了一个全面的评估框架，结合了人类隐私专家和 LLM 评委，证明了 PCapGen 生成的说明与开发者策划的说明一样好，甚至更好。
4. 数据集与工具： 作者发布了一个包含 442 个 Android 代码片段及其隐私说明的高质量数据集，以及研究中使用的脚本和标注工具。

结论

作者得出结论，PCapGen 证明了从 Android 源代码自动生成高质量隐私说明的可行性。通过利用源自污点分析的大规模源代码上下文以及 LLM 的推理能力，该系统能够生成简洁、完整且准确的说明。结果表明，这种方法可以通过自动化创建准确反映应用行为的隐私通知，显著帮助资源受限的开发者履行监管义务。