Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

技术摘要：评估用于 Android 应用混淆检测与分类的大型语言模型（LLMs）

问题陈述
Android 应用开发者越来越多地依赖代码混淆来保护知识产权并阻碍逆向工程。然而，这些技术同时也降低了静态应用安全测试（SAST）工具的有效性，因为这类工具通常依赖于结构模式、控制流图和语法启发式方法来识别漏洞。尽管混淆在野外的普遍性已有文献记载，但自动检测 APK 是否经过混淆——并识别所使用的具体技术——这一问题仍未得到充分探索。现有方法过度依赖手工特征或基于规则的启发式算法，这些方法非常脆弱，难以在多样化且不断演变的混淆策略中实现泛化。本文研究了大型语言模型（LLMs）是否能够通过语义推理，在不需要手工规则、预定义签名或专用模型训练的情况下，克服这些局限性，从而检测并分类 Android 应用中的混淆。

方法论
作者提出了一种大规模实证研究，利用 LLM 驱动的分析流水线，直接对从 Android APK 中提取的 Smali 代码进行处理。该方法由三个阶段组成：

1. 反编译： 使用 apktool 对输入 APK 进行反编译，将 Dalvik 字节码转换为人类可读的 Smali 代码。
2. 预处理： 为了专注于开发者实现的逻辑，流水线使用 AndroLibZoo 数据集过滤掉 Android 框架组件和第三方库。为了管理计算成本和 Token 限制，作者采用统计学显著的随机采样策略（使用 Cochran 公式）来选择具有代表性的开发者定义类子集进行分析。
3. LLM 推理： 流水线对采样的类进行二元检测（应用是否被混淆？）和多类分类（使用了哪种技术？）。研究评估了六种最先进的模型（包括 gpt-5-mini、gpt-4o-mini、deepseek-r1、gemma3、qwen3 和 gpt-oss），并采用了三种具有递增领域特定上下文的提示词（Prompt）变体。通过应用决策阈值 ($T$)，即混淆类别的比例，来确定应用级的标签。

评估在两个数据集上进行：

• $D_{GT}$（地面真值）： 一个包含 110 个 APK 的受控基准测试集（包括 10 个来自 F-Droid 的原始应用，90 个经过九种特定 Obfuscapk 转换后的变体，以及 10 个经过 R8 混淆的变体）。
• $D_{W}$（真实世界）： 一个包含 2026 年从 Google Play 收集的 1,000 个随机 Android 应用的数据集，其中通过对统计学显著样本进行人工检查来建立地面真值。

核心贡献

• 首次实证研究： 这是首次大规模调查现成 LLMs 是否能纯粹通过语义推理来检测和分类 Android 应用中的代码混淆。
• 全面的景观综述： 本文详细回顾了 Android 混淆的现状，包括常见技术（标识符重命名、控制流转换、字符串加密）和广泛使用的工具（ProGuard/R8、Allatori、DexGuard 等）。
• 广泛的评估： 研究针对已知地面真值的受控基准测试和大规模真实世界数据集，评估了多种 LLM、提示词公式和决策阈值。
• 对比分析： 作者将基于 LLM 的推理与现有的基于 SAST 和基于规则的混淆检测工具进行了比较。
• 开放资源： 基准测试、提示词、实现构件和实验框架均已公开，以支持复现性。

结果

• 二元检测： LLMs 可以有效地检测混淆。最佳性能由使用详细提示词（promptv3）且决策阈值较低（$T \in [0.1, 0.3]$）的 gpt-5-mini 实现，在受控基准测试中达到了 1.00 的 Youden's J 系数。开源权重模型如 gpt-oss 20b 也表现出强劲性能，尽管某些模型（如 deepseek-r1）以过高的误报率为代价表现出高召回率。
• 技术分类： LLMs 能以高准确度识别特定的混淆技术。gpt-5-mini 实现了 0.84 的 Top-1 准确度和 0.94 的 Top-3 准确度。基于标识符的转换（ClassRename、MethodRename、FieldRename）始终是最容易检测的，而像反射（Reflection）和调用间接化（Call Indirection）这类语法特征有限的技术仍然具有挑战性。
• 与 SAST 的比较： LLMs 显著优于现有的 SAST 工具（SEBASTiAN、Trueseeing、APKHunt 以及 Niroshan 等人的工具）。传统工具无法检测到许多混淆的应用（部分工具的召回率为 0.00），或者产生了极高的误报率（FPR 高达 0.90）。相比之下，LLM 方法在基准测试中实现了 1.00 的 Youden's J。
• 真实世界表现： 在真实世界数据集（$D_{W}$）上，经过人工验证后，最佳 LLM 配置实现了 0.88 的 F1 分数，表明其具有很强的泛化能力。研究估计，在低阈值下，样本中约 72% 的应用经过了混淆，这与混淆采用率上升的趋势一致。

意义与主张
本文声称，LLMs 代表了一种可行且有效的 Android 混淆分析方法，提供了比传统基于规则或启发式方法更灵活、更具泛化能力的解决方案。作者强调，LLMs 推理的是“转换的特征”（例如重命名模式），而不是依赖于特定工具的签名，这使得它们能够跨不同的混淆工具进行泛化。

研究指出，虽然 LLMs 并非在所有混淆家族中都同样有效（在处理复杂的控制流或基于反射的技术时表现较弱），但它们在标识符重命名（这是 Android 生态中最普遍的混淆策略，通常通过 R8 实现）上的强劲表现，表明它们可以为很大比例的现实应用提供实质性帮助。作者谦虚地将这项工作定位为展示现成 LLMs 潜力的研究原型，而非生产就绪的工具，并指出了其局限性，如计算开销、模型非确定性和目前仅限于字节码级（Smali）分析的范围。未来的工作拟研究恶意软件中的混淆，并探索利用 LLMs 进行代码去混淆和语义重建。