Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

Résumé Technique : Évaluation des LLM pour la Détection et la Classification de l'Obfuscation dans les Applications Android

Énoncé du Problème
Les développeurs d'applications Android s'appuient de plus en plus sur l'obfuscation de code pour protéger la propriété intellectuelle et entraver la rétro-ingénierie. Cependant, ces techniques dégradent simultanément l'efficacité des outils de test de sécurité statique (SAST), qui dépendent souvent de motifs structurels, de graphes de flux de contrôle et d'heuristiques syntaxiques pour identifier les vulnérabilités. Bien que la prévalence de l'obfuscation dans la nature soit bien documentée, le problème de la détection automatique de la présence d'une obfuscation dans un APK — et de l'identification des techniques spécifiques utilisées — reste sous-exploré. Les approches existantes reposent largement sur des caractéristiques conçues à la main ou des heuristiques basées sur des règles, qui sont fragiles et peinent à se généraliser à travers des stratégies d'obfuscation diverses et évolutives. Cet article étudie si les modèles de langage de grande taille (LLM), grâce au raisonnement sémantique, peuvent surmonter ces limites pour détecter et classifier l'obfuscation dans les applications Android sans nécessiter de règles manuelles, de signatures prédéfinies ou d'entraînement de modèle dédié.

Méthodologie
Les auteurs présentent une étude empirique à grande échelle utilisant un pipeline d'analyse piloté par un LLM qui opère directement sur le code Smali extrait des APK Android. La méthodologie se compose de trois phases :

1. Décompilation : Les APK d'entrée sont décompilés à l'aide de apktool pour convertir le bytecode Dalvik en code Smali lisible par l'humain.
2. Prétraitement : Pour se concentrer sur la logique implémentée par les développeurs, le pipeline filtre les composants du framework Android et les bibliothèques tierces en utilisant le jeu de données AndroLibZoo. Pour gérer les coûts de calcul et les limites de tokens, les auteurs emploient une stratégie d'échantillonnage aléatoire statistiquement significative (utilisant la formule de Cochran) pour sélectionner un sous-ensemble représentatif de classes définies par les développeurs pour l'analyse.
3. Inférence LLM : Le pipeline effectue la détection binaire (l'application est-elle obscurcie ?) et la classification multi-classes (quelle technique est utilisée ?) sur les classes échantillonnées. L'étude évalue six modèles de pointe (incluant gpt-5-mini, gpt-4o-mini, deepseek-r1, gemma3, qwen3 et gpt-oss) à travers trois variantes de prompts avec des niveaux croissants de contexte spécifique au domaine. Un seuil de décision ($T$) est appliqué à la proportion de classes obscurcies pour déterminer l'étiquette au niveau de l'application.

L'évaluation est menée sur deux jeux de données :

• $D_{GT}$ (Vérité Terrain) : Un benchmark contrôlé de 110 APK (10 applications originales de F-Droid, 90 variantes obscurcies avec neuf transformations spécifiques d'Obfuscapk, et 10 variantes obscurcies avec R8).
• $D_{W}$ (Monde Réel) : Un jeu de données de 1 000 applications Android aléatoires collectées sur Google Play en 2026, où la vérité terrain est établie via une inspection manuelle d'un échantillon statistiquement significatif.

Principales Contributions

• Première Étude Empirique : Il s'agit de la première investigation à grande échelle de la capacité des LLM prêts à l'emploi à détecter et classifier l'obfuscation de code dans les applications Android uniquement par raisonnement sémantique.
• Revue Complète du Paysage : L'article fournit une revue détaillée du paysage de l'obfuscation Android, incluant les techniques courantes (Renommage d'identifiants, Transformation du flux de contrôle, Chiffrement de chaînes de caractères) et les outils largement utilisés (ProGuard/R8, Allatori, DexGuard, etc.).
• Évaluation Extensive : L'étude évalue de multiples LLM, des formulations de prompts et des seuils de décision contre à la fois un benchmark contrôlé avec une vérité terrain connue et un jeu de données réel à grande échelle.
• Analyse Comparative : Les auteurs comparent le raisonnement basé sur les LLM aux outils de détection d'obfuscation existants basés sur le SAST et les règles.
• Ressources Ouvertes : Le benchmark, les prompts, les artefacts d'implémentation et le cadre expérimental sont rendus publics pour soutenir la reproductibilité.

Résultats

• Détection Binaire : Les LLM peuvent détecter efficacement l'obfuscation. La meilleure performance a été obtenue par gpt-5-mini utilisant un prompt détaillé (promptv3) et un faible seuil de décision ($T \in [0.1, 0.3]$), atteignant un coefficient J de Youden de 1.00 sur le benchmark contrôlé. Les modèles à poids ouverts comme gpt-oss 20b ont également montré de solides performances, bien que certains modèles (par exemple, deepseek-r1) aient présenté un rappel élevé au prix de faux positifs excessifs.
• Classification de Technique : Les LLM peuvent identifier des techniques d'obfuscation spécifiques avec une grande précision. gpt-5-mini a atteint une précision Top-1 de 0.84 et une précision Top-3 de 0.94. Les transformations basées sur les identifiants (ClassRename, MethodRename, FieldRename) étaient systématiquement les plus faciles à détecter, tandis que les techniques avec des empreintes syntaxiques limitées comme la Réflexion et l'Indirection d'appel restaient difficiles.
• Comparaison avec le SAST : Les LLM ont nettement surpassé les outils SAST existants (SEBASTiAN, Trueseeing, APKHunt et l'outil de Niroshan et al.). Les outils traditionnels ont échoué à détecter de nombreuses applications obscurcies (Rappel de 0.00 pour certains) ou ont produit des taux de faux positifs élevés (Taux de Faux Positifs jusqu'à 0.90). En revanche, l'approche par LLM a atteint un J de Youden de 1.00 sur le benchmark.
• Performance en Monde Réel : Sur le jeu de données réel ($D_{W}$), la meilleure configuration de LLM a atteint un score F1 de 0.88 après validation manuelle, indiquant une forte généralisabilité. L'étude a estimé qu'environ 72 % des applications de l'échantillon étaient obscurcies à un seuil bas, ce qui est cohérent avec les tendances d'adoption croissante de l'obfuscation.

Signification et Revendications
L'article affirme que les LLM représentent une approche viable et efficace pour l'analyse de l'obfuscation Android, offrant une solution plus flexible et généralisable que les méthodes traditionnelles basées sur des règles ou des heuristiques. Les auteurs soulignent que les LLM raisonnent sur les caractéristiques de la transformation (par exemple, les motifs de renommage) plutôt que de compter sur des signatures spécifiques aux outils, ce qui leur permet de se généraliser à travers différents outils d'obfuscation.

L'étude souligne que, bien que les LLM ne soient pas également efficaces pour toutes les familles d'obfuscation (peinant avec les flux de contrôle complexes ou les techniques basées sur la réflexion), leurs fortes performances sur le renommage d'identifiants — qui est la stratégie d'obfuscation la plus répandue dans l'écosystème Android (souvent via R8) — suggèrent qu'ils peuvent apporter des bénéfices significatifs pour une large fraction des applications réelles. Les auteurs positionnent modestement leur travail comme un prototype de recherche démontrant le potentiel des LLM prêts à l'emploi, plutôt que comme un outil prêt pour la production, notant des limitations telles que la surcharge de calcul, le non-déterminisme des modèles et la portée actuelle limitée à l'analyse au niveau du bytecode (Smali). Des travaux futurs sont proposés pour étudier l'obfuscation dans les malwares et pour explorer les LLM pour la désobfuscation de code et la reconstruction sémantique.