Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

Technische Samenvatting: Evaluatie van LLM's voor Detectie en Classificatie van Obfuscatie in Android-apps

Probleemstelling
Ontwikkelaars van Android-applicaties vertrouwen steeds vaker op code-obfuscatie om intellectueel eigendom te beschermen en reverse engineering te bemoeilijken. Deze technieken verslechteren echter tegelijkertijd de effectiviteit van Static Application Security Testing (SAST)-tools, die vaak afhankelijk zijn van structurele patronen, control-flow grafieken en syntactische heuristieken om kwetsbaarheden te identificeren. Hoewel de prevalentie van obfuscatie in het wild goed gedocumenteerd is, blijft het probleem van het automatisch detecteren of een APK geobfusceerd is — en het identificeren van de specifieke gebruikte technieken — onderbelicht. Bestaande benaderingen leunen zwaar op handmatig ontworpen kenmerken of regelgebaseerde heuristieken, die broos zijn en moeite hebben met het generaliseren over diverse en evoluerende obfuscatie-strategieën. Dit paper onderzoekt of Large Language Models (LLM's), door middel van semantisch redeneren, deze beperkingen kunnen overwinnen om obfuscatie in Android-apps te detecteren en te classificeren zonder dat daarvoor handmatige regels, vooraf gedefinieerde signatures of dedicated modeltraining nodig zijn.

Methodologie
De auteurs presenteren een grootschalige empirische studie die gebruikmaakt van een LLM-gestuurde analyse-pipeline die direct opereert op Smali-code geëxtraheerd uit Android APK's. De methodologie bestaat uit drie fasen:

1. Decompilatie: Input APK's worden gedecompileerd met behulp van apktool om Dalvik-bytecode om te zetten in menselijk leesbare Smali-code.
2. Preprocessing: Om de door ontwikkelaars geïmplementeerde logica te concentreren, filtert de pipeline Android-frameworkcomponenten en third-party bibliotheken uit met behulp van de AndroLibZoo dataset. Om de computationele kosten en token-limieten te beheersen, hanteren de auteurs een statistisch significante random sampling-strategie (met behulp van Cochran's formule) om een representatieve subset van door ontwikkelaars gedefinieerde klassen voor analyse te selecteren.
3. LLM Inferentie: De pipeline voert binaire detectie uit (is de app geobfusceerd?) en multi-class classificatie (welke techniek wordt gebruikt?) op de gesamplede klassen. De studie evalueert zes state-of-the-art modellen (waaronder gpt-5-mini, gpt-4o-mini, deepseek-r1, gemma3, qwen3 en gpt-oss) over drie prompt-varianten met toenemende niveaus van domeinspecifieke context. Een beslissingsdrempel ($T$) wordt toegepast op de proportie geobfusceerde klassen om het label op app-niveau te bepalen.

De evaluatie wordt uitgevoerd op twee datasets:

• $D_{GT}$ (Ground Truth): Een gecontroleerde benchmark van 110 APK's (10 originele apps van F-Droid, 90 varianten geobfusceerd met negen specifieke Obfuscapk-transformaties, en 10 varianten geobfusceerd met R8).
• $D_{W}$ (Real-World): Een dataset van 1.000 willekeurige Android-apps verzameld van Google Play in 2026, waarbij de ground truth wordt vastgesteld via handmatige inspectie van een statistisch significante steekproef.

Belangrijkste Bijdragen

• Eerste Empirische Studie: Dit is de eerste grootschalige investigatie naar de capaciteit van off-the-shelf LLM's om code-obfuscatie in Android-apps te detecteren en te classificeren puur door middel van semantisch redeneren.
• Omvattende Landschapsoverzicht: Het paper biedt een gedetailleerde review van het Android-obfuscatielandschap, inclusief veelvoorkomende technieken (Identifier Renaming, Control Flow Transformation, String Encryption) en veelgebruikte tools (ProGuard/R8, Allatori, DexGuard, etc.).
• Uitgebreide Evaluatie: De studie evalueert meerdere LLM's, prompt-formuleringen en beslissingsdrempels tegen zowel een gecontroleerde benchmark met bekende ground truth als een grootschalige real-world dataset.
• Vergelijkende Analyse: De auteurs vergelijken LLM-gebaseerd redeneren met bestaande SAST-gebaseerde en regelgebaseerde obfuscatiedetectietools.
• Open Bronnen: De benchmark, prompts, implementatie-artefacten en het experimentele framework worden publiekelijk vrijgegeven om reproduceerbaarheid te ondersteunen.

Resultaten

• Binaire Detectie: LLM's kunnen obfuscatie effectief detecteren. De beste prestatie werd bereikt door gpt-5-mini met een gedetailleerde prompt (promptv3) en een lage beslissingsdrempel ($T \in [0.1, 0.3]$), waarbij een Youden's J-coëfficiënt van 1.00 werd behaald op de gecontroleerde benchmark. Open-weight modellen zoals gpt-oss 20b vertoonden ook sterke prestaties, hoewel sommige modellen (bijv. deepseek-r1) een hoge recall vertoonden ten koste van excessieve false positives.
• Techniek Classificatie: LLM's kunnen specifieke obfuscatietechnieken met hoge nauwkeurigheid identificeren. gpt-5-mini behaalde een Top-1 nauwkeurigheid van 0.84 en een Top-3 nauwkeurigheid van 0.94. Identifier-gebaseerde transformaties (ClassRename, MethodRename, FieldRename) waren consistent het makkelijkst te detecteren, terwijl technieken met een beperkte syntactische footprint zoals Reflection en Call Indirection uitdagend bleven.
• Vergelijking met SAST: LLM's presteerden aanzienlijk beter dan bestaande SAST-tools (SEBASTiAN, Trueseeing, APKHunt, en de tool van Niroshan et al.). Traditionele tools faalden bij het detecteren van veel geobfusceerde apps (Recall van 0.00 voor sommige) of produceerden hoge false positive rates (FPR tot 0.90). In contrast hiermee bereikte de LLM-aanpak een Youden's J van 1.00 op de benchmark.
• Real-World Prestaties: Op de real-world dataset ($D_{W}$) behaalde de beste LLM-configuratie een F1-score van 0.88 na handmatige validatie, wat duidt op een sterke generaliseerbaarheid. De studie schatte dat ongeveer 72% van de apps in de steekproef geobfusceerd was bij een lage drempel, wat consistent is met de trends van toenemende adoptie van obfuscatie.

Betekenis en Claims
Het paper claimt dat LLM's een levensvatbare en effectieve benadering vormen voor Android-obfuscatieanalyse, en een flexibelere en beter generaliseerbare oplossing bieden dan traditionele regelgebaseerde of heuristiek-gedreven methoden. De auteurs benadrukken dat LLM's redeneren over de kenmerken van de transformatie (bijv. renaming patronen) in plaats van te vertrouren op tool-specifieke signatures, waardoor ze kunnen generaliseren over verschillende obfuscatie-tools.

De studie benadrukt dat hoewel LLM's niet even effectief zijn over alle obfuscatie-families (ze worstelen met complexe control-flow of reflection-gebaseerde technieken), hun sterke prestaties op identifier renaming — wat de meest voorkomende obfuscatie-strategie is in het Android-ecosysteem (vaak via R8) — suggereert dat ze een betekenisvol voordeel kunnen bieden voor een groot deel van de real-world applicaties. De auteurs positioneren hun werk bescheiden als een onderzoeksprototype dat het potentieel van off-the-shelf LLM's demonstreert, in plaats van een productie-ready tool, waarbij zij beperkingen noemen zoals computationele overhead, model-niet-determinisme en de huidige scope die beperkt is tot bytecode-niveau (Smali) analyse. Toekomstig werk wordt voorgesteld om obfuscatie in malware te onderzoeken en om LLM's te verkennen voor code-deobfuscatie en semantische reconstructie.