Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

Sintesi Tecnica: Valutazione di LLM per il rilevamento e la classificazione dell'offuscamento nelle applicazioni Android

Definizione del Problema
Gli sviluppatori di applicazioni Android si affidano sempre più all'offuscamento del codice per proteggere la proprietà intellettuale e ostacolare l'ingegneria inversa. Tuttavia, queste tecniche degradano simultaneamente l'efficacia degli strumenti di Test di Sicurezza delle Applicazioni Statiche (SAST), che spesso dipendono da pattern strutturali, grafi di flusso di controllo ed euristiche sintattiche per identificare le vulnerabilità. Sebbene la prevalenza dell'offuscamento "sul campo" sia ben documentata, il problema del rilevamento automatico se un APK sia offuscato — e l'identificazione delle specifiche tecniche utilizzate — rimane poco esplorato. Gli approcci esistenti si affidano pesantemente a caratteristiche create artigianalmente o a euristiche basate su regole, che sono fragili e faticano a generalizzare attraverso diverse ed evolventi strategie di offuscamento. Questo articolo investiga se i Large Language Models (LLM), attraverso il ragionamento semantico, possano superare tali limitazioni per rilevare e classificare l'offuscamento nelle app Android senza richiedere regole create artigianalmente, firme predefinite o addestramento dedicato del modello.

Metodologia
Gli autori presentano uno studio empirico su larga scala che utilizza una pipeline di analisi guidata da LLM che opera direttamente sul codice Smali estratto da APK Android. La metodologia consiste in tre fasi:

1. Decompilazione: Gli APK in input vengono decompilati utilizzando apktool per convertire il bytecode Dalvik in codice Smali leggibile dall'uomo.
2. Pre-elaborazione: Per concentrarsi sulla logica implementata dagli sviluppatori, la pipeline filtra i componenti del framework Android e le librerie di terze parti utilizzando il dataset AndroLibZoo. Per gestire i costi computazionali e i limiti di token, gli autori impiegano una strategia di campionamento casuale statisticamente significativa (utilizzando la formula di Cochran) per selezionare un sottoinsieme rappresentativo di classi definite dagli sviluppatori per l'analisi.
3. Inferenza LLM: La pipeline esegue il rilevamento binario (l'app è offuscata?) e la classificazione multi-classe (quale tecnica viene utilizzata?) sulle classi campionate. Lo studio valuta sei modelli allo stato dell'arte (tra cui gpt-5-mini, gpt-4o-mini, deepseek-r1, gemma3, qwen3 e gpt-oss) attraverso tre varianti di prompt con livelli crescenti di contesto specifico del dominio. Viene applicata una soglia decisionale ($T$) alla proporzione di classi offuscate per determinare l'etichetta a livello di applicazione.

L'evaluazione è condotta su due dataset:

• $D_{GT}$ (Ground Truth): Un benchmark controllato di 110 APK (10 app originali da F-Droid, 90 varianti offuscate con nove trasformazioni specifiche di Obfuscapk e 10 varianti offuscate con R8).
• $D_{W}$ (Real-World): Un dataset di 1.000 app Android casuali raccolte da Google Play nel 2026, dove la verità fondamentale (ground truth) è stabilita tramite ispezione manuale di un campione statisticamente significativo.

Contributi Chiave

• Primo Studio Empirico: Questa è la prima investigazione su larga scala sulla capacità di LLM pronti all'uso di rilevare e classificare l'offuscamento del codice nelle app Android puramente attraverso il ragionamento semantico.
• Revisione Completa del Panorama: Il documento fornisce una revisione dettagliata del panorama dell'offuscamento Android, incluse le tecniche comuni (Identifier Renaming, Control Flow Transformation, String Encryption) e gli strumenti ampiamente utilizzati (ProGuard/R8, Allatori, DexGuard, ecc.).
• Valutazione Estesa: Lo studio valuta molteplici LLM, formulazioni di prompt e soglie decisionali contro un benchmark controllato con ground truth nota e un dataset su larga scala del mondo reale.
• Analisi Comparativa: Gli autori confrontano il ragionamento basato su LLM con gli esistenti strumenti di rilevamento dell'offuscamento basati su SAST e su regole.
• Risorse Aperte: Il benchmark, i prompt, gli artefatti di implementazione e il framework sperimentale sono rilasciati pubblicamente per supportare la riproducibilità.

Risultati

• Rilevamento Binario: Gli LLM possono rilevare efficacemente l'offuscamento. Le migliori prestazioni sono state raggiunte da gpt-5-mini utilizzando un prompt dettagliato (promptv3) e una bassa soglia decisionale ($T \in [0.1, 0.3]$), ottenendo un coefficiente di Youden's J di 1.00 sul benchmark controllato. Anche i modelli a pesi aperti come gpt-oss 20b hanno mostrato prestazioni solide, sebbene alcuni modelli (ad esempio, deepseek-r1) abbiano mostrato un alto richiamo (recall) a costo di eccessivi falsi positivi.
• Classificazione della Tecnica: Gli LLM possono identificare specifiche tecniche di offuscamento con alta precisione. gpt-5-mini ha raggiunto una accuratezza Top-1 di 0.84 e una accuratezza Top-3 di 0.94. Le trasformazioni basate su identificatori (ClassRename, MethodRename, FieldRename) sono state costantemente le più facili da rilevare, mentre le tecniche con footprint sintattici limitati come la Reflection e la Call Indirection sono rimaste impegnative.
• Confronto con SAST: Gli LLM hanno superato sostanzialmente gli strumenti SAST esistenti (SEBASTiAN, Trueseeing, APKHunt e lo strumento di Niroshan et al.). Gli strumenti tradizionali non sono riusciti a rilevare molte app offuscate (Recall di 0.00 per alcuni) o hanno prodotto alti tassi di falsi positivi (FPR fino a 0.90). Al contrario, l'approccio LLM ha ottenuto un Youden's J di 1.00 sul benchmark.
• Prestazioni nel Mondo Reale: Sul dataset del mondo reale ($D_{W}$), la migliore configurazione LLM ha raggiunto un F1-score di 0.88 dopo la validazione manuale, indicando una forte generalizzabilità. Lo studio ha stimato che circa il 72% delle app nel campione era offuscato a una soglia bassa, in linea con le tendenze di crescente adozione dell'offuscamento.

Significatività e Rivendicazioni
Il documento sostiene che gli LLM rappresentano un approccio vitale ed efficace per l'analisi dell'offuscamento Android, offrendo una soluzione più flessibile e generalizzabile rispetto ai metodi tradizionali basati su regole o euristiche. Gli autori sottolineano che gli LLM ragionano sulle caratteristiche della trasformazione (ad esempio, i pattern di rinomina) piuttosto che fare affidamento su firme specifiche degli strumenti, il che permette loro di generalizzare tra diversi strumenti di offuscamento.

Lo studio evidenzia che, sebbene gli LLM non siano ugualmente efficaci in tutte le famiglie di offuscamento (faticando con la complessità del controllo del flusso o le tecniche basate su reflection), le loro forti prestazioni sulla rinomina degli identificatori — che è la strategia di offuscamento più prevalente nell'ecosistema Android (spesso tramite R8) — suggeriscono che possono fornire benefici significativi per una vasta frazione di applicazioni reali. Gli autori posizionano modestamente il loro lavoro come un prototipo di ricerca che dimostra il potenziale di LLM pronti all'uso, piuttosto che come uno strumento pronto per la produzione, notando limitazioni come l'overhead computazionale, la non-determinismo dei modelli e l'attuale ambito limitato all'analisi a livello di bytecode (Smali). Il lavoro futuro proposto prevede di investigare l'offuscamento nel malware e di esplorare gli LLM per la de-offuscazione del codice e la ricostruzione semantica.