Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

Resumen Técnico: Evaluación de LLMs para la Detección y Clasificación de Ofuscación en Aplicaciones Android

Planteamiento del Problema
Los desarrolladores de aplicaciones Android dependen cada vez más de la ofuscación de código para proteger la propiedad intelectual y dificultar la ingeniería inversa. Sin embargo, estas técnicas degradan simultáneamente la efectividad de las herramientas de Pruebas de Seguridad de Aplicaciones Estáticas (SAST), que a menudo dependen de patrones estructurales, grafos de flujo de control y heurísticas sintácticas para identificar vulnerabilidades. Si bien la prevalencia de la ofuscación en el mundo real está bien documentada, el problema de detectar automáticamente si un APK está ofuscado —e identificar las técnicas específicas utilizadas— sigue siendo poco explorado. Los enfoques existentes dependen en gran medida de características diseñadas manualmente o heurísticas basadas en reglas, las cuales son frágiles y tienen dificultades para generalizarse ante estrategias de ofuscación diversas y en constante evolución. Este artículo investiga si los Modelos de Lenguaje de Gran Escala (LLMs), a través del razonamiento semántico, pueden superar estas limitaciones para detectar y clasificar la ofuscación en aplicaciones Android sin requerir reglas diseñadas manualmente, firmas predefinidas o entrenamiento de modelos dedicados.

Metodología
Los autores presentan un estudio empírico a gran escala que utiliza un flujo de análisis impulsado por LLM que opera directamente sobre el código Smali extraído de APKs de Android. La metodología consta de tres fases:

1. Descompilación: Los APKs de entrada se descompilan utilizando apkinktool para convertir el bytecode de Dalvik en código Smali legible por humanos.
2. Preprocesamiento: Para centrarse en la lógica implementada por el desarrollador, el flujo de trabajo filtra los componentes del framework de Android y las librerías de terceros utilizando el conjunto de datos AndroLibZoo. Para gestionar los costes computacionales y los límites de tokens, los autores emplean una estrategia de muestreo aleatorio estadísticamente significativa (utilizando la fórmula de Cochran) para seleccionar un subconjunto representativo de clases definidas por el desarrollador para su análisis.
3. Inferencia de LLM: El flujo de trabajo realiza la detección binaria (¿está la aplicación ofuscada?) y la clasificación multiclase (¿qué técnica se utiliza?) en las clases muestreadas. El estudio evalúa seis modelos de vanguardia (incluyendo gpt-5-mini, gpt-4o-mini, deepseek-r1, gemma3, qwen3 y gpt-oss) a través de tres variantes de prompts con niveles crecientes de contexto específico del dominio. Se aplica un umbral de decisión ($T$) a la proporción de clases ofuscadas para determinar la etiqueta a nivel de aplicación.

La evaluación se lleva a cabo en dos conjuntos de datos:

• $D_{GT}$ (Verdad Fundamental/Ground Truth): Un benchmark controlado de 110 APKs (10 aplicaciones originales de F-Droid, 90 variantes ofuscadas con nueve transformaciones específicas de Obfuscapk y 10 variantes ofuscadas con R8).
• $D_{W}$ (Mundo Real): Un conjunto de datos de 1,000 aplicaciones Android aleatorias recolectadas de Google Play en 2026, donde la verdad fundamental se establece mediante inspección manual de una muestra estadísticamente significativa.

Contribuciones Clave

• Primer Estudio Empírico: Esta es la primera investigación a gran escala sobre la capacidad de los LLMs comerciales para detectar y clasificar la ofuscación de código en aplicaciones Android puramente a través del razonamiento semántico.
• Revisión Exhaustiva del Panorama: El artículo proporciona una revisión detallada del panorama de la ofuscación en Android, incluyendo técnicas comunes (Renombrado de Identificadores, Transformación de Flujo de Control, Cifrado de Strings) y herramientas ampliamente utilizadas (ProGuard/R8, Allatori, DexGuard, etc.).
• Evaluación Extensa: El estudio evalúa múltiples LLMs, formulaciones de prompts y umbrales de decisión contra tanto un benchmark controlado con verdad fundamental conocida como un conjunto de datos del mundo real a gran escala.
• Análisis Comparativo: Los autores comparan el razonamiento basado en LLM frente a las herramientas de detección de ofuscación basadas en SAST y reglas existentes.
• Recursos Abiertos: El benchmark, los prompts, los artefactos de implementación y el marco experimental se publican para apoyar la reproducibilidad.

Resultos

• Detección Binaria: Los LLMs pueden detectar la ofuscación de manera efectiva. El mejor rendimiento fue logrado por gpt-5-mini utilizando un prompt detallado (promptv3) y un umbral de decisión bajo ($T \in [0.1, 0.3]$), logrando un coeficiente J de Youden de 1.00 en el benchmark controlado. Los modelos de pesos abiertos como gpt-oss 20b también mostraron un fuerte rendimiento, aunque algunos modelos (por ejemplo, deepseek-r1) exhibieron una alta recuperación (recall) a costa de un exceso de falsos positivos.
• Clasificación de Técnicas: Los LLMs pueden identificar técnicas de ofuscación específicas con alta precisión. gpt-5-mini logró una precisión Top-1 de 0.84 y una precisión Top-3 de 0.94. Las transformaciones basadas en identificadores (ClassRename, MethodRename, FieldRename) fueron consistentemente las más fáciles de detectar, mientras que las técnicas con huellas sintácticas limitadas como la Reflexión y la Indirección de Llamadas (Call Indirection) siguieron siendo desafiantes.
• Comparación con SAST: Los LLMs superaron sustancialmente a las herramientas SAST existentes (SEBASTiAN, Trueseeing, APKHunt y la herramienta de Niroshan et al.). Las herramientas tradicionales fallaron en detectar muchas aplicaciones ofuscadas (Recall de 0.00 para algunas) o produjeron altas tasas de falsos positivos (FPR de hasta 0.90). En contraste, el enfoque de LLM logró un J de Youden de 1.00 en el benchmark.
• Rendimiento en el Mundo Real: En el conjunto de datos del mundo real ($D_{W}$), la mejor configuración de LLM logró un F1-score de 0.88 tras la validación manual, lo que indica una fuerte capacidad de generalización. El estudio estimó que aproximadamente el 72% de las aplicaciones en la muestra estaban ofuscadas con un umbral bajo, lo cual es consistente con las tendencias de creciente adopción de la ofuscación.

Significancia y Reivindicaciones
El artículo afirma que los LLMs representan un enfoque viable y efectivo para el análisis de la ofuscación en Android, ofreciendo una solución más flexible y generalizable que los métodos tradicionales basados en reglas o heurísticas. Los autores enfatizan que los LLMs razonan sobre las características de la transformación (por ejemplo, patrones de renombrado) en lugar de depender de firmas específicas de herramientas, lo que les permite generalizar a través de diferentes herramientas de ofuscación.

El estudio destaca que, si bien los LLM no son igualmente efectivos en todas las familias de ofuscación (presentando dificultades con técnicas complejas de flujo de control o basadas en reflexión), su fuerte desempeño en el renombrado de identificadores —que es la estrategia de ofuscación más prevalente en el ecosor de Android (a menudo vía R8)— sugiere que pueden proporcionar beneficios significativos para una gran fracción de las aplicaciones reales. Los autores posicionan modestamente su trabajo como un prototipo de investigación que demuestra el potencial de los LLMs comerciales, en lugar de una herramienta lista para producción, señalando limitaciones como la carga computacional, la no determinación de los modelos y el alcance actual limitado al análisis a nivel de bytecode (Smali). Se propone trabajo futuro para investigar la ofuscación en malware y explorar el uso de LLMs para la desofuscación de código y la reconstrucción semántica.