Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

Resumo Técnico: Avaliando LLMs para Detecção e Classificação de Ofuscação em Aplicativos Android

Declaração do Problema
Desenvolvedores de aplicativos Android dependem cada vez mais da ofuscação de código para proteger a propriedade intelectual e dificultar a engenharia reversa. No entanto, essas técnicas simultaneamente degradam a eficácia das ferramentas de Teste de Segurança de Aplicação Estática (SAST), que frequentemente dependem de padrões estruturais, grafos de fluxo de controle e heurísticas sintáticas para identificar vulnerabilidades. Embora a prevalência de ofuscação no mundo real seja bem documentada, o problema de detectar automaticamente se um APK está ofuscado — e identificar as técnicas específicas utilizadas — permanece subexplorado. As abordagens existentes dependem fortemente de características construídas manualmente ou heurísticas baseadas em regras, que são frágeis e têm dificuldade em generalizar através de diversas e evoluindo estratégias de ofuscação. Este artigo investiga se os Modelos de Linguagem de Grande Escala (LLMs), por meio de raciocínio semântico, podem superar essas limitações para detectar e classificar a ofuscação em aplicativos Android sem a necessidade de regras manuais, assinaturas predefinidas ou treinamento de modelo dedicado.

Metodologia
Os autores apresentam um estudo empírico de larga escala utilizando um pipeline de análise impulsionado por LLM que opera diretamente no código Smali extraído de APKs Android. A metodologia consiste em três fases:

1. Descompilação: Os APKs de entrada são descompilados usando apktool para converter o bytecode Dalvik em código Smali legível por humanos.
2. Pré-processamento: Para focar na lógica implementada pelo desenvolvedor, o pipeline filtra componentes do framework Android e bibliotecas de terceiros usando o conjunto de dados AndroLibZoo. Para gerenciar custos computacionais e limites de tokens, os autores empregam uma estratégia de amostragem aleatória estatisticamente significativa (usando a fórmula de Cochran) para selecionar um subconjunto representativo de classes definidas pelo desenvolvedor para análise.
3. Inferência de LLM: O pipeline realiza a detecção binária (o app está ofuscado?) e a classificação multiclasse (qual técnica é usada?) nas classes amostradas. O estudo avalia seis modelos de última geração (incluindo gpt-5-mini, gpt-4-mini, deepseek-r1, gemma3, qwen3 e gpt-oss) através de três variantes de prompt com níveis crescentes de contexto específico do domínio. Um limiar de decisão ($T$) é aplicado à proporção de classes ofuscadas para determinar o rótulo do nível do aplicativo.

A avaliação é conduzida em dois conjuntos de dados:

• $D_{GT}$ (Verdade Fundamental/Ground Truth): Um benchmark controlado de 110 APKs (10 aplicativos originais do F-Droid, 90 variantes ofuscadas com nove transformações específicas do Obfuscapk e 10 variantes ofuscadas com R8).
• $D_{W}$ (Mundo Real): Um conjunto de dados de 1.000 aplicativos Android aleatórios coletados do Google Play em 2026, onde a verdade fundamental é estabelecida via inspeção manual de uma amostra estatisticamente significativa.

Principais Contribuições

• Primeiro Estudo Empírico: Esta é a primeira investigação em larga escala sobre a capacidade de LLMs prontos para uso (off-the-shelf) para detectar e classificar a ofuscação de código em aplicativos Android puramente através de raciocínio semântico.
• Revisão Abrangente do Cenário: O artigo fornece uma revisão detalhada do cenário de ofuscação Android, incluindo técnicas comuns (Renomeação de Identificadores, Transformação de Fluxo de Controle, Criptografia de Strings) e ferramentas amplamente utilizadas (ProGuard/R8, Allatori, DexGuard, etc.).
• Avaliação Extensa: O estudo avalia múltiplos LLMs, formulações de prompt e limiares de decisão contra um benchmark controlado com verdade fundamental conhecida e um conjunto de dados de mundo real em larga escala.
• Análise Comparativa: Os autores comparam o raciocínio baseado em LLM contra ferramentas de detecção de ofuscação baseadas em SAST e regras existentes.
• Recursos Abertos: O benchmark, os prompts, os artefatos de implementação e o framework experimental são liberados publicamente para apoiar a reprodutibilidade.

Resultos

• Detecção Binária: Os LLMs podem detectar a ofuscação de forma eficaz. O melhor desempenho foi alcançado pelo gpt-5-mini usando um prompt detalhado (promptv3) e um baixo limiar de decisão ($T \in [0.1, 0.3]$), atingindo um coeficiente de Youden's J de 1.00 no benchmark controlado. Modelos de pesos abertos como o gpt-oss 20b também mostraram forte desempenho, embora alguns modelos (ex: deepseek-r1) tenham exibido alta revocação às custas de excessivos falsos positivos.
• Classificação de Técnica: Os LLMs podem identificar técnicas de ofuscação específicas com alta precisão. O gpt-5-mini alcançou uma precisão Top-1 de 0.84 e Top-3 de 0.94. Transformações baseadas em identificadores (ClassRename, MethodRename, FieldRename) foram consistentemente as mais fáceis de detectar, enquanto técnicas com pegadas sintáticas limitadas como Reflexão e Indireção de Chamada permaneceram desafiadoras.
• Comparação com SAST: Os LLMs superaram substancialmente as ferramentas SAST existentes (SEBASTiAN, Trueseeing, APKHunt e a ferramenta de Niroshan et al.). Ferramentas tradicionais falharam em detectar muitos aplicativos ofuscados (Recall de 0.00 para algumas) ou produziram altas taxas de falsos positivos (FPR de até 0.90). Em contraste, a abordagem de LLM alcançou um Youden's J de 1.00 no benchmark.
• Desempenho no Mundo Real: No conjunto de dados do mundo real ($D_{W}$), a melhor configuração de LLM alcançou um F1-score de 0.88 após validação manual, indicando forte generalização. O estudo estimou que aproximadamente 72% dos aplicativos na amostra estavam ofuscados em um limiar baixo, consistente com as tendências de aumento na adoção de ofuscação.

Significância e Alegações
O artigo afirma que os LLMs representam uma abordagem viável e eficaz para a análise de ofuscação Android, oferecendo uma solução mais flexível e generalizável do que os métodos tradicionais baseados em regras ou heurísticas. Os autores enfatizam que os LLMs raciocinam sobre as características da transformação (ex: padrões de renomeação) em vez de depender de assinaturas específicas de ferramentas, permitindo que generalizem através de diferentes ferramentas de ofuscação.

O estudo destaca que, embora os LLMs não sejam igualmente eficazes em todas as famílias de ofuscação (com dificuldades em fluxos de controle complexos ou técnicas baseadas em reflexão), seu forte desempenho em renomeação de identificadores — que é a estratégia de ofuscação mais prevalente no ecossistema Android (frequentemente via R8) — sugere que eles podem fornecer benefícios significativos para uma grande fração das aplicações reais. Os autores posicionam modestamente seu trabalho como um protótipo de pesquisa demonstrando o potencial de LLMs prontos para uso, em vez de uma ferramenta pronta para produção, observando limitações como overhead computacional, não-determinismo do modelo e o escopo atual limitado à análise de nível de bytecode (Smali). O trabalho futuro é proposto para investigar a ofuscação em malware e explorar LLMs para desofuscação de código e reconstrução semântica.