LLM-Generated Samples for Android Malware Detection

Resumo Técnico: Amostras Geradas por LLM para Detecção de Malware Android

Definição do Problema
O malware de Android continua a evoluir rapidamente através de ofuscação e polimorfismo, desafiando tanto as defesas baseadas em assinaturas quanto os modelos de aprendizado de máquina (ML). Um gargalo crítico no desenvolvimento de sistemas de detecção robustos é a escassez de dados, particularmente para famílias de malware e comportamentos específicos, o que leva a conjuntos de dados desbalanceados e dificulta a generalização dos classificadores. Embora a geração de dados sintéticos tenha sido proposta como um remédio, a eficácia específica dos Grandes Modelos de Linguagem (LLMs) na geração de registros de malware estruturados e eficazes para treinar modelos de detecção permanece subexplorada. A literatura existente carece de avaliação empírica sobre como o malware Android sintético gerado por LLM influencia o desempenho da detecção quando utilizado para aumento de dados ou como uma fonte de treinamento isolada.

Metodologia
Este estudo utiliza o conjunto de dados KronoDroid, selecionado por seu espaço de características híbrido estático-dinâmico, divisões maliciosas/benignas equilibradas e características interpretáveis por humanos. A pesquisa foca em três famílias de malware distintas: BankBot (trojan bancário), Locker/SLocker (ransomware) e Airpush/StopSMS (adware/trojan de SMS).

A metodologia central envolve um processo de três estágios:

1. Preparação de Dados: Os autores selecionaram subconjuntos de dispositivos reais do KronoDroid, mantendo uma proporção de 1:1 entre amostras maliciosas e benignas. As características foram pré-processadas para remover identificadores e metadados, imputando valores 'None' como zero e filtrando colunas esparsas, resultando em um conjunto final de 387 características numéricas.
2. Ajuste Fino (Fine-Tuning) e Geração por LLM: Os autores realizaram o ajuste fino do GPT-4.1-mini para gerar registros de malware estruturados. Para contornar os filtros de segurança relativos a termos como "malware", os nomes das características foram sanitizados (ex: "malware" $\to$ "app"). A equipe tentou inicialmente a geração em CSV, mas encontrou inconsistências estruturais; consequentemente, mudaram para formatos JSON/JSONL, que se mostraram mais estáveis para LLMs.
   • Estratégia de Ajuste Fino: Duas configurações foram testadas. Para BankBot e Locker/SLocker, foram utilizadas 50 amostras representativas por família em uma época (epoch). Para Airpush/StopSMS, o conjunto foi aumentado para 150 amostras ao longo de 3 épocas para testar a sensibilidade ao volume de dados e à profundidade do treinamento.
   • Engenharia de Prompt: Os prompts foram otimizados para impor realismo estrutural, unicidade e rotulagem correta. O pós-processamento envolveu a remoção de duplicatas e o tratamento de alucinações (ex: padrões de chamadas de sistema irreais).
3. Avaliação Experimental: O estudo avaliou cinco classificadores (k-Nearest Neighbors, Árvores de Decisão, Regressão Logística, Perceptron Multicamadas e Floresta Aleatória) através de três cenários:
   • Apenas Real (Real-only): Treinamento baseado em dados de malware e benignos reais.
   • Real + Sintético: Aumento do malware real com amostras geradas por LLM.
   • Apenas Sintético (Synthetic-only): Treinamento exclusivamente em malware sintético e dados benignos reais, seguido de teste em malware real.

Principais Resultados
Os resultados experimentais, validados em 45 combinações (3 famílias $\times$ 5 classificadores $\times$ 3 cenários), revelam distintos níveis de desempenho:

• Treinamento Apenas Real: Alcançou detecção quase perfeita em todas as famílias. Para o BankBot, modelos como Regressão Logística e Floresta Aleatória atingiram 1.000 de acurácia e AUC ROC. As famílias Locker e Airpush também mostraram alto desempenho (Acurácia $\approx$ 0.97–0.99), confirmando que dados reais suficientes geram uma discriminação excelente.
• Aumento Real + Sintético: Adicionar amostras geradas por LLM preservou o alto desempenho, mas resultou em degradações leves e consistentes em comparação ao treinamento apenas com dados reais. Por exemplo, a acurácia do BankBot caiu ligeiramente de 1.000 para ~0.99. Crucialmente, a Taxa de Falsos Positivos permaneceu muito baixa (<0.04), indicando que o aumento sintético não compromete a especificidade.
• Treinamento Apenas Sintético: O desempenho foi misto e altamente dependente da família de malware e da estratégia de ajuste fino:
  • BankBot & Locker/SLocker: Modelos treinados exclusivamente com dados sintéticos tiveram desempenho insatisfatório quando testados em dados reais. A acurácia variou de 0.50 a 0.74, com recall extremamente baixo (ex: 0.05 para Locker), sugerindo que os dados sintéticos falharam em capturar as características distributivas necessárias para essas famílias.
  • Airpush/StopSMS: Esta família apresentou uma generalização significativamente melhor (Acurácia $\approx$ 0.80–0.89, Recall $\approx$ 0.61–0.79). Esta melhoria correlacionou-se com o conjunto de ajuste fino maior (150 amostras) e o treinamento mais profundo (3 épocas), sugerindo que a fidelidade sintética melhora com o aumento do volume de dados e da profundidade do treinamento.

Principais Contribuições
O artigo apresenta duas contribuições primárias:

1. Utilidade de Aumento: Demonstra que aumentar conjuntos de dados reais escassos com malware gerado por LLM pode ampliar o tamanho do dataset sem comprometer significativamente a acurácia de detecção ou a especificidade.
2. Limites de Viabilidade do "Apenas Sintético": Fornece evidência empírica de que, embora os LLMs possam gerar registros estruturalmente consistentes, eles são atualmente insuficientes como fonte de treinamento isolada para detecção de malware. A eficácia do treinamento apenas sintético é altamente sensível às características da família de malware e à profundidade do processo de ajuste fino.

Significância e Alegações
Os autores posicionam este trabalho como uma exploração prática da utilidade de LLMs em análise de cibersegurança, em vez de um avanço em métricas brutas de detecção. O estudo afirma que:

• Dados sintéticos são um suplemento, não um substituto: O malware gerado por LLM pode endereçar efetivamente a escassez de dados para famílias raras, mas ainda não pode substituir dados do mundo real para treinar classificadores robustos.
• O rigor metodológico é necessário: O sucesso da geração sintética depende fortemente de engenharia de prompt, pós-processamento e do regime específico de ajuste fino (tamanho da amostra e épocas).
• Potencial futuro: Os achados sugerem que aumentar os corpora de ajuste fino e as épocas para famílias maiores poderia reduzir a lacuna de generalização. Os autores propõem que os dados sintéticos são melhor aplicados como um complemento para tarefas como treinamento adversarial, red-teaming e benchmarking em ambientes onde o acesso a conjuntos de dados reais sensíveis é limitado.

Em conclusão, o artigo afirma que, embora os LLMs ofereçam um caminho promissor para enriquecer conjuntos de dados de malware, os resultados atuais carecem do realismo e da diversidade necessários para modelos de detecção autônomos, exigindo uma abordagem híbrida que priorize a validação por dados reais.