Automated Malware Family Classification using Weighted Hierarchical Ensembles of Large Language Models

1. O Problema

A classificação de famílias de malware permanece uma tarefa desafiadora na análise automatizada de segurança cibernética, especialmente em cenários do mundo real caracterizados por:

• Obfuscação e Empacotamento: Técnicas que alteram a assinatura estática do código sem mudar seu comportamento malicioso.
• Evolução Rápida: O surgimento diário de mais de 450.000 novas amostras de malware.
• Limitações das Abordagens Atuais: Métodos tradicionais de aprendizado de máquina (ML) e aprendizado profundo (DL) dependem frequentemente de:
  • Conjuntos de dados rotulados extensivos (supervisionados).
  • Extração de características manuais (handcrafted features).
  • Análise dinâmica (execução em sandbox), que é custosa e vulnerável a técnicas de evasão.
• Instabilidade de Modelos Únicos: Modelos de Grandes Linguagens (LLMs) individuais, embora capazes de raciocínio zero-shot, produzem previsões inconsistentes e variam significativamente dependendo da família do malware ou da formulação do prompt.

O objetivo é criar um framework robusto para classificação de famílias de malware que funcione em um cenário de rótulo zero (zero-label), sem necessidade de re-treinamento supervisionado, análise dinâmica ou extração de características complexas.

2. Metodologia Proposta

O artigo apresenta um framework baseado em um ensemble hierárquico ponderado de LLMs pré-treinados. A abordagem opera no nível de decisão, agregando previsões de múltiplos modelos sem modificar seus parâmetros internos.

Componentes Principais:

1. Entrada e Prompt Zero-Shot:

   • Utiliza código fonte estático e listas de importação de APIs de arquivos PE (Portable Executable) do Windows.
   • Um único prompt fixo de classificação zero-shot é aplicado a todos os modelos para garantir consistência. O prompt instrui o modelo a classificar a amostra em uma das 10 famílias canônicas (ex: Trojan, Worm, Ransomware, etc.).

2. Seleção e Normalização de Modelos:

   • Foram avaliados vários LLMs (Qwen, CodeLLaMA, DeepSeekCoder, GPT-4.1, GPT-5.1).
   • O ensemble final utilizou quatro modelos: Qwen3-4B, CodeLLaMA-7B, GPT-4.1 e GPT-5.1.
   • Uma camada de normalização e validação mapeia sinônimos (ex: "Backdoor" e "RAT") para nomes canônicos e descarta respostas inválidas.

3. Estratégia de Ensemble Hierárquico Ponderado:
   O processo de decisão ocorre em três estágios para mitigar a ambiguidade semântica entre famílias:

   • Estágio 1: Votação Ponderada por Família: As previsões de cada modelo são ponderadas com base em sua confiabilidade (calculada via Macro-F1 em um conjunto de dados "gold" pequeno e rotulado manualmente). Se uma família atingir uma maioria ponderada (>50%), ela é selecionada.
   • Estágio 2: Consolidação por Grupo de Comportamento: Se não houver maioria clara, as previsões são agrupadas em categorias comportamentais de alto nível (ex: "Trojan-like", "Self-Replicating", "Installer"). A decisão é tomada no nível do grupo, e a família com maior pontuação dentro do grupo vencedor é selecionada.
   • Estágio 3: Resolução de Empate por Especificidade: Em caso de empate persistente, aplica-se uma hierarquia de especificidade pré-definida (ex: preferir "Backdoor" sobre "Trojan" se ambos forem plausíveis), favorecendo rótulos mais informativos comportamentalmente.

4. Calibração de Pesos:

   • Um pequeno conjunto de dados "gold" (200 amostras rotuladas por especialistas) é usado apenas para calibrar os pesos dos modelos e avaliar o desempenho, não para treinar ou ajustar os LLMs durante a inferência.

3. Principais Contribuições

1. Classificação de Nível de Decisão sem Rótulos: Formula a classificação como um problema de agregação de decisões sobre LLMs pré-treinados, eliminando a dependência de pipelines de extração de características e re-treinamento supervisionado.
2. Estratégia de Ensemble Ponderada por Desempenho: Introduz um esquema de ponderação baseado em Macro-F1 para combinar previsões complementares, reduzindo a instabilidade de modelos individuais.
3. Framework de Decisão Hierárquica: Projeta uma estrutura que resolve primeiro comportamentos de malware de "granularidade grossa" (coarse-grained) e depois atribui rótulos de "granularidade fina" (fine-grained), alinhando-se ao raciocínio de analistas humanos e reduzindo ambiguidades.
4. Avaliação em Cenários Realistas: Demonstra a eficácia da abordagem sob restrições severas (sem dados rotulados de treinamento, sem execução dinâmica), superando métodos de agregação não ponderada e modelos únicos.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados SBAN (Source-Binary-Assembly-Natural language), utilizando um subconjunto de 200 amostras de malware Windows PE com rótulos verificados.

• Desempenho de Modelos Únicos: Os modelos individuais variaram significativamente. O GPT-4.1 obteve a maior precisão (71%), enquanto o GPT-5.1 teve o melhor Macro-F1 (42,7%), indicando melhor equilíbrio entre classes. O CodeLLaMA teve desempenho inferior.
• Comparação de Estratégias de Ensemble:
  • Votação Majoritária Uniforme: Superou o melhor modelo individual, alcançando 74% de precisão.
  • Votação Ponderada (sem hierarquia): Desempenho ligeiramente inferior à votação uniforme (73,5%), sugerindo que a ponderação sozinha não é suficiente.
  • Ensemble Hierárquico Ponderado (Proposto): Alcançou o melhor desempenho global, com 75% de precisão e um Macro-F1 competitivo de 48,1%.
• Análise de Ablação: A combinação de ponderação baseada em confiabilidade com a estrutura hierárquica foi crucial para resolver ambiguidades entre famílias semanticamente sobrepostas (ex: Trojan vs. Backdoor vs. Spyware).

5. Significado e Conclusão

O trabalho demonstra que a agregação de decisões de múltiplos LLMs, organizada hierarquicamente e ponderada por desempenho, oferece uma abordagem prática e interpretável para a classificação de malware em cenários de "mundo aberto" (open-world).

• Robustez: O método é robusto contra obfuscação e variações de prompt, superando a instabilidade de modelos únicos.
• Eficiência: Elimina a necessidade de análise dinâmica custosa e grandes conjuntos de dados rotulados para treinamento.
• Interpretabilidade: A estrutura hierárquica reflete o processo de pensamento de um analista humano, primeiro identificando o comportamento geral e depois a família específica.

Limitações e Futuro: O estudo foi realizado em um conjunto de dados de tamanho limitado (200 amostras para avaliação) e focou apenas em código estático. Trabalhos futuros visam escalar para corpora maiores, induzir hierarquias baseadas em dados e incorporar sinais dinâmicos leves.

Em resumo, o artigo propõe uma mudança de paradigma: em vez de treinar modelos para extrair características de malware, utiliza-se a capacidade de raciocínio semântico de LLMs existentes, coordenada por uma lógica de ensemble inteligente, para classificar ameaças de forma escalável e precisa.