Quantifying the Generalization Gap: A New Benchmark for Out-of-Distribution Graph-Based Android Malware Classification

Resumo Técnico: Quantificando o Gap de Generalização em Classificação de Malware Android Baseada em Grafos

1. O Problema

Embora os classificadores de malware baseados em grafos (que utilizam Redes Neurais em Grafos - GNNs) alcancem precisões superiores a 94% em benchmarks padrão, eles apresentam uma fragilidade crítica quando confrontados com o deslocamento de distribuição (distribution shift). Na prática, quando esses modelos encontram variantes de malware de famílias não vistas durante o treinamento, o desempenho pode cair drasticamente (até 45%).

Os autores identificam duas causas principais para esse problema:

1. Falta de Semântica: Os benchmarks atuais (como o MalNet-Tiny) utilizam apenas a topologia dos Grafos de Chamada de Função (FCGs), removendo nomes de funções e códigos para evitar riscos de engenharia reversa. Isso impede que o modelo aprenda o comportamento funcional real, forçando-o a memorizar estruturas locais que não se generalizam.
2. Inexistência de Benchmarks de Robustez: A literatura foca excessivamente em precisão em dados "bem condicionados", negligenciando cenários de mundo real onde novos tipos de ataques surgem continuamente.

2. Metodologia

O trabalho propõe uma abordagem centrada em dados para mitigar o gap de generalização, dividida em três pilares:

A. Novos Datasets de Benchmark:
Para simular cenários reais, os autores criaram duas variantes do MalNet-Tiny:

• MalNet-Tiny-Common (Covariate Shift): Mantém as mesmas famílias de malware, mas utiliza tipos (subcategorias) diferentes para teste. Simula novos métodos de ataque dentro de paradigmas conhecidos.
• MalNet-Tiny-Distinct (Domain Shift): Utiliza famílias de malware completamente novas para o teste. Simula o surgimento de famílias de malware totalmente desconhecidas.

B. Framework de Enriquecimento Semântico:
Para resolver a falta de informação, o framework propõe construir grafos atribuídos que combinam a topologia com:

• Metadados Agregados: Nomes de classes/métodos, assinaturas, flags de acesso, estatísticas de instruções e comportamentos específicos do Android (ex: acesso a armazenamento).
• Embeddings de Código via LLM: Utilização do modelo CodeXEmbed para transformar o código-fonte descompilado de cada função em vetores densos que capturam o significado semântico do comportamento.
• LDP (Local Degree Profile): Mantém as características estruturais clássicas.

C. Estratégias de Colação (Collation):
Como nem todas as funções possuem código disponível (ex: funções de API do sistema), o framework introduz três métodos para lidar com dados incompletos:

• Trim: Remove dimensões de características que não estão presentes em todos os nós.
• Zero: Preenche valores ausentes com zero (imputação).
• Prune: Remove o nó e suas conexões caso ele possua características incompletas.

3. Principais Contribuições

1. Identificação do Gap de Generalização: Demonstração empírica da fragilidade dos modelos atuais sob deslocamento de distribuição.
2. Datasets de Avaliação de Robustez: Lançamento dos datasets MalNet-Tiny-Common e MalNet-Tiny-Distinct.
3. Pipeline de Enriquecimento Semântico: Um método robusto para integrar metadados e embeddings de LLM em grafos de malware.
4. Estratégias de Tratamento de Dados Incompletos: Introdução das técnicas Trim, Zero e Prune para garantir a consistência dos inputs para as GNNs.

4. Resultados

• Melhoria na Robustez: O uso de características semânticas aumentou significativamente a precisão em cenários de deslocamento de distribuição em comparação com os modelos que usam apenas topologia.
• Desempenho por Arquitetura:
  • O método Prune obteve os melhores resultados para arquiteturas tradicionais de passagem de mensagens (MPNNs, como GCN e GIN).
  • O método Zero foi mais eficaz para arquiteturas baseadas em Transformers (como GPS e Exphormer), que são mais resilientes à ausência de certas informações.
• Sinergia com Adaptação de Modelo: O enriquecimento de dados (abordagem data-centric) funciona de forma complementar às técnicas de adaptação de modelo (como Test-Time Adaptation - TTA e Domain Adaptation - DA), elevando o patamar de precisão de ambos.
• Eficiência: Mesmo com o aumento da dimensionalidade dos dados, as estratégias de colação (especialmente o Prune) mantiveram o custo computacional gerenciável.

5. Significância

Este trabalho muda o foco da pesquisa de "obter a maior precisão possível em dados estáticos" para "construir sistemas de detecção resilientes a ameaças evolutivas". Ao fornecer ferramentas que permitem aos modelos entender o porquê de uma função ser maliciosa (semântica) em vez de apenas como ela se conecta (topologia), os autores pavimentam o caminho para detectores de malware mais robustos e prontos para o uso em ambientes de produção reais, onde o desconhecido é a única constante.