Resumo Técnico: Domando Desafios de Dados em Tarefas de Segurança Baseadas em ML Usando IA Generativa

1. Declaração do Problema

Classificadores de aprendizado de máquina (ML) são amplamente implantados para tarefas de cibersegurança, como detecção de malware, detecção de intrusão em redes e classificação de privacidade. Embora avanços algorítmicos tenham sido o foco principal da pesquisa, os desafios de dados inerentes aos domínios de segurança receberam atenção limitada, resultando frequentemente em tetos de desempenho. Os autores identificam cinco desafios críticos de dados:

1. Dados de treinamento limitados ou enviesados: Incluindo desequilíbrio severo de classes, padrões de ataque sub-representados e tamanhos de amostra insuficientes devido ao alto custo de rotulagem e expertise de domínio.
2. Alta dimensionalidade: Recursos frequentemente excedem milhares de dimensões, exacerbando a "maldição da dimensionalidade".
3. Deriva de conceito: Ataques adaptam-se ao longo do tempo, fazendo com que a distribuição de teste diverja da distribuição de treinamento após a implantação.
4. Rótulos ruidosos e distribuições de classes sobrepostas: Comuns em dados de segurança onde a verdade fundamental é difícil de estabelecer ou as classes são inerentemente semelhantes.
5. Exemplos adversariais: Embora notados, este artigo foca principalmente nos primeiros quatro desafios.

A questão central de pesquisa é se a IA Generativa (GenAI) pode abordar esses desafios de dados para melhorar o desempenho do classificador, especificamente ao aumentar conjuntos de dados de treinamento com dados sintéticos.

2. Metodologia

2.1 Configuração Experimental

O estudo avalia a GenAI em 7 tarefas de segurança diversas (3 binárias, 4 multiclasse) usando dados de ameaças do mundo real. Essas tarefas incluem detecção de sequestro BGP, detecção de tráfego de malware baseado em Tor, detecção de cryptojacking em IoT, classificação de privacidade de cookies da web, classificação de malware do Windows (MS-Malware), classificação de malware PE (BODMAS) e impressão digital de SO (nPrintML).

Os autores comparam 6 modelos GenAI de última geração (SoTA) projetados para dados tabulares contra métodos tradicionais de aumento:

• Modelos GenAI: TVAE (VAE), CTAB-GAN+ (cGAN), TabDDPM (Difusão), TabSyn (VAE+Difusão), GReaT (LLM) e REaLTabFormer (LLM).
• Linha de Base Tradicional: SMOTE (interpolação linear) e MC-CCR (limpeza e reposicionamento).

2.2 O Framework Nimai

Reconhecendo que as ferramentas GenAI existentes oferecem principalmente geração condicionada a classe (criando amostras com base em um rótulo), mas carecem de controle sobre regiões específicas da variedade de dados, os autores propõem o Nimai.

• Arquitetura: Nimai é um modelo baseado em VAE que utiliza um espaço latente discreto (VAE Quantizado Vetorialmente) combinado com um Modelo de Token Mascarado (MTM) inspirado no BERT.
• Mecanismo: Diferentemente de VAEs padrão que usam espaços latentes contínuos (propensos ao colapso posterior), o Nimai discretiza tokens latentes. Emprega uma estratégia de mascaramento onde um subconjunto de recursos latentes é "apagado" e previsto com base no contexto.
• Modos de Controle:
  • Nimai-S (Condicionado à Amostra): Gera amostras nas proximidades de amostras reais existentes, mascarando e reconstruindo recursos de uma entrada específica. Isso visa regiões sub-representadas dentro de uma classe.
  • Nimai-C (Condicionado à Classe): Gera amostras com base apenas em um rótulo de classe, semelhante a ferramentas existentes.
  • Nimai-Híbrido: Combina ambas as abordagens para recuperação de deriva pós-implantação.

2.3 Estratégia de Avaliação

A avaliação foca no aumento de dados antes da implantação (pré-treinamento) e na recuperação rápida após a implantação (pós-treinamento).

• Métrica: Ganho relativo ($\Delta G$) no macro F-score (ou F-score da classe maliciosa para tarefas específicas) em comparação com o treinamento apenas em dados reais.
• Robustez: Experimentos são executados em 10 tentativas com diferentes sementes aleatórias. Medições não confiáveis (Coeficiente de Variação $\ge$ 1) são sinalizadas.

3. Resultados Principais

3.1 Desempenho Pré-Implantação

• Sucesso em Cenários com Dados Restritos: A GenAI melhorou significativamente o desempenho em 5 de 7 tarefas.
  • Sequestro BGP: Em um cenário extremamente restrito de dados (apenas ~180 amostras de treinamento, 17 maliciosas), o Nimai-S alcançou um ganho de desempenho de 32,6%, superando todas as linhas de base.
  • IoT e MS-Malware: Nimai-S e CTAB-GAN+ mostraram ganhos significativos (até 17,37% e 13,53%, respectivamente) em cenários altamente desequilibrados ou de alta dimensionalidade.
  • BODMAS (Deriva de Conceito): Para tarefas envolvendo deriva, abordagens condicionadas à classe (Nimai-C, TVAE, TabDDPM) geralmente superaram as condicionadas à amostra, alcançando ganhos de até 59,42% em meses específicos de deriva.
• Casos de Falha:
  • Tor, Cookie, nPrintML: Esquemas de GenAI geralmente falharam em melhorar o desempenho. Os autores atribuem isso a distribuições de classes sobrepostas, rótulos ruidosos e esparidade extrema de recursos (até 98,66% de valores zero). Nestes casos, dados sintéticos frequentemente reforçaram vieses existentes ou falharam em resolver a inseparabilidade de classes.
  • Falhas de Instanciação de Modelo: 5 de 6 esquemas GenAI existentes falharam em treinar ou gerar dados utilizáveis em pelo menos uma tarefa.
    • Modelos baseados em LLM (GReaT, REaLTabFormer): Falharam em 6/7 e 5/7 tarefas, respectivamente, devido a problemas de escalabilidade com vetores de recursos de alta dimensionalidade (excedendo limites de tokens ou memória da GPU).
    • TabDDPM: Sofreu de colapso de modo na tarefa de IoT, falhando em gerar amostras da classe minoritária.
    • TVAE/TabSyn: Lutaram com conjuntos de dados de alta dimensionalidade ou grande escala (por exemplo, nPrintML, Cookie).

3.2 Pós-Implantação (Deriva de Conceito)

• Recuperação Rápida: Os autores demonstraram que uma abordagem Nimai-Híbrida poderia recuperar-se da deriva de conceito com esforço mínimo de rotulagem.
• Eficiência: Ao usar amostragem de incerteza para selecionar um pequeno subconjunto de dados desviados (tão poucos quanto 64 amostras rotuladas) e aplicar geração condicionada à amostra, o sistema alcançou um impulso de desempenho de 60,4% nos meses mais afetados da tarefa BODMAS, superando o re-treinamento apenas no pequeno subconjunto (linha de base INSOMNIA).

3.3 Mecanismo de Melhoria

Análise aprofundada usando LIME e métricas de distribuição (entropia e assimetria) revelou que o aumento bem-sucedido (por exemplo, nas tarefas de IoT e BGP) reduziu a assimetria de recursos e aumentou a entropia, efetivamente mitigando vieses no conjunto de dados real e promovendo distribuições de recursos mais simétricas, o que auxilia na generalização do classificador.

4. Contribuições Principais

1. Avaliação Sistemática: O primeiro estudo a avaliar sistematicamente 6 modelos GenAI SoTA para dados tabulares em 7 tarefas de segurança diversas, identificando tanto oportunidades quanto modos de falha significativos.
2. Framework Nimai: Introdução de um esquema inovador baseado em VAE com espaço latente discreto e modelagem de token mascarado, permitindo síntese de dados altamente controlada e condicionada à amostra para abordar vieses dentro da classe.
3. Recuperação de Deriva: Demonstração de uma estratégia híbrida GenAI para adaptação rápida pós-implantação à deriva de conceito com rotulagem humana mínima.
4. Análise de Falhas: Identificação de características específicas de tarefas (rótulos ruidosos, distribuições sobrepostas, recursos esparsos) que impedem o desempenho da GenAI, e a descoberta de que geradores tabulares baseados em LLM atuais ainda não são escaláveis para dados de segurança de alta dimensionalidade.

5. Significado e Alegações

Os autores afirmam que seu estudo fornece uma perspectiva equilibrada sobre a utilidade da GenAI na segurança. Eles argumentam que, embora a GenAI não seja uma solução "tudo-em-um" e lute com patologias de dados específicas (como ruído e sobreposição), ela possui potencial significativo e inexplorado para abordar a escassez de dados e o viés em tarefas de segurança.

O artigo postula que o progresso futuro em classificadores de segurança pode ser estagnado por limitações de dados, e não por limitações algorítmicas. Ao desenvolver ferramentas GenAI que possam sintetizar efetivamente dados sintéticos controlados e de alta qualidade, a comunidade pode "reativar o progresso" para problemas de segurança onde a inovação algorítmica estagnou. Os autores enfatizam que seu trabalho é um passo rumo ao desenvolvimento de ferramentas GenAI especificamente adaptadas à natureza adversarial e com restrições de dados da cibersegurança, em vez de simplesmente aplicar modelos prontos.