Architectural Selection Framework for Synthetic Network Traffic: Quantifying the Fidelity-Utility Trade-off

Resumo Técnico: Framework de Seleção Arquitetural para Tráfego de Rede Sintético

1. O Problema

A geração de dados sintéticos de tráfego de rede é crucial para o treinamento de sistemas de detecção de intrusão (IDS) e análise de ameaças, especialmente devido às restrições de privacidade (ex: GDPR) e à escassez de dados reais rotulados. No entanto, a literatura atual enfrenta três desafios inter-relacionados:

• Fidelidade: A incapacidade de replicar dependências estatísticas complexas e temporais do tráfego real.
• Utilidade: A falha em gerar variações diversificadas que sejam eficazes para o treinamento de modelos de IA downstream (como detecção de anomalias).
• Escalabilidade Computacional: O alto custo de treinamento e memória de modelos de ponta, tornando-os impraticáveis para grandes volumes de dados.

O artigo identifica uma lacuna crítica: a falta de um framework baseado em evidências que conecte o design da arquitetura do modelo generativo à estrutura intrínseca dos dados (ex: dados predominantemente categóricos vs. fluxos contínuos de alta dimensão). A incompatibilidade arquitetural leva a falhas de fidelidade, utilidade comprometida e impossibilidade de escalonamento.

2. Metodologia

Os autores propuseram e validaram um Framework de Seleção Arquitetural através de uma avaliação empírica rigorosa:

• Conjuntos de Dados: Foram utilizados dois datasets com estruturas fundamentalmente distintas:
  • NSL-KDD: Focado em características categóricas e discretas (ex: protocolos, flags).
  • CIC-IDS2017: Focado em fluxos contínuos e de alta dimensão (ex: bytes/segundo, tamanhos de pacotes).
• Seleção de Recursos: Utilizou-se Informação Mútua (MI) para selecionar os recursos mais impactantes, garantindo que as dependências não lineares fossem capturadas, superando métodos baseados apenas em correlação linear ou árvores de decisão.
• Modelos Avaliados: Doze arquiteturas generativas foram testadas, divididas em três categorias:
  1. Estatísticas/Resampling (Não-AI): ROS, SMOTE, ADASYN, Cluster Centroids, GMM, Redes Bayesianas.
  2. IA Baseada em VAEs e Difusão: TVAE, TABDDPM (Modelos de Difusão Tabular).
  3. Redes Adversariais Generativas (GANs): CTGAN, CopulaGAN, GANBLR++, CasTGAN.
• Protocolo Experimental:
  • Execução em 20 corridas independentes ($N=20$) para calcular média e desvio padrão.
  • Métricas de Fidelidade: Estrutura de Dados (DS), Correlação (Corr) e Diferença de Distribuição de Probabilidade (PD).
  • Métrica de Utilidade: Desempenho de classificação (Acurácia e F1-Score) no cenário TSTR (Treinar em Sintético, Testar em Real), comparado à linha de base TRTR (Treinar e Testar em Real).
  • Hardware: Workstation com GPU NVIDIA RTX 4090 para garantir condições computacionais uniformes.

3. Principais Contribuições

1. Framework de Seleção Baseado em Evidências: Estabelece que a escolha do modelo generativo ideal depende rigorosamente da estrutura do dataset (categórico vs. contínuo).
2. Validação de Robustez Arquitetural: Demonstra empiricamente que as arquiteturas baseadas em GANs (especificamente CTGAN e CopulaGAN) oferecem o melhor equilíbrio entre fidelidade estatística e utilidade prática, com baixa variância em múltiplas execuções.
3. Identificação de Falhas Críticas:
   • Revela que métodos estatísticos (como SMOTE) comprometem a fidelidade estrutural (gerando dados que não respeitam limites lógicos ou distribuições reais) em troca de alta utilidade de classificação.
   • Demonstra que modelos de Difusão (TABDDPM) e Redes Bayesianas enfrentam barreiras computacionais proibitivas em datasets grandes e contínuos, tornando-se impraticáveis para implantação em larga escala.
4. Benchmark Unificado: Apresenta uma comparação abrangente de 12 métodos, incluindo métricas de "Guarda-Fidelidade" (Fidelity Gatekeeper Metrics) para validar a integridade estrutural dos dados sintéticos.

4. Resultados Chave

• Domínio das GANs: Os modelos CTGAN e CopulaGAN ocuparam consistentemente a fronteira de desempenho ideal (alto F1-Score e baixa diferença de distribuição de probabilidade).
  • No dataset CIC-IDS2017, o CopulaGAN alcançou um F1-Score de 0.9756 ± 0.0005, demonstrando estabilidade excepcional.
  • Eles conseguiram lidar com a mistura de tipos de dados (discretos e contínuos) sem degradação de desempenho.
• Falha de Escalabilidade em Modelos de Difusão: O modelo TABDDPM falhou em processar o dataset CIC-IDS2017 devido a custos computacionais e de memória excessivos, confirmando que a arquitetura iterativa de denoising não é escalável para fluxos de rede de alto volume atualmente.
• Utilidade vs. Fidelidade Comprometida: Modelos como SMOTE e ADASYN alcançaram utilidade quase perfeita (F1 $\approx$ 0.999), mas falharam nos testes de Estrutura de Dados (DS: No). Isso indica que eles funcionam bem para balancear classes, mas falham em gerar dados realistas para treinamento de modelos que dependem de dependências complexas.
• Instabilidade Arquitetural: O modelo GANBLR++ mostrou alta variância e baixa utilidade, indicando instabilidade arquitetural, tornando-o inadequado para produção.

5. Significado e Impacto

Este estudo fornece um guia prático e baseado em evidências para profissionais de segurança cibernética:

• Guia de Seleção: Para dados de tráfego de rede modernos (contínuos e de alta dimensão), GANs condicionais (CopulaGAN/CTGAN) são a escolha arquitetural superior, superando VAEs, modelos estatísticos e modelos de difusão em termos de equilíbrio entre fidelidade, utilidade e viabilidade computacional.
• Mitigação de Falhas: O framework ajuda a evitar a implantação de modelos que geram dados sintéticos "falsos" (que passam em testes de utilidade simples, mas falham em capturar a realidade estatística), o que poderia levar a sistemas de detecção de intrusão frágeis.
• Direção Futura: O trabalho aponta para a necessidade de otimizar arquiteturas de difusão para dados tabulares e integrar mecanismos de privacidade diferencial diretamente no treinamento adversarial, sem sacrificar a fidelidade.

Em suma, o artigo redefine o padrão para geração de dados sintéticos em segurança, estabelecendo que a compatibilidade entre a arquitetura do modelo e a estrutura dos dados é o fator determinante para o sucesso, e não apenas a complexidade do modelo em si.