Machine Unlearning for the XGBoost Model with Network Intrusion Datasets

Resumo Técnico: Desaprendizado de Máquina para o Modelo XGBoost com Conjuntos de Dados de Intrusão de Rede

Definição do Problema
O Desaprendizado de Máquina (Machine Unlearning - MU) surgiu como uma técnica crítica para remover pontos de dados específicos de modelos treinados sem o custo computacional de um retreinamento completo, abordando regulamentações de privacidade como o "direito ao esquecimento" do GDPR. No entanto, a pesquisa atual de MU foca predominantemente em aprendizado profundo (deep learning) e dados de imagem, deixando uma lacuna significativa no domínio da Detecção de Intrusão de Rede (NID). Os sistemas de NID dependem fortemente de dados tabulares e modelos tradicionais baseados em árvores, como o XGBoost, que são conhecidos pelo alto desempenho neste domínio. Embora esses modelos sejam eficazes, eles carecem de mecanismos de desaprendizado estabelecidos. Além disso, os conjuntos de dados de NID frequentemente sofrem com problemas de qualidade, como rotulagem incorreta, o que exige a remoção de amostras específicas para manter a confiabilidade do modelo. Retreinar esses modelos do zero toda vez que dados precisam ser deletados é computacionalmente ineficiente, criando a necessidade de uma abordagem de MU adaptada especificamente para o XGBoost e dados tabulares de NID.

Metodologia: XGBoost-Forget
Para abordar essa lacuna, os autores propõem o XGBoost-Forget, uma abordagem de desaprendizado adaptada do framework SISA (Sharded, Isolated, Sliced, Aggregated). A metodologia opera da seguinte forma:

1. Particionamento de Dados: O conjunto de dados de treinamento é dividido em múltiplos shards (fragmentos) independentes.
2. Fatiamento e Checkpointing: Dentro de cada shard, os dados são subdivididos em fatias (slices) menores. Um modelo XGBoost independente é treinado para cada shard. O treinamento ocorre incrementalmente através das fatias; após o processamento de cada fatia, o estado do modelo (parâmetros) é salvo como um checkpoint.
3. Inferência: As previsões finais são geradas pela agregação das saídas dos modelos de cada shard.
4. Processo de Desaprendizado: Quando chega uma solicitação para esquecer dados específicos, o sistema identifica o(s) shard(s) contendo as amostras alvo. Apenas as fatias dentro desses shards afetados que incluem os dados a serem removidos são retreinadas. As fatias que não contêm os dados alvo são reutilizadas a partir do cache. O modelo do shard afetado é reconstruído usando os dados restantes e as fatias subsequentes, enquanto os outros shards permanecem intocados.

Principais Contribuições

• Primeira Abordagem de Desaprendizado para XGBoost: Este trabalho introduz o primeiro método de desaprendizado conhecido projetado especificamente para o modelo XGBoost, um algoritmo dominante na análise de dados tabulares.
• Adaptação para NID Tabular: O estudo preenche a lacuna entre a pesquisa de MU e a Detecção de Intrusão de Rede ao aplicar a técnica a conjuntos de dados tabulares do mundo real (IoT-23 e GeNIS).
• Avaliação Abrangente: A abordagem é avaliada por meio de um conjunto de métricas que cobrem utilidade do modelo (Acurácia, Precisão, Recall, F1-Score), eficiência de desaprendizado (Tempo de Execução) e qualidade do esquecimento (Taxa de Sucesso de Ataque e Divergência de Jensen–Shannon).

Resultados Experimentais
O estudo avaliou o XGBoost-Forget em dois conjuntos de dados: IoT-23 (tráfego real de malware/benigno de IoT) e GeNIS (sequências de ataques em estágio). Os resultados foram comparados contra uma linha de base de retreinamento total (XGB-R) e o framework SISA implementado com uma Rede Neural (NN).

• Desempenho Preditivo: O XGBoost-Forget (XGB-FU) manteve o desempenho preditivo quase idêntico ao modelo original e à linha de base retreinada. Em ambos os conjuntos de dados, o XGB-FU alcançou valores de Acurácia, Precisão, Recall e F1-Score comparáveis ao modelo completo, com degradação negligenciável.
• Eficiência (Tempo de Execução): O XGBoost-Forget demonstrou tempos de desaprendizado significativamente mais rápidos em comparação ao retreinamento total. Por exemplo, no conjunto de dados GeNIS, o desaprendizado levou aproximadamente 0,5–0,7 segundos, comparado a ~4 segundos para o retreinamento total. Ele também superou a linha de base SISA-NN em tempo de execução em todas as configurações.
• Qualidade do Esquecimento:
  • Taxa de Sucesso de Ataque (ASR): A ASR foi usada para testar a remoção de dados "envenenados" (gatilhos de backdoor). Ao avaliar o shard infectado isoladamente, a ASR caiu significativamente após o desaprendizado (ex: de ~100% para ~1,5% no GeNIS), aproximando-se dos níveis da linha de base retreinada. Isso indica a remoção eficaz da influência envenenada. Quando todos os shards foram agregados, a ASR permaneceu baixa devido ao efeito de diluição dos shards não infectados.
  • Divergência de Jensen–Shannon (JSD): A métrica JSD apresentou valores próximos a zero tanto para as comparações original vs. desaprendido quanto para retreinado vs. desaprendido. Os autores observam que esta métrica não se comportou como esperado, provavelmente porque a pequena proporção de remoção (0,01% dos dados) não induziu mudanças distributivas suficientes para que o JSD capturasse diferenças significativas.

Significância e Alegações
O artigo afirma que o XGBoost-Forget demonstra com sucesso que o desaprendizado de máquina pode ser aplicado efetivamente a modelos tradicionais baseados em árvores em dados tabulares sem sacrificar a precisão preditiva. A principal significância reside em oferecer uma solução que é simultaneamente precisa (mantendo a utilidade do modelo) e eficiente (significativamente mais rápida que o retreinamento) para o contexto específico de Detecção de Intrusão de Rede.

Os autores concluem modestamente que, embora a abordagem seja bem adequada para conjuntos de dados tabulares grandes e complexos, o comportamento de métricas de avaliação como o JSD pode variar dependendo das características do conjunto de dados e do tamanho dos dados removidos. Eles sugerem que investigações adicionais são necessárias para refinar as métricas de avaliação de desaprendizado, particularmente para cenários envolvendo pequenas proporções de remoção, já que os resultados atuais indicam que o JSD pode não ser adequado para capturar mudanças sutis neste cenário específico. O trabalho estabelece uma base para pesquisas futuras de MU em domínios tabulares de não-deep learning.