Machine Unlearning for the XGBoost Model with Network Intrusion Datasets

Resumen Técnico: Desaprendizaje de Máquinas para el Modelo XGBoost con Conjuntos de Datos de Intrusión de Red

Planteamiento del Problema
El Desaprendizaje de Máquinas (MU, por sus siglas en inglés) ha surgido como una técnica crítica para eliminar puntos de datos específicos de modelos entrenados sin el gasto computacional de un reentrenamiento completo, abordando regulaciones de privacidad como el "derecho al olvido" del GDPR. Sin embargo, la investigación actual de MU se centra predominantemente en el aprendizaje profundo y en datos de imágenes, dejando un vacío significativo en el dominio de la Detección de Intrusión de Red (NID). Los sistemas NID dependen fuertemente de datos tabulares y modelos tradicionales basados en árboles, como XGBoost, que son conocidos por su alto rendimiento en este dominio. Si bien estos modelos son efectivos, carecen de mecanismos de desaprendizaje establecidos. Además, los conjuntos de datos de NID suelen sufrir problemas de calidad, como errores de etiquetado, lo que requiere la eliminación de muestras específicas para mantener la fiabilidad del modelo. Reentrenar estos modelos desde cero cada vez que se debe eliminar información es computacionalmente ineficiente, lo que crea la necesidad de un enfoque de MU adaptado específicamente a XGBoost y a los datos tabulares de NID.

Metodología: XGBoost-Forget
Para abordar esta brecha, los autores proponen XGBoost-Forget, un enfoque de desaprendizaje adaptado del marco SISA (Sharded, Isolated, Sliced, Aggregated). La metodología opera de la siguiente manera:

1. Partición de Datos: El conjunto de datos de entrenamiento se divide en múltiples fragmentos (shards) independientes.
2. Segmentación y Puntos de Control (Checkpointing): Dentro de cada fragmento, los datos se dividen además en segmentos (slices) más pequeños. Se entrena un modelo XGBoost independiente para cada fragmento. El entrenamiento ocurre incrementalmente a través de los segmentos; después de procesar cada segmento, el estado del modelo (parámetros) se guarda como un punto de control.
3. Inferencia: Las predicciones finales se generan agregando las salidas de los modelos de cada fragmento.
4. Proceso de Desaprendizaje: Cuando llega una solicitud para olvidar datos específicos, el sistema identifica el fragmento o fragmentos que contienen las muestras objetivo. Solo se reentrenan los segmentos dentro de esos fragmentos afectados que incluyen los datos que deben eliminarse. Los segmentos que no contienen los datos objetivo se reutilizan desde la caché. El modelo del fragmento afectado se reconstruye utilizando los datos restantes y los segmentos subsiguientes, mientras que los otros fragmentos permanecen intactos.

Contribuciones Clave

• Primer Enfoque de Desaprendizaje para XGBoost: Este trabajo introduce el primer método de desaprendizaje conocido diseñado específicamente para el modelo XGBoost, un algoritmo dominante en el análisis de datos tabulares.
• Adaptación a NID Tabular: El estudio cierra la brecha entre la investigación de MU y la Detección de Intrusión de Red al aplicar la técnica a conjuntos de datos tabulares del mundo real (IoT-23 y GeNIS).
• Evaluación Exhaustiva: El enfoque se evalúa mediante un conjunto de métricas que cubren la utilidad del modelo (Exactitud, Precisión, Sensibilidad, F1-Score), la eficiencia del desaprendizaje (Tiempo de Ejecución) y la calidad del olvido (Tasa de Éxito de Ataque y Divergencia de Jensen–Shannon).

Resultados Experimentales
El estudio evaluó XGBoost-Forget en dos conjuntos de datos: IoT-23 (tráfico real de malware/benigno de IoT) y GeNIS (secuencias de ataques orquestados). Los resultados se compararon contra una línea base de reentrenamiento completo (XGB-R) y el marco SISA implementado con una Red Neuronal (NN).

• Desempeño Predictivo: XGBoost-Forget (XGB-FU) mantuvo un desempeño predictivo casi idéntico al modelo original y a la línea base reentrenada. En ambos conjuntos de datos, XGB-FU logró valores de Exactitud, Precisión, Sensibilidad y F1-Score comparables al modelo completo, con una degradación insignificante.
• Eficiencia (Tiempo de Ejecución): XGBoost-Forget demostró tiempos de desaprendizaje significativamente más rápidos en comparación con el reentrenamiento completo. Por ejemplo, en el conjunto de datos GeNIS, el desaprendizaje tomó aproximadamente 0.5–0.7 segundos en comparación con ~4 segundos para el reentrenamiento completo. También superó a la línea base SISA-NN en tiempo de ejecución en todas las configuraciones.
• Calidad del Olvido:
  • Tasa de Éxito de Ataque (ASR): La ASR se utilizó para probar la eliminación de datos "envenenados" (disparadores de backdoor). Al evaluar el fragmento infectado de forma aislada, la ASR cayó significativamente después del desaprendizaje (por ejemplo, de ~100% a ~1.5% en GeNIS), acercándose a los niveles de la línea base reentrenada. Esto indica una eliminación efectiva de la influencia envenenada. Cuando se agregaron todos los fragmentos, la ASR se mantuvo baja debido al efecto de dilución de los fragmentos no infectados.
  • Divergencia de Jensen–Shannon (JSD): La métrica JSD arrojó valores cercanos a cero tanto para las comparaciones de original vs. desaprendido como de reentrenado vs. desaprendido. Los autores señalan que esta métrica no se comportó como se esperaba, probablemente porque la pequeña proporción de eliminación (0.01% de los datos) no indujo cambios distributivos suficientes para que la JSD capturara diferencias significativas.

Significancia y Reivindicaciones
El artículo afirma que XGBoost-Forget demuestra con éxito que el desaprendizaje de máquinas puede aplicarse eficazmente a modelos tradicionales basados en árboles en datos tabulares sin sacrificar la precisión predictiva. La principal significancia radica en ofrecer una solución que es tanto precisa (manteniendo la utilidad del modelo) como eficiente (significativamente más rápida que el reentrenamiento) para el contexto específico de la Detección de Intrusión de Red.

Los autores concluyen modestamente que, si bien el enfoque es bien adecuado para conjuntos de datos tabulares grandes y complejos, el comportamiento de métricas de evaluación como JSD puede variar según las características del conjunto de datos y el tamaño de los datos eliminados. Sugieren que se necesita más investigación para refinar las métricas de evaluación de desaprendizaje, particularmente para escenarios que involucran proporciones de eliminación pequeñas, ya que los resultados actuales indican que la JSD puede no ser adecuada para capturar cambios sutiles en este entorno específico. El trabajo establece una base para la futura investigación de MU en dominios tabulares que no sean de aprendizaje profundo.