DKD-KAN: A Lightweight knowledge-distilled KAN intrusion detection framework, based on MLP and KAN

Resumen Técnico: DKD-KAN

1. Planteamiento del Problema

Los sistemas de ciberseguridad, especialmente en entornos de Sistemas Ciberfísicos (CPS) y Internet de las Cosas Industrial (IIoT), operan frecuentemente en dispositivos con recursos limitados (baja potencia de cómputo, memoria restringida).

• Desafío Principal: Los modelos de aprendizaje profundo (DL) tradicionales, como las Redes Neuronales Convolucionales (CNN) o las Redes de Largo y Corto Plazo (LSTM), ofrecen alta precisión pero requieren una gran cantidad de parámetros y recursos computacionales, lo que dificulta su despliegue en tiempo real en el borde (edge).
• Limitaciones de Métodos Actuales:
  • Los métodos de aprendizaje automático (ML) ligeros a menudo carecen de capacidad de representación para detectar ataques complejos.
  • Las técnicas de aumento de datos (como GANs) o corrección de desequilibrio de clases pueden ser inestables o computacionalmente costosas.
  • La selección de características agresiva puede eliminar información crítica si el atacante explota características descartadas.
  • El preprocesamiento complejo (como PCA o ventanas de tiempo) introduce latencia, afectando la detección en tiempo real.

2. Metodología Propuesta

El artículo propone DKD-KAN, un marco de detección de intrusiones ligero que combina la capacidad de modelado de las Redes de Kolmogorov-Arnold (KAN) con la eficiencia de la Destilación de Conocimiento Desacoplada (DKD) para entrenar un modelo estudiante basado en Perceptrones Multicapa (MLP).

Componentes Clave:

• Modelo Profesor (Teacher): KAN

  • Se utiliza una red KAN de alta capacidad como profesor. A diferencia de las MLP tradicionales que aprenden pesos lineales en las aristas, las KAN aprenden funciones de activación unidimensionales en las conexiones, basándose en el Teorema de Representación de Kolmogorov-Arnold.
  • Utilizan funciones de base de splines (B-splines) combinadas con SiLU (Sigmoid Linear Unit), lo que permite una aproximación de funciones más eficiente y una mayor interpretabilidad.
  • Aunque son precisas, las KAN tienen un alto costo computacional y un gran número de parámetros, lo que las hace inadecuadas para el despliegue directo en dispositivos limitados.

• Modelo Estudiante (Student): MLP

  • Se entrena un modelo MLP mucho más pequeño (estudiante) para imitar el comportamiento del profesor KAN.
  • El objetivo es lograr una arquitectura extremadamente ligera que pueda ejecutarse en tiempo real.

• Técnica de Entrenamiento: Destilación de Conocimiento Desacoplada (DKD)

  • En lugar de usar una función de pérdida de entropía cruzada estándar o una destilación clásica (KL-divergencia acoplada), se emplea DKD.
  • Desacoplamiento: La pérdida de destilación se separa en dos componentes independientes:
    1. TCKD (Target Class Knowledge Distillation): Enfocada en la clase objetivo (ataque o normal).
    2. NCKD (Non-Target Class Knowledge Distillation): Enfocada en las clases no objetivo.
  • Se introducen hiperparámetros ajustables ($\alpha$ y $\beta$) para ponderar independientemente la importancia de cada componente. Esto permite al modelo estudiante aprender distinciones sutiles entre clases que a menudo se pierden en la destilación clásica, especialmente cuando el modelo ya clasifica bien una muestra.
  • Pérdida Total: Combina la pérdida de entropía cruzada con las etiquetas reales ($L_{hard}$) y la pérdida DKD de las predicciones suaves del profesor ($L_{DKD}$), utilizando un mecanismo de warm-up lineal para estabilizar el entrenamiento inicial.

• Preprocesamiento Minimalista

  • El enfoque evita ventanas de tiempo complejas, PCA o selección de características agresiva.
  • Solo se utiliza escalado estándar (normalización Z-score) de los datos, eliminando dependencias de ventanas y reduciendo la latencia de inferencia.

3. Contribuciones Clave

1. Compresión de Modelo Significativa: Logra reducir drásticamente el número de parámetros (menos del 2% del modelo profesor) sin sacrificar significativamente el rendimiento.
2. Metodología de Detección Ligera y Rápida: Elimina la necesidad de preprocesamiento complejo, permitiendo inferencia en tiempo real en dispositivos con recursos limitados.
3. Retención de Rendimiento: Demuestra que un modelo estudiante pequeño puede mantener un alto rendimiento en la detección de intrusiones al ser guiado por un profesor KAN rico en conocimiento mediante DKD.
4. Validación Empírica: Validación exhaustiva en dos conjuntos de datos públicos y estándar de la industria: SWaT y WADI.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos SWaT (Sistema de Tratamiento de Agua) y WADI (Sistema de Distribución de Agua).

• Eficiencia de Parámetros:

  • SWaT: El modelo DKD-MLP tiene 1,622 parámetros, comparado con los 22,260 del profesor KAN y los 87,450 de un MLP grande.
  • WADI: El modelo DKD-MLP tiene 2,522 parámetros, frente a los 198,750 del profesor KAN.

• Rendimiento (F1-Score):

  • SWaT: El modelo DKD-MLP alcanzó un F1-score del 95.45%, superando al modelo estudiante MLP base (91.27%) y mostrando una mejora del 4.18% sobre el modelo sin destilación.
  • WADI: El modelo DKD-MLP alcanzó un F1-score del 98.45%, con una mejora del 3.07% sobre el modelo estudiante base.
  • Aunque los modelos profesores KAN obtienen puntuaciones ligeramente más altas (cercanas al 99.9%), el modelo DKD-MLP ofrece una relación óptima entre precisión y eficiencia computacional.

• Visualización (t-SNE):

  • Las visualizaciones t-SNE muestran que el modelo DKD-MLP logra una separación de clases muy similar a la del profesor KAN, replicando eficazmente la estructura de decisión del modelo grande en regiones críticas.

5. Significado e Impacto

• Viabilidad en el Borde (Edge): Este trabajo demuestra que es posible desplegar sistemas de detección de intrusiones de alta precisión en dispositivos industriales con recursos limitados, algo que antes requería modelos pesados o servidores centralizados.
• Superioridad de DKD: Confirma que la destilación desacoplada es superior a la destilación clásica para transferir conocimiento de modelos complejos (como KAN) a modelos simples (MLP), especialmente en tareas de clasificación binaria con desequilibrio de clases.
• Interpretabilidad y Robustez: Al utilizar KAN como profesor, se aprovecha la capacidad de estas redes para visualizar funciones y entender la importancia de las características, aunque el modelo final sea una MLP.
• Aplicación en CPS: Proporciona una solución práctica para proteger infraestructuras críticas (agua, energía, manufactura) contra ciberataques en tiempo real, equilibrando la necesidad de seguridad con las restricciones de hardware.

En conclusión, DKD-KAN representa un avance significativo hacia la implementación de IA segura y eficiente en entornos industriales, resolviendo el compromiso tradicional entre la precisión del modelo y su costo computacional.