Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

Imagina el internet como una ciudad enorme y bulliciosa donde millones de mensajes digitales viajan entre edificios cada segundo. Para mantener esta ciudad segura, los guardias de seguridad (llamados Sistemas de Detección de Intrusiones) se encuentran en las puertas, escaneando cada paquete en busca de señales de problemas. Durante mucho tiempo, estos guardias dependieron de un libro gigante y pesado de "malos conocidos" para detectar amenazas que no están en el libro todavía. Pero los hackers son astutos; inventan nuevos trucos todos los días. Así que los científicos comenzaron a enseñar a los guardias a pensar por sí mismos usando el "Aprendizaje Profundo" (Deep Learning), un tipo de cerebro computacional que aprende patrones observando miles de ejemplos.

Sin embargo, hay un inconveniente. Estos cerebros computacionales súper inteligentes son enormes y hambrientos. Necesitan una cantidad masiva de memoria y energía, lo cual está bien para un servidor gigante en un centro de datos, pero es terrible para los dispositivos diminutos y con batería que realmente custodian nuestros hogares y routers (como las pequeñas computadoras dentro de su termostato inteligente o un interruptor de red). Los científicos han estado intentando encoger estos cerebros sin romperlos, utilizando una técnica llamada "poda" (pruning). Piensa en la poda como recortar un seto: cortas las ramas (o, en este caso, las conexiones no utilizadas dentro del cerebro computacional) para hacerlo más pequeño y rápido. La gran suposición en el mundo tecnológico siempre ha sido: "Si cortas el 75% de las conexiones, el cerebro será un 75% más ligero y funcionará mucho más rápido".

Pero, ¿y si esa suposición es errónea? ¿Y si, después de todo ese recorte, el cerebro sigue funcionando igual de lento porque la forma en que está construido no le permite realmente saltarse los espacios vacíos? Ese es el misterio que este artículo busca resolver.

---

El Gran Experimento de la Poda

En este estudio, un investigador llamado Ishan Mishra decidió poner a prueba la idea de que "cortar hace que sea más rápido" de la manera definitiva. No se limitó a ejecutar los números en una supercomputadora potente; tomó su cerebro computacional y lo puso en una Raspberry Pi 5, una pequeña y económica placa de computadora que parece una placa de circuito verde y es el tipo de dispositivo que podrías encontrar en un sistema de seguridad del mundo real.

Construyó una "Red Neuronal Profunda de Clasificación Múltiple", que es una forma elegante de decir un cerebro computacional con tres capas diferentes de pensamiento, cada una de las cuales verifica si hay problemas. Entrenó este cerebro con un conjunto de datos llamado NSL-KDD, que es como un examen de práctica lleno de ataques cibernéticos antiguos y conocidos. Para asegurarse de que el cerebro no se confundiera al tener demasiados ejemplos de un tipo de ataque y muy pocos de otro, utilizó un truco llamado SMOTE para equilibrar los datos de entrenamiento, esencialmente creando ejemplos falsos de ataques raros para que el cerebro los aprendiera correctamente.

Luego vino la poda. Tomó el cerebro entrenado y aplicó una poda de dispersión en bloques (block-sparse pruning), que es una forma específica de eliminar el 74.55% de las conexiones (pesos) dentro de la red, dejándolas como ceros. El objetivo era ver si este cerebro "vacío" funcionaría más rápido y ocuparía menos espacio que el cerebro original y completo.

La Sorpresa: Cortar no Aceleró las Cosas

Aquí está el giro: la poda no hizo que el cerebro funcionara más rápido.

El investigador midió cuánto tiempo le tomó a la computadora tomar una sola decisión (latencia de inferencia).

• El cerebro original y completo tardó 0.0103 ± 0.0008 ms (milisegundos).
• El cerebro podado y "vacío" tardó 0.0101 ± 0.0002 ms.

Estadísticamente, estos dos números son gemelos. Son efectivamente lo mismo. El artículo utilizó una prueba estadística especial llamada TOST (Dos Pruebas de Un Solo Lado) para demostrar que la diferencia era tan minúscula que no importaba en el mundo real. ¿El resultado? La poda no redujo el tiempo que tomaba tomar una decisión.

¿Por qué? El artículo explica que, aunque el cerebro tenía menos conexiones, el software que ejecuta la Raspberry Pi (llamado TFLite) no era lo suficientemente inteligente como para saltarse los espacios vacíos. Era como tener un chef al que se le dice que ignore el 75% de los ingredientes sobre la mesa, pero el chef todavía tiene que caminar hacia cada lugar, mirar y decidir "ah, esto está vacío", antes de seguir adelante. El tiempo de caminata (latencia) no cambió porque el chef todavía tenía que revisar cada lugar.

La Sorpresa del Tamaño del Archivo

El investigador también revisó qué tan grande era el archivo final cuando guardó el cerebro para ejecutarlo en el dispositivo. Esperaba que la versión podada fuera mucho más pequeña. En cambio, tanto el cerebro completo como el cerebro podado terminaron siendo exactamente 105,992 bytes (aproximadamente 103.51 KB).

Esto sucedió porque el software utilizado para preparar el archivo para el dispositivo (un proceso llamado cuantización) comprimió los números a su tamaño más pequeño de todos modos, haciendo que los espacios "vacíos" en la versión podada fueran irrelevantes. Por lo tanto, en esta configuración específica, la poda tampoco ahorró espacio de almacenamiento.

El Problema Real: Cerebros Inestables

Si la poda no lo hizo más rápido ni más pequeño, ¿afectó la capacidad del cerebro para detectar hackers? Mayormente, no. La precisión general se mantuvo muy cerca:

• El cerebro completo acertó el 82.3% de los ataques conocidos.
• El cerebro podado acertó el 81.2%.

Sin embargo, el artículo encontró algo muy interesante sobre cómo fallaba el cerebro podado. Cuando los investigadores ejecutaron el experimento cinco veces con diferentes puntos de partida aleatorios (llamados "semillas"), notaron que el cerebro podado era inestable.

Para algunos tipos de ataques, como el ataque smurf, el cerebro completo era consistentemente bueno (acertando aproximadamente el 89% de las veces). Pero el cerebro podado era una montaña rusa. Dependiendo de qué semilla aleatoria se usara, podía ser genial (85% de aciertos) o terrible (11% de aciertos). Era como un estudiante que a veces saca notas excelentes y otras veces reprueba por completo, dependiendo de cómo despertó esa mañana.

El artículo también encontró que tanto el cerebro completo como el podado tenían dificultades con ciertos ataques como back y guess_passwd, acertando casi el 0% de las veces. Esto no fue debido a la poda, sino porque los datos de entrenamiento estaban demasiado desequilibrados, causando que el cerebro simplemente adivinara "normal" para todo lo que no estaba seguro. Este fallo ocurrió cada vez, sin importar la semilla.

¿Qué pasa con los Ataques Nuevos y Desconocidos?

La prueba también incluyó 3,750 registros (16.6% del conjunto de prueba) que contenían tipos de ataques que el cerebro nunca había visto antes. Como el cerebro no fue entrenado para ellos, no podía nombrarlos. En su lugar, los investigadores verificaron si el cerebro al menos los marcaba como "sospechosos" en lugar de ignorarlos.

• El cerebro completo marcó aproximadamente el 36.6% de estos ataques desconocidos.
• El cerebro podado marcó aproximadamente el 37.0%.

Nuevamente, no hubo una diferencia real. La poda no ayudó al cerebro a detectar trucos nuevos y desconocidos, ni lo hizo peor en ellos.

La Conclusión

Este artículo es un baño de realidad para cualquiera que intente encoger modelos de IA para dispositivos pequeños. Demuestra que el simple hecho de cortar conexiones (poda) no hace que las cosas sean automáticamente más rápidas si el software que ejecuta el modelo no está diseñado para aprovechar esos espacios vacíos.

Si quieres un modelo más rápido en un dispositivo diminuto, no puedes confiar solo en la poda. O necesitas usar un software especial que sepa cómo saltarse los espacios vacíos, o necesitas usar un tipo diferente de poda que realmente elimine trozos enteros del cerebro (poda estructurada) en lugar de solo hacerle agujeros.

El estudio concluye que, aunque la poda puede hacer que un modelo sea más pequeño en teoría, en el mundo real del software estándar actual, no te otorga ni velocidad ni espacio. Y si decides usarla, tienes que tener cuidado: podría hacer que el rendimiento de tu modelo ante amenazas específicas sea mucho más impredecible, oscilando entre lo excelente y lo terrible dependiendo de cómo haya sido entrenado.