Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

Immagina Internet come una città enorme e frenetica dove milioni di messaggi digitali sfrecciano tra gli edifici ogni secondo. Per mantenere sicura questa città, delle guardie giurate (chiamate Sistemi di Rilevamento delle Intrusioni) stanno ai cancelli, controllando ogni pacco alla ricerca di segni di problemi. Per molto tempo, queste guardie si sono affidate a un enorme e pesante libro dei "cattivi noti" per individuare le minacce. Ma gli hacker sono astuti; inventano nuovi trucchi ogni giorno che non sono ancora presenti nel libro. Così, gli scienziati hanno iniziato a insegnare alle guardie a pensare con la propria testa usando il "Deep Learning" — un tipo di cervello artificiale che impara i pattern osservando migliaia di esempi.

Tuttavia, c'è un problema. Questi cervelli artificiali super intelligenti sono enormi e voraci. Hanno bisogno di una quantità massiccia di memoria ed energia, il che va bene per un grande server in un data center, ma è terribile per i piccoli dispositivi alimentati a batteria che in realtà sorvegliano le nostre case o i nostri router (come i piccoli computer all'interno del tuo termostato intelligente o di uno switch di rete). Gli scienziati hanno cercato di rimpicciolire questi cervelli senza romperli, usando una tecnica chiamata "pruning" (potatura). Pensa alla potatura come al potare una siepe: tagli via i rami (o, in questo caso, le connessioni inutilizzate all'interno del cervello artificiale) per renderlo più piccolo e veloce. La grande assunzione nel mondo tecnologico è sempre stata: "Se tagli via il 75% delle connessioni, il cervello sarà il 75% più leggero e funzionerà molto più velocemente".

Ma se questa assunzione fosse sbagliata? Se dopo aver tagliato tutto, il cervello continuasse a funzionare altrettanto lentamente perché il modo in cui è costruito non gli permette effettivamente di saltare i punti vuoti? Questo è il mistero che questo articolo si propone di risolvere.

---

Il Grande Esperimento della Potatura

In questo studio, un ricercatore di nome Ishan Mishra ha deciso di mettere alla prova l'idea che "tagliare renda più veloce" con il test definitivo. Non si è limitato a far girare i numeri su un potente supercomputer; ha preso il suo cervello artificiale e lo ha messo su un Raspberry Pi 5 — un piccolo e accessibile computer board che sembra una scheda circuitale verde ed è il tipo di dispositivo che potresti trovare in un vero sistema di sicurezza.

Ha costruito un "Multi-Classifier Deep Neural Network", un modo complicato per dire un cervello artificiale con tre diversi strati di pensiero, ognuno dei quali controlla la presenza di problemi. Ha addestrato questo cervello su un dataset chiamato NSL-KDD, che è come un test pratico pieno di vecchi attacchi informatici noti. Per assicurarsi che il cervello non si confondesse avendo troppi esempi di un tipo di attacco e troppo pochi di un altro, ha usato un trucco chiamato SMOTE per bilanciare i dati di addestramento, creando essenzialmente esempi finti di attacchi rari in modo che il cervello potesse impararli correttamente.

Poi è arrivata la potatura. Ha preso il cervello addestrato e ha applicato la block-sparse pruning, un modo specifico per tagliare via il 74,55% delle connessioni (pesi) all'interno della rete, lasciandole come zeri. L'obiettivo era vedere se questo cervello "vuoto" sarebbe stato più veloce e avrebbe occupato meno spazio rispetto al cervello originale e completo.

La Sorpresa: Tagliare non ha velocizzato le cose

Ecco il colpo di scena: la potatura non ha reso il cervello più veloce.

Il ricercatore ha misurato quanto tempo impiegava il computer per prendere una singola decisione (latenza di inferenza):

• Il cervello originale e completo impiegava 0,0103 ± 0,0008 ms (millisecondi).
• Il cervello potato e "vuoto" impiegava 0,0101 ± 0,0002 ms.

Statisticamente, questi due numeri sono gemelli. Sono effettivamente la stessa cosa. L'articolo ha utilizzato un test statistico speciale chiamato TOST (Two One-Sided Tests) per dimostrare che la differenza era così piccola da non contare nel mondo reale. Il risultato? La potatura non ha ridotto il tempo necessario per prendere una decisione.

Perché? L'articolo spiega che, sebbene il cervello avesse meno connessioni, il software che lo faceva girare sul Raspberry Pi (chiamato TFLite) non era abbastanza intelligente da saltare i punti vuoti. Era come avere uno chef a cui viene detto di ignorare il 75% degli ingredienti sul bancone, ma lo chef deve comunque camminare verso ogni singolo punto, guardarlo e decidere "oh, questo è vuoto", prima di procedere. Il tempo di camminata (latenza) non è cambiato perché lo chef doveva comunque controllare ogni punto.

La Sorpresa della Dimensione del File

Il ricercatore ha anche controllato quanto fosse grande il file finale quando ha salvato il cervello per farlo girare sul dispositivo. Si aspettava che la versione potata fosse molto più piccola. Inveve, sia il cervello completo che quello potato finivano per essere esattamente di 105.992 byte (circa 103,51 KB).

Questo è accaduto perché il software utilizzato per preparare il file per il dispositivo (un processo chiamato quantizzazione) ha comunque schiacciato i numeri alla loro dimensione minima, rendendo irrilevanti i punti "vuoti" nella versione potata. Quindi, in questa specifica configurazione, la potatura non ha fatto risparmiare nemmeno spazio di archiviazione.

Il Problema Reale: Cervelli Instabili

Se la potatura non lo ha reso più veloce o più piccolo, ha danneggiato la capacità del cervello di individuare gli hacker? Per lo più, no. L'accuratezza complessiva è rimasta molto vicina:

• Il cervello completo ha individuato correttamente l'82,3% degli attacchi noti.
• Il cervello potato ne ha individuati l'81,2%.

Tuttavia, l'articolo ha trovato qualcosa di molto interessante su come il cervello potato falliva. Quando i ricercatori hanno eseguito l'esperimento cinque volte con diversi punti di partenza casuali (chiamati "seed"), hanno notato che il cervello potato era instabile.

Per alcuni tipi di attacchi, come l'attacco smurf, il cervello completo era costantemente bravo (lo individuava circa l'89% delle volte). Ma il cervello potato era un'altalena. A seconda del seed casuale utilizzato, poteva essere fantastico (85% di successo) o terribile (11% di successo). Era come uno studente che a volte prende un bel voto e a volte fallisce completamente l'esame, a seconda di come si è svegliato quella mattina.

L'articolo ha anche scoperto che sia il cervello completo che quello potato faticavano con certi attacchi come back e guess_passwd, riuscendo quasi allo 0% di precisione. Questo non era dovuto alla potatura, ma al fatto che i dati di addestramento erano troppo sbilanciati, portando il cervello a indovinare semplicemente "normale" per tutto ciò di cui non era sicuro. Questo fallimento accadeva ogni singine volta, indipendentemente dal seed.

E per i Nuovi Attacchi Sconosciuti?

Il test includeva anche 3.750 record (il 16,6% del set di test) contenenti tipi di attacco che il cervello non aveva mai visto prima. Poiché il cervello non era stato addestrato su di essi, non poteva nominarli. Invece, i ricercatori hanno controllato se il cervello almeno li segnalasse come "sospetti" invece di ignorarli.

• Il cervello completo ha segnalato circa il 36,6% di questi attacchi sconosciuti.
• Il cervello potato ha segnalato circa il 37,0%.

Ancora una volta, non c'era alcuna vera differenza. La potatura non ha aiutato il cervello a individuare nuovi trucchi sconosciuti, né lo ha reso peggiore in questo.

La Conclusione

Questo articolo è un bagno di realtà per chiunque cerchi di rimpicciolire i modelli di IA per piccoli dispositivi. Dimostra che il semplice taglio delle connessioni (potatura) non rende automaticamente le cose più veloci se il software che esegue il modello non è progettato per sfruttare quegli spazi vuoti.

Se vuoi un modello più veloce su un piccolo dispositivo, non puoi contare solo sulla potatura. Devi o usare un software speciale che sappia saltare i punti vuoti, oppure devi usare un tipo diverso di potatura che rimuova effettemente interi blocchi del cervello (potatura strutturata) invece di creare solo dei buchi in esso.

Lo studio conclude che, sebbene la potatura possa rendere un modello più piccolo in teoria, nel mondo reale dell'attuale software standard, non garantisce né velocità né spazio. E se decidi di usarla, devi fare attenzione: potrebbe rendere le prestazioni del tuo modello su specifiche minacce molto più imprevedibili, oscillando tra l'ottimo e il terribile a seconda di come è stato addestrato.