Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

Imagine a internet como uma cidade enorme e movimentada onde milhões de mensagens digitais viajam entre edifícios a cada segundo. Para manter essa cidade segura, guardas de segurança (chamados Sistemas de Detecção de Intrusão) ficam nos portões, examinando cada pacote em busca de sinais de problemas. Por muito tempo, esses guardas dependiam de um livro gigante e pesado de "bandidos conhecidos" para identificar ameaças. Mas os hackers são espertos; eles inventam novos truques todos os dias que ainda não estão no livro. Então, cientistas começaram a ensinar os guardas a pensar por conta própria usando o "Deep Learning" — um tipo de cérebro computacional que aprende padrões observando milhares de exemplos.

No entanto, há um problema. Esses cérebros computacionais superinteligentes são enormes e famintos. Eles precisam de uma quantidade massiva de memória e energia, o que é aceitável para um servidor gigante em um centro de dados, mas terrível para os pequenos dispositivos alimentados por bateria que realmente guardam nossas casas e roteadores (como os pequenos computadores dentro do seu termostato inteligente ou de um switch de rede). Cientistas têm tentado encolher esses cérebros sem quebrá-los, usando uma técnica chamada "pruning" (poda). Pense na poda como podar uma sebe: você corta os galhos (ou, neste caso, as conexões não utilizadas dentro do cérebro computacional) para torná-lo menor e mais rápido. A grande suposição no mundo da tecnologia sempre foi: "Se você cortar 75% das conexões, o cérebro será 75% mais leve e rodará muito mais rápido".

Mas e se essa suposição estiver errada? E se, após todo esse corte, o cérebro ainda rodar tão lentamente quanto antes porque a maneira como ele é construído não permite que ele pule os espaços vazios? Esse é o mistério que este artigo se propõe a resolver.

---

O Grande Experimento de Poda

Neste estudo, um pesquisador chamado Ishan Mishra decidiu colocar essa ideia de que "cortar torna mais rápido" à prova definitiva. Ele não apenas rodou os números em um supercomputador poderoso; ele pegou seu cérebro computacional e o colocou em um Raspberry Pi 5 — um pequeno computador acessível que se parece com uma placa de circuito verde e é o tipo de dispositivo que você poderia encontrar em um sistema de segurança real.

Ele construiu um "Multi-Classifier Deep Neural Network", que é uma forma sofisticada de dizer um cérebro computacional com três camadas diferentes de pensamento, cada uma verificando problemas. Ele treinou este cérebro em um conjunto de dados chamado NSL-KDD, que é como um teste prático cheio de ataques cibernéticos antigos e conhecidos. Para garantir que o cérebro não ficasse confuso por ter muitos exemplos de um tipo de ataque e poucos de outro, ele usou um truque chamado SMOTE para equilibrar os dados de treinamento, essencialmente criando exemplos falsos de ataques raros para que o cérebro aprendesse corretamente.

Então veio a poda. Ele pegou o cérebro treinado e aplicou a block-sparse pruning, que é uma forma específica de cortar 74,55% das conexões (pesos) dentro da rede, deixando-as como zeros. O objetivo era ver se este cérebro "vazio" rodaria mais rápido e ocuparia menos espaço do que o cérebro original e completo.

A Surpresa: O Corte Não Acelerou as Coisas

Aqui está a reviravolta: a poda não fez o cérebro rodar mais rápido.

O pesquisador mediu quanto tempo o computador levou para tomar uma única decisão (latência de inferência).

• O céreão original e completo levou 0,0103 ± 0,0008 ms (milissegundos).
• O céreão podado e "vazio" levou 0,0101 ± 0,0002 ms.

Estatisticamente, esses dois números são gêmeos. Eles são efetivamente os mesmos. O artigo usou um teste estatístico especial chamado TOST (Two One-Sided Tests) para provar que a diferença era tão pequena que não importava no mundo real. O resultado? A poda não reduziu o tempo necessário para tomar uma decisão.

Por quê? O artigo explica que, embora o cérebro tivesse menos conexões, o software que roda no Raspberry Pi (chamado TFLite) não era inteligente o suficiente para pular os espaços vazios. Era como ter um chef ao qual dizem para ignorar 75% dos ingredientes na bancada, mas o chef ainda tem que caminhar até cada lugar, olhar para ele e decidir "ah, está vazio", antes de seguir em frente. O tempo de caminhada (latência) não mudou porque o chef ainda tinha que verificar cada lugar.

A Surpresa do Tamanho do Arquivo

O pesquisador também verificou o quão grande era o arquivo final quando ele salvou o cérebro para rodar no dispositivo. Ele esperava que a versão podada fosse muito menor. Em vez disso, tanto o céreão completo quanto o podado terminaram com exatamente 105.992 bytes (cerca de 103,51 KB).

Isso aconteceu porque o software usado para preparar o arquivo para o dispositivo (um processo chamado quantização) espremeu os números para o seu menor tamanho de qualquer maneira, tornando os espaços "vios" na versão podada irrelevantes. Portanto, neste setup específico, a poda não economizou nenhum espaço de armazenamento.

O Problema Real: Cérebos Instáveis

Se a poda não o tornou mais rápido ou menor, ela prejudicou a capacidade do céreão de detectar hackers? Em grande parte, não. A precisão geral permaneceu muito próxima:

• O céreão completo acertou 82,3% dos ataques conhecidos.
• O céreão podado acertou 81,2%.

No entanto, o artigo descobriu algo muito interessante sobre como o céreão podado falhou. Quando os pesquisadores rodaram o experimento cinco vezes com diferentes pontos de partida aleatórios (chamados de "seeds"), eles notaram que o céreão podado era instável.

Para certos tipos de ataques, como o ataque smurf, o céreão completo era consistentemente bom (acertando cerca de 89% das vezes). Mas o céreão podado era uma montanha-russa. Dependendo de qual semente aleatória era usada, ele poderia ser ótimo (85% de acerto) ou terrível (11% de acerto). Era como um aluno que às vezes tira notas excelentes e às vezes falha completamente, dependendo de como acordou naquela manhã.

O artigo também descobriu que tanto o céreão completo quanto o podado tinham dificuldades com certos ataques como back e guess_passwd, acertando quase 0% deles. Isso não foi por causa da poda; foi porque os dados de treinamento estavam muito desequilibrados, fazendo com que o céreão apenas deduzisse "normal" para tudo o que não tinha certeza. Esse erro acontecia todas as vezes, independentemente da semente.

E Quanto aos Novos Ataques Desconhecidos?

O teste também incluiu 3.750 registros (16,6% do conjunto de teste) contendo tipos de ataques que o céreão nunca tinha visto antes. Como o céreão não foi treinado para eles, ele não podia nomeá-los. Em vez disso, os pesquisadores verificaram se o céreão ao menos os sinalizava como "suspeitos" em vez de ignorá-los.

• O céreão completo sinalizou cerca de 36,6% desses ataques desconhecidos.
• O céreão podado sinalizou cerca de 37,0%.

Novamente, não houve diferença real. A poda não ajudou o céreão a detectar novos truques desconhecidos, nem o tornou pior nisso.

A Conclusão

Este artigo é um choque de realidade para qualquer pessoa tentando encolher modelos de IA para pequenos dispositivos. Ele prova que apenas cortar conexões (poda) não torna as coisas automaticamente mais rápidas se o software que roda o modelo não for projetado para tirar proveito desses espaços vazios.

Se você quer um modelo mais rápido em um dispositivo minúsculo, não pode confiar apenas na poda. Você precisa usar um software especial que saiba como pular os espaços vazios, ou precisa usar um tipo diferente de poda que realmente remova blocos inteiros do céreão (poda estruturada) em vez de apenas criar buracos nele.

O estudo conclui que, embora a poda possa tornar um modelo menor em teoria, no mundo real do software padrão atual, ela não proporciona velocidade ou espaço. E se você for usá-la, deve ter cuidado: ela pode tornar o desempenho do seu modelo em ameaças específicas muito mais imprevisível, oscilando entre o excelente e o terrível, dependendo de como ele foi treinado.