Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

인터넷을 수백만 개의 디지털 메시지가 건물 사이를 매 초마다 빠르게 오가는 거대하고 북적이는 도시라고 상상해 보세요. 이 도시를 안전하게 지키기 위해 보안 요원(침입 탐지 시스템이라고 불림)들이 성문 앞에 서서 모든 패키지를 검사하며 문제가 있는지 살핍니다. 오랫동안 이 요원들은 알려진 나쁜 놈들의 목록이 담긴 거대하고 무거운 책에 의존하여 위협을 찾아냈습니다. 하지만 해커들은 매우 영리해서, 아직 그 책에 기록되지 않은 새로운 기술들을 매일 발명해 냅니다. 그래서 과학자들은 요원들이 스스로 생각할 수 있도록 "딥 러닝(Deep Learning)"—수천 개의 사례를 관찰하여 패턴을 학습하는 일종의 컴퓨터 뇌—을 가르치기 시작했습니다.

하지만 여기에는 함정이 있습니다. 이 초지능적인 컴퓨터 뇌들은 거대하고 에너지를 많이 소비합니다. 이들은 데이터 센터의 거대한 서버에는 적합하지만, 실제로 우리 집이나 라우터를 지키는 작고 배터리로 작동하는 장치들(스마트 온도 조절기나 네트워크 스위치 내부의 작은 컴퓨터 같은 것들)에는 최악입니다. 과학자들은 이 뇌를 망가뜨리지 않으면서도 크기를 줄이기 위해 "프루닝(pruning, 가지치기)"이라는 기술을 사용해 왔습니다. 프루닝을 헤지를 다듬는 것에 비유해 보세요. 즉, 컴퓨터 뇌 내부의 사용되지 않는 연결(연결선)들을 잘라내는 것입니다. 기술 업계의 기존 가정은 항상 이랬습니다. "만약 당신이 연결의 75%를 잘라낸다면, 뇌는 75% 더 가벼워지고 훨씬 더 빠르게 돌아갈 것이다."

하지만 만약 그 가정이 틀렸다면 어떨까요? 만약 그렇게 많은 부분을 잘라낸 후에도, 뇌가 만들어진 방식 때문에 실제로 빈 공간을 건너뛸 수 없다면 여전히 똑같이 느리게 작동한다면 어떨까요? 그것이 바로 이 논문이 해결하고자 하는 미스터리입니다.

---

위대한 프루닝 실험

이 연구에서 이샨 미슈라(Ishan Mishra)라는 연구자는 이 "자르는 것이 더 빠르게 만든다"는 아이디어를 궁극의 테스트에 부치기로 했습니다. 그는 단순히 강력한 슈퍼컴퓨터에서 수치를 돌린 것이 아니라, 자신의 컴퓨터 뇌를 **라즈베리 파이 5(Raspberry Pi 5)**에 올렸습니다. 이는 녹색 회로 기판처럼 생긴 작고 저렴한 컴퓨터 보드로, 실제 보안 시스템에서 볼 수 있는 종류의 장치입니다.

그는 "멀티 분류기 심층 신경망(Multi-Classifier Deep Neural Network)"을 구축했는데, 이는 세 개의 서로 다른 사고 계층을 가진 컴퓨터 뇌를 의미하며, 각 계층은 문제를 체크합니다. 그는 이 뇌를 NSL-KDD라는 데이터셋으로 훈련시켰는데, 이는 오래된 알려진 사이버 공격들로 가득 찬 연습 시험과 같습니다. 뇌가 한 종류의 공격 사례는 너무 많고 다른 종류는 너무 적어서 혼란을 겪지 않도록, 그는 SMOTE라는 기술을 사용하여 훈련 데이터를 균형 있게 맞췄습니다. 이는 희귀한 공격에 대한 가짜 사례들을 생성하여 뇌가 이를 제대로 학습하도록 만드는 기술입니다.

그다음 프루닝 단계가 왔습니다. 그는 훈련된 뇌를 가져와 **블록 희소 프루닝(block-sparse pruning)**을 적용하여 네트워크 내부의 연결(가중치) 중 74.55%를 제거하여 0으로 만들었습니다. 목표는 이 "텅 빈" 뇌가 원래의 가득 찬 뇌보다 더 빠르게 실행되고 더 적은 공간을 차지하는지 확인하는 것이었습니다.

반전: 자르기가 속도를 높이지 못했다

여기 반전이 있습니다. 프루닝은 뇌를 더 빠르게 만들지 못했습니다.

연구자는 컴퓨터가 단 하나의 결정을 내리는 데 걸리는 시간(추론 지연 시간)을 측정했습니다.

• 원래의 가득 찬 뇌는 0.0103 ± 0.0008 ms(밀리초)가 걸렸습니다.
• 프루닝된 "텅 빈" 뇌는 0.0101 ± 0.0002 ms가 걸렸습니다.

통계적으로 이 두 숫자는 쌍둥이와 같습니다. 사실상 동일합니다. 이 논문은 차이가 너무 미미하여 현실 세계에서는 의미가 없다는 것을 증명하기 위해 TOST(Two One-Sided Tests)라는 특수한 통계 테스트를 사용했습니다. 결과는 어떠했을까요? 프루닝은 결정을 내리는 시간을 줄이지 못했습니다.

왜일까요? 논문에 따르면, 뇌는 연결이 적어졌지만, 라즈베리 파이에서 실행되는 소프트웨어(TFLite라고 불림)가 빈 공간을 건너뛰는 데 영리하지 못했기 때문입니다. 이는 마치 요리사에게 조리대 위의 재료 75%를 무시하라고 명령했지만, 요리사는 여전히 모든 위치를 하나하나 확인하며 "아, 여기는 비어 있구나"라고 결정한 뒤 다음으로 이동해야 하는 상황과 같습니다. 요리사가 모든 지점을 확인해야 하기 때문에 걷는 시간(지연 시간)은 변하지 않았습니다.

파일 크기의 반전

연구자는 또한 뇌를 장치에서 실행하기 위해 저장할 때 최종 파일의 크기가 얼마나 큰지도 확인했습니다. 그는 프루닝된 버전이 훨씬 더 작을 것이라고 예상했습니다. 하지만 예상과 달리, 가득 찬 뇌와 프루닝된 뇌 모두 정확히 105,992 바이트(약 103.51 KB)였습니다.

이것은 파일을 장치용으로 준비하는 소프트웨어(양자화라고 불리는 과정)가 숫자를 가장 작은 크기로 압축해 버렸기 때문에 발생했으며, 이로 인해 프루닝된 버전의 "빈" 공간들이 무의미해졌습니다. 따라서 이 특정 설정에서 프루닝은 저장 공간을 절약하지도 못했습니다.

진짜 문제: 불안정한 뇌

프루닝이 속도를 높이거나 크기를 줄이지 못했다면, 뇌의 해커 탐지 능력에 해를 끼쳤을까요? 대체로 그렇지 않았습니다. 전체적인 정확도는 매우 유사하게 유지되었습니다.

• 가득 찬 뇌는 알려진 공격의 **82.3%**를 맞혔습니다.
• 프루닝된 뇌는 **81.2%**를 맞혔습니다.

하지만 논문은 프루닝된 뇌가 어떻게 실패하는지에 대해 매우 흥미로운 점을 발견했습니다. 연구자들이 서로 다른 무작위 시작점(시드라고 불림)을 사용하여 실험을 다섯 번 반복했을 때, 프루닝된 뇌가 불안정하다는 것을 발견했습니다.

스머프(smurf) 공격과 같은 특정 유형의 공격에 대해, 가득 찬 뇌는 일관되게 우수했습니다(약 **89%**의 확률로 정답을 맞힘). 하지만 프루닝된 뇌는 롤러코스터 같았습니다. 어떤 무작위 시드가 사용되었느냐에 따라 아주 훌륭할 수도 있었고(85% 정답), 아주 형편없을 수도 있었습니다(11% 정답). 이는 마치 아침에 어떻게 일어났느냐에 따라 시험을 완벽하게 치르기도 하고 완전히 망치기도 하는 학생과 같았습니다.

또한 논문은 가득 찬 뇌와 프루닝된 뇌 모두 백(back) 및 guess_passwd와 같은 공격에 대해 거의 **0%**에 가까운 정답률을 보이며 어려움을 겪는다는 것을 발견했습니다. 이는 프루닝 때문이 아니라, 훈련 데이터가 너무 불균형하여 뇌가 확실하지 않은 모든 것에 대해 그냥 "정상"이라고 추측해 버렸기 때문입니다. 이 실패는 시드와 상관없이 매번 발생했습니다.

새로운, 알려지지 않은 공격은 어떨까?

테스트에는 뇌가 본 적 없는 공격 유형을 포함한 3,750개의 레코드(테스트 세트의 16.6%)도 포함되었습니다. 뇌는 훈련받지 않았으므로 이 공격들의 이름을 명명할 수는 없었습니다. 대신, 연구자들은 뇌가 이들을 무시하는 대신 최소한 "의심스럽다"라고 표시하는지는 확인했습니다.

• 가득 찬 뇌는 이러한 알려지지 않은 공격의 약 **36.6%**를 포착했습니다.
• 프루닝된 뇌는 약 **37.0%**를 포착했습니다.

이 역시 실질적인 차이는 없었습니다. 프루닝은 뇌가 새로운, 알려지지 않은 기술을 포착하는 데 도움을 주지도 않았고, 그렇다고 방해하지도 않았습니다.

시사점

이 논문은 작은 장치를 위해 AI 모델을 축소하려는 모든 이들에게 던지는 현실적인 경고입니다. 이 연구는 단순히 연결을 잘라내는 것(프루닝)이 모델을 실행하는 소프트웨어가 그 빈 공간을 활용하도록 설계되지 않았다면 자동으로 빨라지는 것은 아님을 입증합니다.

만약 작은 장치에서 더 빠른 모델을 원한다면, 프루닝에만 의존해서는 안 됩니다. 빈 공간을 건너뛸 줄 아는 특수한 소프트웨어를 사용하거나, 뇌에 구멍을 내는 것이 아니라 뇌의 덩어리 자체를 제거하는 다른 종류의 프루닝(구조적 프루닝)을 사용해야 합니다.

이 연구는 프루닝이 이론적으로는 모델을 더 작게 만들 수 있지만, 오늘날의 표준 소프트웨어 환경의 실제 세계에서는 속도나 공간을 확보해주지 못한다고 결론짓습니다. 그리고 만약 프루닝을 사용한다면 주의해야 합니다. 프루닝은 특정 위협에 대한 모델의 성능을 매우 예측 불가능하게 만들어, 훈련 방식에 따라 성능이 극과 극을 오가게 만들 수 있기 때문입니다.